На пересечении дорог — из Петербурга в Москву и из Петербурга в Саарскую мызу— летом 1714 года был построен деревянный одноэтажный дворец из восьми комнат, предназначенный для отдыха царской семьи. Он стоял, обращенный главным фасадом к Московскому проспекту, а к площади оказывался боком. Дворец получил название  “Среднегоратский” оттого, что тут находились шлагбаум, или, как тогда говорили, рогатка, и сторожевая будка с караульными. Таких рогаток на пути находилось три: первая у городской заставы, вторая (средняя) - около дворца и третья - на прудовой мельничной плотине под Пулковской горой.

Во время царствования императрицы Елизаветы Петровны здесь жила всегда придворная прислуга — десять человек, взятых из петербургского Зимнего, а затем — из Царскосельского дворца. Для своего прокорма слугам дворца разрешили разбить участки, а на случай приезда кортежа императрицы во дворце хранился запас продуктов и вина.

 

Тридцать лет после Петра Великого Среднерогатский дворец не использовался, пришел в упадок. И в  1743 г. покосившееся строение у «Средних рогаток» сломали и построили на его месте большое деревянное строение со многими пристройками, в том числе с кухней. 8 ноября 1750 г. последовал приказ построить на Царскосельской першпективе вместо деревянного каменное здание. 28 февраля придворный архитектор Франческо.-Б. Растрелли представил проект дворца. По словам самого Ф.-Б. Растрелли, он построил этот «каменный дворец в один этаж с большим залом» после возвращения из Москвы в 1751—1753 гг.  Строительство здания, которое курировал «архитектурный газель» С. Волков, завершилось 17 апреля 1754 года.

 

Дворец представлял собой одноэтажное здание на высоком полуподвале с пятнадцатью комнатами и большим залом. Внутреннее убранство дворца было достаточно скромным. На стенах была изящная лепнина, бумажные голландские обои, три зеркала и бронзовые подсвечники для каждой комнаты, привезенные из царскосельского дворца. Историк Курбатов писал:

«Здание не особенно блестяще и по плану и по декорации фасада довольно скромно, но пропорции его совершенны и даже теперь, несмотря на страшное запустение, сохранилось впечатление праздничной постройки. На чертеже Растрелли впечатление еще эффектнее.»

 

При Екатерине II путевой дворец на Средней Рогатке использовался редко, в это время для императрицы был удержан только к ее приезду один флигель с четырьмя комнатами.

Император Павел I приказал из Среднерогатского дворца сделать почтовую станцию. Полуразвалившийся «второй» Среднерогатский деревянный дворец, на левой стороне дороги, снесли 25 июня 1791 г., а место это выровняли и почистили. В 1831 г. здание отремонтировали, несколько перестроили и в нём разместился «Трактир трёх рук», позже переименованный в «У четырёх рук». Название это произошло от почтового столба с изображением четырех рук, указывающих разделение дороги: направо—в Петергоф, прямо—в Царское Село, назад — в Петербург, а налево — в Москву.

Еще через 20 лет, в 1850 г., дворец был продан под фабрику типографской краски и чернил. До этого Среднерогатский дворец пережил пожар. В 1925 г., его снова перестроили, и надстроили ещё один этаж. В результате величественный дворец и вовсе стал похож на богадельню.

 

При создании современной Площади Победы дворец не вписался в проект. Было решено разобрать дворец и собрать его заново, изменив расположение или  развернув его на 45 градусов.  Дворец был обмерен, элементы декора демонтированы и сохранены. В 1971 г. дворец Ф.Б. Растрелли на Средней Рогатке был снесен. Его восстановление так и не состоялось, но резные капители с фасада дворца экспонировались на выставке «Архитектура Петербурга 1703—1917 гг.» в музее истории города.