Потемкин быстро оценил выгоду такого подарка, т.к. река Сож, протекающая через Кричев была судоходной, то здесь можно было организовать различные производства. Для того чтобы Потемкину в Кричеве было удобно находиться, в городе начали возводить прекрасный дворец. Строительство велось с 1778-1787 гг. Проект выполнил архитектор Иван Егорович Старов (автор Таврического дворца в Санкт-Петербурге). С высоты птичьего полета здание имеет вид букв «П» и «Е» (инициалы графа и императрицы). Работами по строительству дворца руководил полковник Нефедьев. Рядом с дворцом был разбит парк (сейчас есть лишь отдельные деревья). Архитектуру парка придумывал знаменитый садовник Уильям Гульд, которого пригласил Потемкин.
В 1787 году Потемкин продал Кричевское староство с дворцом за 900 тысяч польских злотых Яну Голынскому. Род Голынских владел староством 130 лет до 1917 года.
В 1849 году внук Яна Голынского – Стефан решил обновить свою резиденцию в неоготическом стиле, в соответсвии с архитектурной модой того времени. Для этих целей он пригласил архитектора Бернара Симона – швейцарца по происхождению, окончившего Императорскую Академию художеств в Санкт-Петербурге.
Таким образом, с главного фасада исчезает классический декор оконных обрамлений, над окнами второго этажа появляется неоготические стрельчатые сандрики (ныне не сохранившиеся). Наибольшие изменения коснулись входа во дворец (первоначально центральный вход украшал 4-х колонный портик с балконом): появляется неоготический ризалит с гранеными пилонами, угловые пилоны украшены зубцами и напоминают башни. Позже построены въездные каменные ворота-брама в виде четырех египетских пирамид.
В 1898 году дворец пострадал от пожара. Попытки Стефана Голынского, последнего владельца Кричева, привести имение в надлежащий вид, были прерваны Первой мировой войной (1914г.) и Октябрьской революцией1917 года в России.
Летом 1918 года уроженка города Черикова – Евдокия Гордеева, организовала ремонт за свои средства заброшенного здания дворца. 11 сентября 1918 года ею открыта частная гимназия имени Гордеевой. В январе 1919 года гимназия реорганизована в третью Кричевскую трудовую школу 2-ой степени. Первый директор – Галковский, впоследствии ставший профессором математики в Московском государственном университете. Сначала школа носила имя А.П. Чехова, а с 1924 года – имя В.И. Ленина. С 1932-1941гг. – в здании дворца параллельно размещался дошкольный педагогический техникум.
В 1941 году – началась Великая Отечественная война, и школа прервала свою работу, так как в здании разместились службы гитлеровских оккупантов. В 1943 году после освобождения Кричева от гитлеровцев, школа и педтехникум возобновили свою работу. В 1959 году школа переехала в новое здание.
С 1960 года – в здании дворца разместилась школа-интернат. В сентябре 1961 года рядом с дворцом построен учебный корпус, который соединялся с дворцом переходом-галереей.
В начале 1980-х годов дворец находился в плачевном состоянии. 3 июня 1988 года были начаты работы по реконструкции, но из-за материальных проблем объект был законсервирован.
