В основе существующего здания находится бывший трехэтажный дворец генерал-губернатора З.Г. Чернышева, возведенный в стиле классицизма в 1762 году по проекту М.Ф. Казакова. В 1930 году крылья здания со стороны двора были объединены корпусом, возведенным по проекту И.А. Фомина. А в 1939 году, в связи с реконструкцией и расширением улицы Горького, здание бывшего дворца было передвинуто на 13,6 метра вглубь участка. В 1944-1947 гг. надстроено двумя этажами с перестройкой фасадов в стилистике неоклассицизма.