Позднее императрица
Анна Иоанновна посчитала Зимний дворец слишком маленьким и в 1731 году поручила его перестройку
Ф. Б. Растрелли, который предложил ей свой проект переустройства Зимнего дворца. По его проекту требовалось приобрести стоявшие в то время на месте, занимаемом нынешним дворцом, дома, принадлежавшие графу
Апраксину,
Морской Академии,
Рагузинскому и Чернышёву. Анна Иоанновна проект одобрила, дома были скуплены, снесены и весной 1732 года началось строительство. Фасады этого дворца были обращены на Неву, Адмиралтейство и на «луговую сторону», то есть на дворцовую площадь. В 1735 году строительство дворца было завершено, и Анна Иоанновна переехала в него на жительство.