Через год после этих событий под знамена Пожарского и Минина собралось уже более 10 000 служилых поместных людей, до 3000 казаков, более 1000 стрельцов и множество «даточных людей» — ратников из крестьян. С чудотворной иконой Казанской Божией Матери Нижегородское ополчение сумело четвертого ноября (по новому стилю) 1612 года взять штурмом Китай-город. Через несколько дней сдались остатки польского гарнизона, находившиеся в Кремле.
После воцарения Михаила Романова Пожарский продолжал проживать с семьей на Лубянке, до конца жизни оставаясь доверенным лицом царя. После кончины князя имение было разделено между вдовой и сыновьями, а затем перешло Голицыным и Нарышкиным.
Во времена царствования Анны Иоанновны в усадьбе на Лубянке располагался Монетный двор, при Елизавете Петровне — камер-коллегия, заведующая казной, При Павле I — резиденция турецкого посла. В разное время усадьбой владели Долгорукие, Хованские, Волконские, Прозоровские.
Несмотря на блестящий ряд фамилий, за особняком долго удерживалось название Дом Ростопчина. В 1811 году, когда генерал Ростопчин приобрел собственность на Большой Лубянке, он жил в Москве на положении отставного вельможи. В прошлом осталась служба в Петербурге при дворе Екатерины II, а затем Павла I, при котором он фантастически возвысился и разбогател: занимал должности кабинет-министра по иностранным делам, члена Императорского совета, получил генеральский чин, титул графа Российской империи, много земель и крестьян. Но в последний год павловского царствования Ростопчин попал в опалу — и оказался в Москве.
В среде местного барства, представляющей собой галерею замечательных личностей, оригиналов и чудаков, граф Федор Васильевич Ростопчин занимал одно из первых мест. Современник писал, что он «был из тех умных людей, которые умеют сказать что-нибудь интересное даже и о погоде», к тому же имел славу светского остроумца. Шутки и ядовитые характеристики, на которые Ростопчин не скупился в письмах и частных беседах, запоминали и охотно цитировали. Остроумным злословием он блистал и в салонах. В беседе имел привычку нюхать щепотку табака, особенно перед каламбуром. Французов ненавидел и ругал их на чистом французском языке. Отечественные галломаны боялись его как огня...
