Московская площадь Разгуляй, названная по стоявшему здесь когда-то кабаку, издавна пользовалась у москвичей дурной славой. А все потому, что на рубеже XVII—XVIII веков здесь в деревянных домах поселился сподвижник Петра I, граф Яков Брюс. «Темный человек этот Брюс, — отзывались о загадочном соседе жившие в округе москвичи. — Мало того, что иноземец, так еще и чернокнижник. Говорят, целый дом отдал под книги, а когда ночь наступает, достает трубу дьявольскую и в небо до рассвета зырит».
Даже после смерти Брюса, который на самом деле был астрономом, создателем собственного «Брюсова календаря», и директором Навигацкой школы, занимавшей находившуюся неподалеку от Разгуляя Сухареву башню, люди не перестали сторониться проклятого дома, и если случалось оказаться рядом, на всякий случай переходили на другую сторону площади.
В конце XVIII века деревянные дома Брюса снесли, и на их месте появился величественный особняк с колоннами. Его владельцем стал граф Мусин-Пушкин, президент Академии художеств и собиратель древних рукописей. Алексей Иванович, человек серьезный и просвещенный, не верил ни в какие проклятия и собирался прожить на Разгуляе долгую счастливую жизнь в окружении своих бесценных летописей и обожаемой супруги Екатерины Алексеевны.
Прежде Мусины-Пушкины жили в Петербурге, но после отставки Алексея Ивановича с поста обер-прокурора Святейшего Синода решили перебраться в Москву.
Благо строительные работы в трехэтажном особняке на Разгуляе уже завершились.
Для воспитания своего многочисленного потомства — у Мусиных-Пушкиных было восемь детей — Алексей Иванович пригласил католического аббата Сюрюга, человека необычайно ученого. Сразу по переезде Сюрюг соорудил на фасаде здания солнечные часы, чтобы дети учились определять время. Агрегат ученого аббата оказался настолько точным, что еще много лет московские часовщики приходили сверять по нему время. Однако прочим горожанам часы не нравились — формой они напоминали гробовую доску и только усиливали страх перед «заклятым местом». Некоторые даже утверждали, что перед крупными военными кампаниями на них проступают кровавые пятна.
Впрочем, досужие слухи совершенно не волновали ни хозяев, ни их многочисленных гостей, которые частенько сюда наведывались. А потом грянул 1812 год, и Мусиным-Пушкиным пришлось вспомнить о дурной славе брюсовского места…
…Граф Алексей Иванович до последней минуты не хотел уезжать из Москвы. Не верилось, что Кутузов оставит город, отдав его на разграбление французу. Екатерина Алексеевна, обычно поддерживавшая во всем мужа, тут просто за голову хваталась.
— Скажи, батюшка, на милость, какая от тебя в Москве польза? Пришло время твоим сыновьям воевать, а тебе в деревне сидеть. Вот и Александр пишет: «Уезжайте из Москвы, враг уже близко».
Саша, средний сын, был их любимцем.