Лишь немногие знали, что граф возглавлял московскую масонскую ложу. Особняк на Поварской сделался местом тайных встреч «вольных каменщиков». Согласно одной из легенд, великолепная дубовая лестница, ведущая на второй этаж, построена без единого гвоздя и отчаянно скрипела, но если знать куда ступать, можно было подняться по ней абсолютно бесшумно. Таким образом члены ложи понимали, свой человек идет или чужак.
Семья Олсуфьевых обитала в своем московском особняке до революции 1917 года. Графа к тому времени уже не было в живых, графиня же и оба сына с семьями покинули Россию. Их потомки ныне живут в Италии. Особняк на Поварской новая власть национализировала и заселила беднотой, потом передала отделу детских учреждений при ВЦИК и наконец советским писателям, благодаря чему сохранились чудесные готические деревянные интерьеры, искусным мастером которых слыл архитектор Петр Бойцов.
В круг служителей муз мечтал попасть весь московский бомонд, но высокая дубовая дверь ресторана «ЦДЛ» открывалась далеко не для каждого — вход осуществлялся строго по пропускам и членским книжкам Союза писателей. Андрей Яхонтов свидетельствовал: «...Стороннему человеку проникнуть в литературный заповедник было немыслимо — вход стерегли церберы-администраторы, пропуска, дающие право разового посещения, выписывали с неимоверными казуистическими препонами».
Дина Рубина вспоминала, как в юности любила подразнить бдительную охрану. Небрежно совала заветную красную книжицу, которую получила в двадцать четыре года, и бежала дальше. За ней толпой бросались те самые «церберы», не веря, что худенькая вихрастая девчонка и впрямь — писатель. Главным вышибалой в ретивой компании был легендарный администратор Аркадий Бродский — именно он решал, кого пустить в ресторан, а кого — нет. Однажды встал на пути самого Анастаса Микояна. Уверения последнего, что зван на мероприятие и являлся в прошлом высоким партийным руководителем, не подействовали.
Азарт проникнуть или, как тогда говорили, «протыриться» в писательский дом, посидеть рядом с Евтушенко и Окуджавой, увидеть на стенах Пестрого зала стишки и шутки завсегдатаев оказывался порой сильнее административных препон. Надо было только знать некоторые секреты. В ЦДЛ имелся длинный подземный переход, отделанный кафелем и соединяющий два здания: старый особняк и новую постройку пятидесятых годов. В прежние времена туда можно было зайти как с Поварской, так и с Большой Никитской — этим и пользовались. Путаными коридорами олсуфьевского особняка пробирались в Дубовый зал ресторана или Нижний буфет и терялись среди гостей. В 1974 году на вечер Василия Аксенова сумели просочиться даже неформалы-музыканты.
