После революции здание «нарезали» на коммуналки, затем отдали под общежитие политэмигрантов. Позже тут располагался «Дальстрой», контора, ведавшая золотодобычей на Колыме, освоением Чукотки и Якутии. С 1956 года здесь обосновался Центральный дом шахматиста. Тут разместились редакции профильных изданий, лекторий, шахматная школа. В бывшей столовой устраивали временные выставки, в бальной зале проводили турниры. На чугунном балконе, под которым собиралась толпа, выставляли доску для демонстрации ходов важнейших партий — все болельщики в стенах клуба просто не помещались! Настоящие шахматные баталии ежедневно разворачивались и на скамейках Гоголевского бульвара.
В 1958 году в старинном особняке появился долговязый, нескладный подросток. С интересом осмотрел портретную галерею чемпионов, заглянул во все залы и кабинеты, даже проник в «гроссмейстерскую», где для анализа партий уединялись магистры игры. То был «мальчик из Бруклина» — пятнадцатилетний чемпион США по шахматам Роберт Фишер, прилетевший в Москву с сестрой Джоан. Гостям подготовили культурную программу с посещением Кремля, Третьяковской галереи и прочих знаковых мест, но Бобби достопримечательности не интересовали. Отправив на экскурсии сестру, он пропадал в шахматном клубе, где нещадно громил посетителей, то и дело интересуясь: нельзя ли сразиться с Ботвинником или со Смысловым? И по-детски огорчался, что чемпионы не спешат прервать отпуск ради встречи с американским вундеркиндом. Тигран Петросян и Евгений Васюков устроили шахматному гению суровый экзамен, который честолюбивый юноша, впрочем, выдержал...