Позднее бывшей усадьбой Орлова-Денисова владели статский советник Николай Шипов, удивлявший москвичей балами екатерининского размаха, купец Маттерн, «Московское страховое от огня общество» (от него и сохранился огненный лев, вылезающий из декоративного камина в одном из залов). После 1918 года особняк находился в ведении правоохранительных органов.
В конце девяностых здание принадлежало «Инкомбанку», а после того как тот разорился, было еще дважды перепродано.
Ценнейшая историческая усадьба в самом центре Москвы, живая легенда русской истории, много лет стояла разоренной и заброшенной. Главный дом, стыдливо занавешенный зеленой сеткой, умирал на глазах у равнодушной столицы, столь многим ему обязанной.
К счастью, в 2016 году сюда пришли московские реставраторы и с удивлением обнаружили, что внутри дома чудом сохранились старинная планировка и подлинные элементы некогда роскошных интерьеров — перила, двери, паркет, печи-камины, редкой красоты напольная плитка и даже невероятные зеркала, в которых отражались еще наполеоновские генералы. Четыре года специалисты бережно восстанавливали кирпичные своды, доломитовые ступени, металлические колонны, расчищали элементы лепного и белокаменного декора, по существующим образцам воссоздавали барочные терракотовые вазоны и чугунные ограждения балкона — и в 2020 году один из старейших особняков Москвы, овеянный легендами, именами и событиями, предстал наконец в былом, достойном его великолепии.
