В 1887 году по указу Александра III им пожаловали потомственное дворянство — «во внимание к 100-летней деятельности рода... на поприще торговли и в воздаяние их заслуг». А также даровали дворянский герб: «В лазуревом щите расположенных в круг жемчужин, или перлов, натурального цвета. Щит увенчан дворянским коронованным шлемом. Нашлемник — чайный куст с шестью ветками натурального цвета между двумя лазуревыми орлиными крыльями, в коих каждое обременено одною жемчужиною. Девиз «Честь в труде» — серебряными буквами на лазуревой ленте».
О Сергее Васильевиче москвичи говорили: «Это человек благородной души и светлого ума, отзывчивый на чужое горе, отличался цельностью характера, самостоятельностью, был справедлив и честен в делах». А вот о племяннике его Николае Семеновиче — важном самодовольном господине с картинно закрученными усами — отзывались плохо. «Все в нем показывало, что он любитель только обедов, лошадей и женщин», — заметил известный промышленник Николай Варенцов.
Большой знаток лошадей и скачек, Николай Перлов в 1901 году открыл в своем имении Подлипки под Москвой частный конезавод, где выращивал орловскую рысистую и першеронскую породы. Сам объезжал жеребцов, возил их на ипподром и устраивал забеги. В конце жизни наделал огромных долгов, чему поспособствовали скачки и азартные картежные игры, разбираться с которыми, закладывая части имения в Подлипках Русско-Азиатскому банку, пришлось его сыновьям Николаю и Александру.
Стоит ли удивляться, что отношения Сергея Васильевича с беспутным племянником не сложились и в 1891 году он решился на беспрецедентный шаг — вышел из семейного дела и основал собственное Товарищество чайной торговли «Сергей Васильевич Перлов и Ко», взяв в компаньоны жену Анну Яковлевну, дочерей Варвару, Любовь и Елизавету и зятьев — Иннокентия Ивановича Казакова, Николая Петровича и Владимира Александровича Бахрушиных, выходцев из семьи известных благотворителей. Толковые зятья стали директорами правления фирмы и немало способствовали ее процветанию.
Новая чайная компания вела в основном внутреннюю торговлю, имела в управлении около десятка магазинов в Москве, в том числе на Варварке, Арбате, Сретенке, Малой Полянке, Большой Ордынке, Большой Тверской-Ямской, а также чаеразвесочную фабрику на Каланчевской улице, оснащенную по последнему слову техники. Дела шли успешно, обороты нарастали.
