В фамильном доме в Голутвине пятнадцатого декабря 1832 года появился на свет первенец Павел. Второй сын, Сергей, родился девятнадцатого января1834 года. Семья Третьяковых была большой, дружной, патриархальной, но не лишенной художественных интересов. Все любили литературу, музыку — матушка Александра Даниловна недурно играла на фортепиано.
Небольшой домик Третьяковых примыкал к колокольне храма Николая Чудотворца в Голутвине, где Михаил Захарович был приходским старостой и состоял в дружеских отношениях с настоятелем Александром Виноградовым. Священник часто запросто хаживал к нему побеседовать и находил в этих разговорах особенное удовольствие: «Михаил Захарович был человек очень умный, мог говорить о чем угодно и говорил приятно, увлекательно».
Из окон дома был виден Кремль с блестящими под солнцем куполами соборов. Эти виды и живописные переулочки Замоскворечья с зеленым буйством садов, уютными особнячками и затейливыми церковками формировали художественный вкус будущих коллекционеров.
Братья-погодки дружили, невзирая на разницу темпераментов. Старший — немногословный, сосредоточенный, задумчивый, любил в уединении читать книги и рассматривать картинки. Младший — балагур, живчик и весельчак, слыл душой любой компании. В свободное время Павел и Сергей гуляли по отцовским владениям, простиравшимся до Москвы-реки. В усадьбе был прекрасный сад, позади дома каретный сарай, домики садовника и дворника, а на речном берегу — склад сплавного леса и торговые бани, известные под названием Якиманских. Летом в компании замоскворецких мальчишек — купеческих сыновей Антона и Коли Рубинштейнов, будущих основателей Петербургской и Московской консерваторий, — братья Третьяковы бегали плавать на расположенные неподалеку купальни на Бабьем городке. Павел Михайлович почти не вспоминал о детстве, но об этих походах рассказывал дочерям с удовольствием. «Еще мальчиком он с братом Сережей выплывал из купален на Москве-реке и с мальчиками Рубинштейнами... легко переплывал реку», — пишет Александра Боткина в своей книге об отце.