За Натальей Ивановной оставалась усадьба Загряжских — Ярополец под Волоколамском, и вмешиваться в управление своей деревней своенравная барыня никому не дозволяла. Был еще дом в Москве, где родилась старшая дочь Гончаровых Екатерина. Средняя — Александра — появилась на свет под Петербургом, в поместье княгини Барятинской. Наташа была пятым ребенком из семи детей Гончаровых (Софья, родившаяся в 1818 году, почти сразу умерла) и самой младшей из сестер. Помимо девочек в семье росли еще три сына — Дмитрий, Иван и Сергей. Таша появилась на свет в 1812 году, на следующий день после Бородинского сражения. Гончаровы спешно эвакуировались из Первопрестольной в Тамбовскую губернию. Там в своем имении Кариан их приютила родня.
К середине жизни у Николая Афанасьевича Гончарова открылась серьезная душевная болезнь. Поговаривали, что произошло это вследствие ушиба головы после падения с лошади. Во время приступов безумия барин напивался и бродил по большому дому в исподнем с зажженной свечой, пугая дворовых девок...
Когда супруг заболел, Наталья Ивановна стала главой большой семьи, приняв на себя в двадцать девять лет все заботы о хозяйстве и слабоумном муже. Характер ее, и до этого нелегкий, совсем испортился. В своей несчастливой судьбе она винила всех вокруг, в том числе детей и свекра Афанасия Николаевича — за прижимистость. Тот поначалу выделял родне до сорока тысяч рублей ежегодного содержания, но потом помощь сильно сократилась.
Чтобы немного урезать расходы, Наталья Ивановна согласилась отправить одну из дочерей погостить в Полотняный Завод. «Повезло только младшей сестре — Таше, ее забрал к себе пожить дедушка, — рассказывала аббату баронесса Дантес. — Она единственная унаследовала красоту матери. А красота как индульгенция: если имеешь ее, все можешь себе позволить, все простится».
Пребывание в Полотняном Заводе затянулось на три года. Домой в Москву подросшая Таша вернулась в нарядной собольей шубке. Катя очень хотела иметь такую же и впервые испытала по отношению к младшей сестре чувство незнакомое, но острое и болезненное: «Почему ей? Почему не мне?»
Раздраженная мать сорвала с плеч дочери дедовский подарок, бросила шубку на землю и с наслаждением принялась топтать. «Вот ведь старый дурак! — ярилась она. — Лучше бы закладные на имение выкупил!» Девятилетняя Катя стояла, от ужаса сжав руками голову. И вместе с тем где-то внутри наряду с испугом поднималась злая радость от вида запачканной шубки Таши.