Вот как описывает Илья Остроухов «большой холостой обед у Ивана Абрамовича»: «Много интересных людей — милейший шестидесятилетний юноша Сорокоумовский, Садовский, Шаляпин, Васнецов... Прекрасный обед, свечи, вино, после обеда, так до полуночи, карты. В самой веселой компании. Я чуть ли не год не играл, на мое несчастье Иван Абрамович и Шаляпин влетают мне в страшно крупную сумму...»
Страстью к коллекционированию Михаил заразил и брата, тот начинает делать первые художественные приобретения: покупает русскую живопись, а с 1903 года — французских импрессионистов. В юности Иван мечтал стать художником. В гимназические годы их с братом учили рисованию гораздо серьезнее, чем полагалось в купеческих семьях. Сначала Михаил с Иваном занимались в художественной студии Николая Мартынова, затем года два раз в неделю к ним приходил Константин Коровин, в ту пору еще студент Училища живописи, ваяния и зодчества, живший в доме по соседству. Но если Миша забросил живопись рано, то Иван еще долго не расставался с мольбертом. «В Цюрихе каждую свободную минуту я брал свой ящик с красками и отправлялся в горы на этюды. Это лучшие мои воспоминания», — признавался он.
А между тем в Москве о Морозове-старшем продолжали говорить: «Картины, картины губят его...» Но как оказалось, погубили Михаила вовсе не картины. Махнув рукой на свою склонность к полноте, он пил и ел без ограничений, а на жену, пытавшуюся его образумить, топал ногами. В результате хроническое заболевание почек прогрессировало. После одного из пиршеств, где хозяин переел сырокопченого мяса, запивая его водкой, началось обострение воспалительного процесса. Спасти Морозова не удалось...
И хотя Михаил умер совсем молодым — на тридцать четвертом году жизни, в его коллекции оказалось немало подлинных жемчужин новейшей французской живописи: «Кабачок» Эдуарда Мане, «Поле маков» Клода Моне, «Пирога» Поля Гогена, «Море в Сент-Мари» Винсента Ван Гога. Михаилом был куплен и большой парадный портрет актрисы «Комеди Франсез» Жанны Самари кисти Ренуара.
Ранняя и неожиданная кончина брата потрясла Ивана, и он принял на себя заботу о его вдове и четырех детях.
Тридцатилетний безупречно элегантный миллионер слыл одним из самых завидных московских женихов, однако с женитьбой не спешил. Правда его часто видели в «Яре» — знаменитом ресторане на Петербургском шоссе, но едва ли кому-то приходило в голову, что именно здесь обитал предмет его страсти. А между тем так оно и было. В 1901 году Иван познакомился с хорошенькой шестнадцатилетней хористкой «Яра» Евдокией Кладовщиковой, которую все ласково называли Досей, и совершенно потерял голову. Спустя два года на свет появилась их дочь — Дося-младшая. Связь тщательно скрывалась. О ребенке было известно лишь самым близким, девочка росла в семье старшей замужней сестры Доси.