Наступили тяжелые времена. После обыска Тамару Емельяновну с детьми выгнали из квартиры. Кахи и его брата Имери исключили из музыкальной школы, поскольку сыновьям «врага народа» было не место среди одаренных детей. Их матери стали урезать и так небольшую зарплату, семья жила впроголодь. Тамара Емельяновна пыталась узнать о судьбе мужа, ходила по всем инстанциям, ездила в Москву. Но единственное, чего ей удалось добиться, это вернуть квартиру. Кахи хорошо запомнил свидание с отцом в КГБ. Мама взяла его с братом с собой. Отец попросил принести ноты, чтобы дети показали, что они разучивают. Это была первая и последняя их встреча. Вскоре отца Кахи сослали в лагерь, где он умер в 1952 году. Люди, сидевшие с ним, привезли его жене письма и фотографии, которые она посылала ему в лагерь...
Тетя больше так и не вышла замуж, посвятив себя детям. Она показала им пример абсолютной преданности и верности. Эти благородные черты Кахи, безусловно, унаследовал от матери...
Детство брата прошло в доме, где жили звезды сцены и кино. Я бывала в этой большой семейной квартире Кавсадзе: гостиная и две отдельные комнаты. В этом доме жил брат Верико Анджапаридзе. К нему часто приходила его племянница — Софико Чиаурели. Они с Кахи были почти ровесниками, очень быстро подружились, часто играли во дворе. Софико была большим сорванцом. И потом, став актерами, они встречались на съемках фильмов.
Кахи унаследовал артистичность от матери, а музыкальность — от отца. Его дед Сандро Кавсадзе был основателем самого большого хора грузинской песни, отец дирижировал в этом хоре и сочинял музыку. В детстве Кахи мечтал стать оперным певцом. Младший брат Имери им стал. Оканчивая школу с техническим уклоном, Кахи решил идти в Политехнический институт, но тут его с одноклассниками неожиданно пригласили сниматься в массовке картины «Они спустились с гор». Он так понравился режиссеру, что ему даже предложили сыграть роль. В один из съемочных дней Кахи должен был прыгнуть в реку. Дубль оказался первым и последним: начинающий актер сломал шесть ребер. От полученной травмы у него начался плеврит. Врач предупредил Кахи, что в постели придется пролежать около года. Вместо него снялся другой актер.