Закон не велел пользоваться вещами, сделанными за границей, их нельзя было продавать и дарить, но Кодаю оставили все, чем он разжился в России. Сёгун пожаловал ему тридцать золотых рё и ежегодную пенсию в три рё — одного рё хватало, чтобы человек двенадцать месяцев покупал себе рис. А потом Кодаю и Исокити спрятали от людей: им запретили рассказывать о своих путешествиях и навсегда отправили в расположенный около Эдо райский уголок — сады, где выращивали лекарственные травы. Сёгун решил, что работать в полях они не должны: пусть отдыхают от своих странствий, живут в мире и покое, ни о чем не заботясь. Покидать, однако, свое новое место жительства путешественникам было строжайше запрещено... Вскоре сёгун снова отправил к Кодаю придворного ученого Кацурагаву, приказав ему написать книгу о России.
Кодаю прожил еще тридцать шесть лет — большую часть этого времени он отчаянно тосковал. Открывшийся ему огромный мир съежился до размеров небольшой деревни, он скучал по морю и новым землям. Он рвался в Японию, чтобы увидеть семью, но за те девять лет, что Кодаю не было, мать умерла, а жена вышла замуж за другого. Переданное голландскому послу письмо в Японию так и не попало, и родные решили, что Кодаю погиб. Около бухты Сироко, там, откуда его корабль вышел в свое последнее плавание, поставили памятный камень, около него каждый год приносили жертвы.
И все же жизнь продолжалась: он женился во второй раз, на совсем молоденькой девушке, их сын начинал посыльным в одной из книжных лавок Эдо, а потом получил образование и стал ученым — знатоком Китая. Жизнь шла ни шатко ни валко, без цели и горя, потрясений и радости, но он знал, что после него на земле останется след. Кацурагава долго с ним разговаривал, делал записи и составил трактат «Краткие вести о скитаниях в северных водах». Там были и описание России, и русский словарь. Сёгун и его приближенные прочли этот труд, а потом книгу засекретили и спрятали в архивах. Черновики Кацурагава сжег.
...Он рассказывал придворному ученому о петербургской сокровищнице, где собраны диковины со всего света, там есть даже магнит, притягивающий к себе огромные якоря, о приезжающих в Россию греках, путая их с неграми: мол, черны как смоль, курносы и курчавы, с вывернутыми красными губами. О том, что в этой земле нет ни луков, ни лат, о сложенном из разноцветных камней дворце русской императрицы, где потолок и стены стеклянные, а стыки между стеклом отделаны бобровым мехом. О том, что перед обедом русские едят хлеб с копченой свининой, а после него — горячее молоко со сваренными в нем сладкими кусочками теста...