По замыслу Росси за дворцом разбили образцовый английский сад с газоном и рукотворными прудами, где устраивались конные прогулки и праздники. В 1839 году во время одного из балов сад и дворец превратили в выставку петербургского садоводства. Современник вспоминал: «К балу были свезены все цветы из павловских и ораниенбаумских оранжерей на двухстах возах и пяти барках, которые вел за собой особый пароход. Подходили они к пристани Михайловского сада. Все во дворце цвело и благоухало... такого изобилия редких и многоцветных растений не случалось видеть...»
Однако за парадной ширмой скрывалась семейная трагедия. Блистательной красавице было не суждено стать любимой женой. Муж не замечал ее прелести. Впрочем, в династических браках чувства редко принимались в расчет. Счастья в браке не обещала и полная противоположность характеров, воспитания, вкусов и мнений. Духовные запросы Елены не встретили взаимопонимания у супруга, который «ничего ни письменного, ни печатного с малолетства не любил, а из музыкальных инструментов понимал только барабан...»
Великий князь носил звание генерал-фельдцейхмейстера (главного начальника русской артиллерии) и слыл формалистом павловского толка. Потускневшая пуговица или незастегнутый крючок могли вызвать у Михаила бурю гнева. Суровость его лица, взгляд из-под нахмуренных бровей, резкая манера выговаривать и неумеренная строгость взысканий заставляли подчиненных трепетать. Однако близко знавшие великого князя утверждали, что «под личиной строгости он таил доброе сердце», был отходчив и нередко инкогнито помогал нуждающимся офицерам. К тому же при отсутствии глубокого образования Михаил слыл одним из самых остроумных людей эпохи — его каламбуры гуляли по обеим столицам.
С женой великий князь не сумел найти взаимопонимания и нередко приносил ей огорчения. Однако высокое положение требовало держать себя в руках, и Елена старалась поддерживать мир в своем роскошном дворце. С годами Михаил оценил ум и прозорливость жены, «простил ей, что была выбрана ему в жены». Семейная жизнь, хотя и без особого тепла, наладилась. Постепенному сближению способствовали не только такт и дипломатичность Елены Павловны, но и дети — у них подрастали три дочери: Мария, Елизавета и Екатерина. Еще двух девочек — Анну и Александру — супруги потеряли младенцами.
Сохранилось свидетельство Долли Фикельмон, внучки фельдмаршала Кутузова, которое она оставила в своем дневнике после знакомства с Еленой Павловной: «Принцесса приехала сюда совсем юной, выдана замуж за человека доброго нрава, но с неотшлифованным умом и, может быть, слишком солдафона, не способного ни понять, ни оценить ее. Она провела здесь несколько мучительных лет, подчас весьма горьких. Сейчас она вернулась из поездки в Германию и Италию, куда ездила укрепить здоровье. Муж встретил ее с радостью и даже с любовью». Долли вторит кузен флигель-адъютант Константин Опочинин, вхожий в великокняжескую семью. По его словам, Елена сумела «не только поладить с мужем, но и решительно прибрать его к рукам».
