В Массачусетсе Пей встретил будущую жену китаянку Айлин Лоо — она училась в соседнем колледже. В 1942 году они поженились и поступили в Гарвардскую школу дизайна, где Йо Минг получал степень магистра архитектуры, а Айлин изучала ландшафтный дизайн.
Первые опыты молодой специалист получал в строительных фирмах Чикаго, Филадельфии, Вашингтона, а в середине пятидесятых открыл собственное бюро «И. М. Пей и партнеры». Начав карьеру одним из тысяч безликих городских застройщиков Нью-Йорка, он закончил ее всемирно известным архитектором и лауреатом Притцкеровской премии.
Среди ранних его работ — мемориальная христианская часовня Люс: четыре устремленные ввысь выгнутые наклонные плоскости. Возведенная в 1963 году в тайваньском городе Тайчжун, она стала главной достопримечательностью кампуса местного университета, основанного методистскими миссионерами.
Когда в ноябре 1963 года в Далласе был убит Джон Кеннеди, память о тридцать пятом президенте США решили увековечить созданием в Бостоне библиотеки-музея его имени. На роль архитектора рассматривались прославленные мэтры Алвар Аалто и Людвиг Мис ван дер Роэ, но семья Кеннеди одобрила кандидатуру Пея, зодчего в то время не очень известного. К концу декабря он представил черно-белый проект из стекла и бетона, однако к его реализации приступили лишь в 1977-м. Городские власти и вдова погибшего долго не могли согласовать место под строительство. Наконец оно было найдено на берегу Атлантического океана. За этот проект Пей получил золотую медаль Американского института архитектуры — высочайшую профессиональную награду страны.
Потом были восточное крыло Национальной галереи искусства в Вашингтоне, офис банка OCBC в Сингапуре, мировой торговый центр в Балтиморе, Центр атмосферных исследований в Колорадо.
