Милли родилась девятнадцатого февраля 2004 года в солнечной Марбелье, где ее дед держал ресторанчик. Агент по недвижимости Роберт Браун с женой и старшими детьми Пейдж и Чарли переехали в Испанию из Англии, когда Келли была беременна Милли. В 2012-м у супругов родилась Ава, младшая любимая сестренка юной актрисы.
Когда Милли исполнилось четыре года, родители вернулись в Британию и поселились в Борнмуте, графство Дорсет. В школе девочке приходилось несладко: одноклассники считали ее странной, не от мира сего, к тому же дурнушкой. Да и успехами в учебе Милли не блистала, зато прослыла «королевой драмы». Готова была петь, танцевать и делать все что угодно на сцене школьного театра несмотря на то, что с рождения у нее были проблемы — одним ухом почти не слышала. Но это Милли абсолютно не мешало, она пела буквально с пеленок. Любимой игрушкой был микрофон со встроенными песнями из «Классного мюзикла» с Заком Эфроном в главной роли. Встретив через несколько лет «живого» Зака, Милли, по ее признанию, чуть не упала в обморок. Разумеется, Эфрон немедленно стал ее другом.
Ей было восемь, когда семья снова переехала. На сей раз во Флориду. В городе Орландо, где родители открыли небольшой бизнес по продаже средств для отбеливания зубов, отец начал водить Милли на сценические курсы. Периодически на занятия приходили агенты, и один из них, понаблюдав за дочерью мистера Брауна, посоветовал перебраться в Голливуд: «У вашей девочки прирожденные актерский дар и инстинкты, этому невозможно научить».
Поверив агенту и продав то немногое, что у них имелось (бизнес все равно ожиданий не оправдал), Роберт и Келли перебрались с детьми в Калифорнию. В Лос-Анджелесе поначалу все шло прекрасно. Милли получила роль Алисы в сериале «Однажды в стране чудес», сыграла в «Злоумышленниках» и еще несколько эпизодических ролей в «Американской семейке», «Анатомии страсти», проекте «Морская полиция. Спецотдел».