Urodzony w 1950 roku w Gainesville na Florydzie, Petty miał ciężkie dzieciństwo, ale uścisk dłoni Elvisa w wieku 17 lat wywołał zainteresowanie muzyką rockową. David Rolland z Broward Palm Beach New Times udał się na wędrówkę, aby odwiedzić miejsca ważne dla Petty'ego w 2014 roku, w tym dom z dzieciństwa:
Pierwszy zespół Petty'ego, Mudcrutch, mieszkał na farmie w Gainesville, która była „tandetna” i „daleka od sąsiadów, którzy mogliby narzekać na hałas”, Gainesville Sun napisał w 2008 roku.
Red Slater, przyjaciel zespołu, który mieszkał na farmie przez kilka lat, powiedział Słońcu:
Zespół przeniósł się do Kalifornii w 1974 roku, aby stać się wielkim, ale zespół rozpadł się, a kilku byłych członków zebrało się, aby utworzyć Tom Petty and the Heartbreakers, a reszta, jak mówią, jest historią (choć Mudcrutch połączył się ponownie w 2007 roku i wydał dwa albumy).
Dom Petty'ego Encino w Kalifornii ma dość historię. W 1987 r. - rok przed tym, jak Traveling Wilburys (super grupa Petty utworzona z Georgem Harrisonem, Bobem Dylanem, Royem Orbisonem i Jeffem Lynne) wydali swój debiut -
podpalacz podpalił drewniane schody posesjii prawie wszystko z wyjątkiem piwnicznego studia nagrań zostało utracone. Drobni i rodzina odbudowali to miejsce i według Realtor.com:I dochodzimy do rekolekcji Petty's Lake Sherwood. To było wystawiony na sprzedaż w maju, i jest wciąż na rynku za 5 895 mln USD. Nazywane Casa Della Madonna, to miejsce zostało zbudowane w 1931 roku i bardziej przypomina Jezioro Como niż Kalifornię. Nieruchomość o powierzchni 5300 stóp kwadratowych znajduje się na prawie akrze z prywatnym dokiem. W salonie znajdują się ściany wykonane z lokalnego kamienia polnego, a dodatek z 2004 roku dodał spokojny apartament główny z głęboką kamienną wanną i balkonem z kominkiem.