Madetoja syntyi Oulussa köyhään kotiin, eikä merimiesisä ehtinyt nähdä poikaansa ennen menehtymistään Amerikassa. Madetoja kirjoitti ylioppilaaksi Oulun suomalais-klassillisesta lyseosta 1906. Koulussa ollessaan hän lauloi koulun kuorossa, johti toverikunnan kuoroa ja opiskeli itsenäisesti viulun- ja pianonsoittoa, joskin hänen pääsoittimenaan oli kantele. Hän opiskeli Helsingin musiikkiopistossa (nyk. Sibelius-Akatemia) ja Yliopistossa vuosina 1906–1910 Armas Järnefeltin, Erik Furuhjelmin sekä Jean Sibeliuksen johdolla. Madetoja suoritti lisäksi opintoja Pariisissa ja Wienissä.

Vaikka Madetoja lähti Oulusta heti kirjoitettuaan ylioppilaaksi vuonna 1906, hänellä oli kuitenkin vahvasti pohjalainen identiteetti, ja tätä kuvastaa myös säveltäjän pääteoksiin luettava ooppera Pohjalaisia (1923).

Madetoja toimi kapellimestarina Viipurissa sekä yhdessä Toivo Kuulan kanssa Kotimaisen Orkesterin apulaiskapellimestarina. Hän oli myös Helsingin Sanomien musiikkiarvostelija, Helsingin Yliopiston musiikinopettaja ja Teoston puheenjohtaja.

Madetoja kuului Pohjois-Pohjalaiseen Osakuntaan, jonka toiminnassa hän tutustui Etelä-Pohjalaisen Osakunnan jäseneen Toivo Kuulaan. Tämän kansallisromanttisen vaikutuksen innoittamana Madetoja keräsi pohjoispohjalaisia kansanlauluja kotimaakunnastaan vuosina 1907–1909. Madetojan säveltäessä musiikkia osakuntatoveri Eino Leinon näytelmään, hän tutustui puolestaan tulevaan vaimoonsa, runoilija L. Onervaan. He olivat avioliitossa vuodesta 1913, joskin Leino kuului suhteeseen jatkuvasti kolmantena pyöränä. Madetoja alkoholisoitui Leinon ja Onervan tapaan, ja kuoli Helsingissä 60-vuotiaana. Hänen tuotteliaisuutensa kääntyi viimeisinä vuosina laskuun.