Karlowicz syntyi Vishnevassa 11.12.1876 (nykyään osa Valkovenäjää) aatelisperheeseen, kuuluen Ostojan klaaniin. Hänen isänsä Jan oli puolalainen kielitieteilijä, leksikografi ja muusikko. Lapsena hän opiskeli viulua, mistä instrumentista hän myöhemmin kirjoitti ainoan konserttonsa.
Karlowiczin musiikki on myöhäisromanttista. Hän oli suuri Pjotr Iljitš Tšaikovskin ihailija, jonka sinfoniaa no 6 hän ylisti. Tšaikovskin vaikutusvalta kuuluu Karlowiczin aikaisemmissa teoksissa, etenkin e-molli-sinfoniassa ja viulukonsertossa. Kuten suurin osa myöhäisromantiikoista, Richard Wagner ja etenkin Tristanin ja Isolde tekivät huomattavaan vaikutuksen. Siitä huolimatta hän onnistui kehittämään omaperäisen musiikkikielen.
Hän kuoli lumivyöryssä 8.2.1909