Hudební začátky Johna Mayera bychom mohli spojit s akustickým rockem. Již v dětství se John rozhodl věnovat hraní na kytaru, a tak mu otec v jeho 13 letech pořídil první kytaru, na kterou začal aktivně hrát. Hudba ho natolik nadchla, že ji chtěl i přes protest svých rodičů studovat.
Navštěvoval hudební akademii Berklee v Bostnu, později se dal dohromady s Clayem Cookem, se kterým založil první kapelu Lo-Fi masters. Jak už tomu bývá, neměla skupina dlouhého trvání, a tak John alespoň vystupoval v místních klubech, kde získal zkušenosti s vystupováním pro širší publikum.
Roku 2001 se zúčastnil jednoho festivalu, kde si ho vyhlédli skauti z Aware Records a následně i z Columbia Records. Prvním albem, které natočil u Columbia Records bylo dnes v podstatě nepříliš známé Inside wants out. Další alba Room for Squares z roku 2001 a Heavier Things (2003) už jsou podstatně známější. V kategorii popu John obdržel cenu Grammy právě za píseň Your body is a Wonderland z alba Room for Squares.
Protože John tíhnul k procítěnému blues, začal spolupracovat s B.B. Kingem, Ericem Claptonem a Buddy Guyem a postupně se z akustického rocku přeorientoval. V roce 2006 nahrál sólovku Continuum a v dalším roce hned byla oceněna dvěma Grammy za nejlepší mužský pěvecký výkon a nejlepší vokální album kategorie pop. Následovala popová alba Battle Studies z roku 2009 a Born and Raised (2012). V roce 2013 John vydal desku Paradise Valley, která je orientovaná hodně do country.