Joseph Salvatore Lovano nació el 29 de diciembre de 1952 en Cleveland, Ohio, y creció en una casa musical.  Su padre, Tony, alias Big T, trabajaba como barbero durante el día y tocaba el saxofón tenor en la noche.  “Big T”, con sus hermanos Nick y Joe, también saxofonistas tenores, y Carl, un trompetista de bebop, se aseguraron que Joe estuviera expuesto al jazz y al saxofón desde una edad joven.

Josephine, la madre de Joe, y su hermana Rose, eran serios fanáticos del jazz.  Su madre recuerda escuchar a Big T tocar con Stan Getz y Flip Phillips cuando estaban comprometidos.  Su tía Rose escuchó a jazz en el Philharmonic con Ella Fitzgerald cuando el grupo pasó por Cleveland.

Como es lógico, Joe comenzó a tocar el saxofón alto cuando tenía cinco años y cambió a tenor algunos años después.  A la edad de 16 años, Lovano era ya  miembro del Sindicato de los Músicos, y trabajó como profesional.  Comenzó a tocar en los clubes (a veces tocando como sustituto para su padre) y con bandas que tocaron temas de Motown, ahorrando suficiente dinero para pagar su educación universitaria.