Hijo de un panadero emigrado de Sicilia, John Romita estaba dotado para el dibujo y estudió en la Manhattan's School of Industrial Art. Se graduó en 1947 e, inmediatamente, se puso a trabajar en el ámbito publicitario, muy inspirado a la hora de diseñar sus personajes o escenarios por la obra de John Whitcomb o Al Parker. También era un gran amante de las tiras de prensa de su tiempo, con especial deleite por la obra de Milton Caniff, que siempre fue un referente para él. Otros dibujantes de cómic que le encandilaban eran Noel Sickles, Roy Crane y Alex Toth. Viendo que sus ingresos como ilustrador publicitario eran exiguos, decidió entrar en la industria del cómic para trabajar como entintador en principio. Comenzó en 1949, en la serie Famous Funnies y siguió en otras, a veces sin firmar, como Crime-Smashers. Tras prestar servicio militar, regresó a sus viejos oficios y entró a trabajar, en 1951, en Atlas Comics (antes Timely Comics) y allí dibujó historietas de horror, de crimen y de romance, desarrollando un estilo inconfundible a la hora de dibujar relaciones amorosas y bellas jovencitas. También trabajó en este tipo de tebeos para DC Comics desde mitad de los años cincuenta y hasta el comienzo de los setenta, series como Girls' Love Stories, Girls' Romances, Heart Throbs, Secret Hearts, Young Love o Young Romance. Fue en estos cómics donde evolucionó como dibujante y depuró su estilo.
En el ecuador de los años sesenta, volvió a Marvel Comics (antes Atlas Comics) como autor ya reputado, pero le siguieron encargando tintas (para Avengers o Daredevil, por ejemplo), hasta que Steve Ditko abandonó The Amazing Spider-Man y confiaron en Romita como dibujante de la serie. Era un autor pausado y detallista, pero logró sacar adelante una etapa de la serie de las más recordadas, durante la cual fue cocreador de personajes tan importantes com Mary Jane Watson o The Punisher. Indudablemente, fue el autor que canonizó la imagen definitiva del "Trepamuros", que calaría entre el gran público durante décadas.
Debido a sus logros y formación, Romita se convirtió en director artístico de Marvel en 1972 y fue el responsable del diseño de varios personajes importantes de la casa, como Wolverine, Power Man, Bullseye o Tigra, entre otros. Dio el primer impulso a la serie derivada Peter Parker. The Spectacular Spider-Man y dibujó otras en su arranque, como Droids, en los años ochenta. Durante la segunda mitad de los años setenta fue el autor de las tiras de prensa de Spider-Man, y entre el final de los ochenta y los noventa siguió dibujando esporádicamente en varias series, habitualmente como autor invitado. Se jubiló en 1995 con su personaje más querido, realizando Spider-Man / Kingpin: to the Death, aunque luego participaría en algunos lanzamientos especiales.
Recibió el premio Inkpot en 1979 y fue escogido para el Will Eisner Hall of Fame en 2002.
Su hijo, John Romita Jr., es también un reconocido dibujante de cómics.