Né le 24 janvier 1930, pendant la Grande Dépression, John Romita a été élevé à Brooklyn, New York, aux côtés d’un frère et de trois sœurs par les Siciliens-Américains Marie et Victor Romita. Il est diplômé de la School of Industrial Art de Manhattan à l’âge de 17 ans et le jour de son anniversaire, il a obtenu son premier travail d’artiste d’une source très improbable : un anesthésiste du Manhattan General Hospital. Romita a été payée pour concevoir une exposition médicale basée sur la médecine pneumatologique, une étude obsolète des «êtres spirituels» et des sciences de «l’air».
Romita est entré dans l’industrie de la bande dessinée en 1949 mais a été enrôlé dans l’armée américaine en 1951. Après avoir montré ses échantillons d’art, on lui a demandé de faire des affiches de recrutement. Pendant ce temps, il a rencontré Stan Lee alors qu’il travaillait pour Timely Comics, le précurseur de Marvel Comics. Alors qu’il faisait principalement de la guerre, de l’horreur, de la romance et des westerns, Romita a eu la chance de travailler sur le renouveau de courte durée de « Captain America » en 1954. Il s’est également marié pendant cette période – avec Virginia Bruno en 1952, avec qui il a eu deux fils, Victor et John Romita Jr. (1956).
Bientôt, Romita Sr. a été transféré à DC Comics, où il a travaillé dans le genre romantique dans l’espoir de décrocher un jour une bande dessinée de super-héros. Mais quand cela n’a pas marché, il a trouvé un emploi dans une agence de publicité somptueuse. Lorsque Lee a appris que Romita Sr. avait quitté DC, il l’a emmené à un déjeuner de trois heures et lui a proposé « Daredevil ». « La première occasion qu’il a eue, il m’a montré cette histoire ‘Daredevil’ que quelqu’un avait commencée et il n’a pas aimé ça […He] m’a demandé, ‘Que feriez-vous avec cette page?’ […] Je l’ai fait […] juste un grand dessin sur papier calque de Daredevil se balançant. Et Stan a adoré », a-t-il déclaré à Alter Ego.