Homme riche, homme pauvre est l’histoire épique d’une famille ; une histoire qui se déroule depuis les troubles de la Seconde Guerre mondiale jusqu’au début du Vietnam. Il y a trois enfants dans la famille Jordache : Gretchen, l’aînée, Rudolph, le responsable, et Thomas, le fauteur de troubles. Le roman suit la vie de chaque membre de la famille, à travers le bonheur et les bouleversements, la séparation et les retrouvailles, et emmène le lecteur dans des montagnes russes émotionnelles qu’il n’oubliera pas de sitôt.
Rudolph Jordache a le béguin pour son professeur de français. Lorsqu’il ne lui écrit pas de lettres d’amour en français, il dessine des images nues de ce qu’il imagine voir lorsqu’il la convaincra enfin de la profondeur de son amour. Cependant, lorsque le professeur de français confisque un des dessins de Rudolph, celui-ci est contraint de révéler à son père ses fantasmes. À la surprise et à l’étonnement de Rudolph, son père le défend, révélant le véritable caractère de la femme qu’il aimait.
Gretchen est surprise sur une route de campagne sur le point de rencontrer deux patients de l’hôpital VA où elle fait du bénévolat. L’homme qui l’a attrapée, Teddy Boylan, l’emmène déjeuner et devient rapidement son amant. Gretchen apprécie son temps avec Boylan, mais ne veut pas s’engager envers un homme cruel et beaucoup plus âgé qu’elle. Gretchen ne le sait pas, cependant, sa liaison secrète a été découverte par son frère Thomas une nuit après qu’un ami de Thomas ait vu Gretchen et Teddy ensemble. Thomas, enragé par la diffamation de sa sœur, brûle une croix sur la pelouse de Teddy le soir du jour de la victoire.
Lorsqu’Axel Jordache, le patriarche de la famille, apprend les agissements de Thomas, celui-ci est envoyé vivre chez un oncle dans l’Ohio. Gretchen profite de cette occasion pour s’enfuir, prenant le peu d’argent dont elle dispose et s’installant à New York. A New York, Gretchen rencontre l’homme de ses rêves et l’épouse malgré l’affection continue de Teddy Boylan. Rudolph, devenu ami de Boylan, est porteur de mauvaises nouvelles. Teddy ne se déchaîne pas sur sa jalousie envers Rudolph. En fait, Boylan paie les études universitaires de Rudolph après qu’Axel soit obligé d’utiliser l’argent qu’il a économisé pour Rudolph afin de sauver Thomas de prison.
Rudolph met son éducation à profit et devient directeur du grand magasin Calderwood. Après que Rudolph ait rencontré Johnny Heath, un courtier de Wall Street lors d’une fête chez Gretchen, les deux hommes ont uni leurs idées et ont élaboré un plan d’affaires pour créer une entreprise de plusieurs millions de dollars avec Duncan Calderwood, le propriétaire du grand magasin Calderwood. Le plan connaît un tel succès que Rudolph devient millionnaire. Cependant, le travail occupe son temps depuis si longtemps que Rudolph n’a pas de vie personnelle jusqu’à ce qu’il rencontre Jean.
Jean est un photographe qui a été embauché pour prendre la photo de Rudolph lors de l’ouverture d’un nouveau centre commercial. Rudolph tombe follement amoureux d’elle et, après quelques arrêts et départs, parvient à la persuader de l’épouser. Pendant ce temps, Thomas est réapparu à New York en tant que boxeur en tête d’affiche. Lorsque Gretchen et Rudolph lui rendent visite après le combat, ils apprennent qu’il est marié et qu’il a un fils, Wesley. Gretchen a également divorcé de son premier mari et a épousé un réalisateur. Cependant, alors qu’il est à New York pour installer son fils dans un internat, le deuxième mari de Gretchen est tué dans un accident de voiture.
La carrière de boxeur de Thomas est cependant de courte durée, après un combat à Londres. Thomas avait pris les gains de ce combat et les avait dépensés sur une Anglaise sur les plages de France. Cette indulgence fait que Thomas se déforme et perd un combat majeur, ruinant ainsi sa carrière. Alors qu’il travaille à Las Vegas comme sparring partenaire pour un autre boxeur, Thomas se bat avec l’autre boxeur, cassant la mâchoire de l’homme. Craignant que la foule veuille se venger, Thomas s’enfuit à New York où il travaille à bord d’un cargo. C’est à cette époque que Thomas découvre son véritable amour, la mer.
Thomas complote avec un homme qu’il a rencontré à bord du cargo pour acheter leur propre bateau, mais ils ont besoin d’argent. Peu de temps après la mort de sa mère, Thomas est surpris d’apprendre que Rudolph a pris de l’argent que Thomas lui a donné pour remplacer ses fonds universitaires et l’a investi. Le capital est désormais largement suffisant pour que Thomas puisse acheter son bateau.
Gretchen a trouvé une nouvelle carrière, celle de tourner des films pour l’industrie cinématographique, et un nouvel amour, un autre réalisateur. Bien que le fils de Gretchen, maintenant à l’université, n’approuve pas son petit ami, Gretchen a trouvé le contentement. Rudolph est devenu maire de la petite ville où il vit depuis l’université. Cependant, sa carrière politique est écourtée en raison d’une mauvaise fin d’un bras de fer au collège local. L’épouse de Rudolph, Jean, a également succombé à l’alcoolisme après la fin tragique de sa deuxième grossesse.
Thomas a la vie dont tout le monde rêve, un bateau, de bons amis, son fils et un nouvel amour. Thomas invite Gretchen et Rudolph à lui rendre visite sur son bateau pour son mariage. Après le mariage, Thomas est réveillé au milieu de la nuit et on lui apprend que Jean a des ennuis. Thomas se rend au bar où Jean s’est faufilé et la trouve agressée par un proxénète local. Thomas combat l’homme et ramène Jean chez lui. Cependant, le proxénète retrouve Thomas plusieurs jours plus tard et Thomas meurt des suites des blessures qu’il subit lors du combat qui en résulte.