Jake s’enrôle dans l’armée américaine mais déserte après qu’il est clair que son rôle là-bas est purement subalterne. Après être allé en Angleterre et avoir vécu avec une femme blanche, il monte dans un cargo pour rentrer chez lui. A Harlem, Jake ramasse une jolie femme brune, qui réclame cinquante dollars. Après avoir couché avec cette femme, à l’extérieur, Jake découvre qu’elle lui a rendu l’argent. Jake, à son grand désarroi, découvre qu’il a perdu l’adresse de la femme.
Jake est avec son vieux copain de l’armée, Zeddy au cabaret Congo. Il est sélectionné pour attirer l’attention par la séduisante chanteuse Rose. Jake va vivre avec Rose, mais ne ressent pas le véritable amour pour elle. Zeddy obtient un emploi pour Jake sur les quais, mais Jake démissionne lorsqu’il découvre qu’il est un briseur de grève. Quelques jours plus tard, dans un tripot, Zeddy est attaqué par Nije pour ne pas avoir payé sa dette, et Zeddy lui donne presque un couteau avant que Jake n’arrête Zeddy.
Zeddy a sa chance chez Ginhead Susy sur Myrtle Avenue. Zeddy finit par vivre avec Susy, mais en veut bientôt que Susy ait le contrôle sur lui parce qu’elle paie ses factures. Zeddy part à la poursuite d’une autre femme, découvre Susy, et il est jeté par elle. Jake aime être avec Rose et obtient le prestige d’aller dans un restaurant-buffet lié au propriétaire du cabaret de Baltimore. Malheureusement, ce club illégal est bientôt fermé par le Vice Squad, ainsi que le Baltimore lui-même. Jake a ses propres problèmes, avec des preuves des amants de Rose. Rose sent le ressentiment de Jake et le gratte. Jake la gifle et est dégoûté par son propre comportement, alors il quitte Rose.
Jake obtient un emploi dans le chemin de fer en tant que cuisinier. Là, Jake rencontre l’intellectuel haïtien noir, Ray, qui est maintenant serveur. Jake a des femmes dans des endroits comme Pittsburgh et prend également des médicaments, mais Ray fait une overdose par inadvertance et est envoyé à l’hôpital, bien qu’il récupère rapidement. Il y a des tensions entre le chef de Jake et un garde-manger. En fin de compte, le garde-manger fait en sorte que le chef fasse une crise hystérique devant l’intendant blanc et soit rétrogradé de son poste de chef. Ray essaie de profiter d’un arrêt chez Madame Laura à Philadelphie avec Jake, mais ne peut pas être avec des femmes qu’il considère comme des prostituées. De retour à New York, Jake tombe malade après avoir bu trop d’alcool. Il boit à nouveau un jour et fait une rechute. Jake reçoit des visiteurs, dont la petite amie de Ray, et plus tard un homme appelé Yaller Prince, qui est en fait un proxénète. Ray y raconte l’histoire d’un souteneur nommé Jerco qui aimait sa femme et se suicide après sa mort.
Jake est toujours en congé du chemin de fer et voit Yaller Prince agressé par un homme qui soutient l’une des anciennes filles de Yaller. Billy le loup dit à Jake qu’il lui donnera une arme pour se défendre. Ensuite, Jake sort dans un cabaret, où la foule danse sur une chanson de jazz endiablée. Là, à sa grande surprise, Jake voit sa femme brune perdue depuis longtemps. Elle s’appelle Felice, et Jake et Felice passent une semaine tranquille ensemble. Le samedi suivant, ils vont dans un cabaret, mais quand Jake est occupé, il entend Zeddy, son ancien petit ami, essayer de l’entraîner jusqu’à ce que Jake intervienne. Zeddy sort un rasoir, mais est arrêté par l’arme de Jake. Zeddy déclare publiquement que Jake est un déserteur, et Felice a peur que Jake ait des ennuis. Le couple réuni décide de se réinstaller immédiatement à Chicago.