Situé en Louisiane, l’histoire de A Gathering of Old Men s’ouvre après le récent meurtre du patron de la Marshall Plantation, Beau Boutan. Candy Marshall, copropriétaire et surveillante de la plantation, découvre son corps. Ayant trouvé les restes à l’extérieur de la résidence de son père adoptif virtuel Mathu, Candy soupçonne que l’homme noir a peut-être joué un rôle dans la disparition prématurée de Boutan, mais elle est néanmoins liée par la loyauté pour le protéger du mal. Candy procède au rassemblement de tout le monde sur la plantation, et lorsqu’une autre résidente locale de la plantation, Miss Merle, arrive, Candy assume la responsabilité du meurtre. Miss Merle n’est pas convaincue par les aveux de Candy mais décide de l’aider dans ses efforts pour protéger Mathu. Candy met alors en œuvre un plan conçu pour confondre le shérif qui consiste à amener des hommes locaux chez les Mathu avec des fusils de chasse et des cartouches vides. Elle croit que tant de suspects possibles rendront le crime insoluble. Mlle Merle aide à passer le mot et en quelques heures, une douzaine d’hommes et demi, tous âgés de plus de soixante-dix et quatre-vingt ans, arrivent à la maison avec des armes, prêts à jouer un rôle dans le plan.
Bien que l’arrivée du shérif soit une grande anticipation, la plupart des habitants de la plantation sont tout aussi, sinon plus, inquiets de la venue d’un Cajun nommé Fix, un local connu pour son rôle de chef de nombreuses foules passées contre les Noirs. Son arrivée semble inévitable étant donné que son fils était l’homme qui a été assassiné; la chasse à la vengeance sera naturellement son objectif principal. Avant son apparition, cependant, le shérif Mapes et Lou Dimes, le petit ami de Candy, arrivent. Après avoir découvert l’identité de l’homme tué, le shérif envoie son adjoint pour localiser et détenir Fix afin de l’empêcher de construire une foule de lynchage pour riposter contre la plantation. Une fois de plus, Candy tente de tirer le blâme pour le crime, mais le shérif la renvoie, interrogeant à la place le groupe d’hommes qui se sont rassemblés sur les lieux du crime.
Les premiers hommes à avouer le crime sont Gable et Billy Washington, qui s’attirent tous deux la colère du shérif Mapes lorsque leurs réponses s’avèrent insatisfaisantes. Après qu’une démonstration similaire de mécontentement et de force ait fait tomber le révérend Jameson, les hommes restants choquent le shérif en maintenant leur résolution d’avouer le crime; allant même jusqu’à s’aligner pour mieux recevoir leurs propres attaques physiques respectives. Après avoir interrompu son interrogatoire et exclu l’implication de l’homme disparu nommé Charlie, le travailleur le plus proche de Beau, le shérif Mapes en déduit que Mathu doit être le meurtrier, car il est le seul homme noir solitaire ayant la capacité démontrée de s’opposer aux Blancs locaux.
Bien que le shérif Mapes soit convaincu que Mathu est le meurtrier, une arrestation ne peut être effectuée avec les nombreux autres aveux en jeu. Les hommes continuent de fournir leurs propres raisons pour assassiner Beau, chacun motivé par le désir d’obtenir des représailles pour les atrocités commises contre eux. Ayant effectivement atteint une impasse dans l’enquête, le shérif et toutes les personnes présentes sont obligés de s’asseoir et d’attendre l’arrivée imminente de Fix Boutan et de sa foule de lynchage.
La nouvelle de la mort de Beau parvient aux oreilles de son frère Gil, un joueur vedette de l’équipe de football de la Louisiana State University. En raison de la colère de Gil à propos du meurtre, Cal, un coéquipier noir de Gil qui a joué un rôle déterminant dans son succès, est maintenant évité par son ami blanc : la seconde moitié du duo de puissance du football surnommé par les médias connu sous le nom de « Sel et Poivre ». ” La situation à la plantation sert à abaisser davantage le moral de Gil, et il finit par rentrer chez lui, où son père Fix attend avec d’autres. Malgré le ressentiment grandissant dans la maison entre Fix et ses amis et associés assoiffés de sang, Gil refuse de participer à tout plan visant à promouvoir la violence, car il rêve d’être sélectionné comme All-American pour ses réalisations dans le football. Il insiste sur le fait que le lynchage devrait appartenir au passé. Sans le soutien de tous ses fils, Fix abandonne à contrecœur son complot de vengeance et reste à la maison. Un local du nom de Luke Will n’accepte pas cette réticence à agir et monte son propre groupe pour mener à bien le lynchage prévu. Le groupe décide de faire une halte au bar avant de réaliser ses objectifs.
Une fois que la plantation a appris que Fix a reculé, Mathu accepte de coopérer et d’aller pacifiquement avec le shérif Mapes à la prison. Charlie revient avant leur départ et avoue qu’il a assassiné Beau parce que l’homme l’avait menacé. Charlie avoue avoir demandé à Mathu de prendre la chute pour lui alors qu’il tentait de s’échapper. Après s’être caché dans les marais toute la journée, Charlie affirme qu’il s’est senti obligé en tant qu’homme de revenir et d’assumer la responsabilité du crime qu’il a commis.
Avant que le shérif ne puisse emmener Charlie en prison, Luke Will et son groupe apparaissent et demandent la vie de Charlie. Après que le shérif Mapes ait refusé d’obtempérer, Luke Will met une balle dans le bras du shérif. L’officier blessé reste à terre devant la maison tandis qu’une fusillade s’ensuit entre les vieillards et la foule blanche. Luke Will et Charlie s’engagent dans une fusillade, et Charlie finit par tirer sur Luke Will avant qu’il ne soit lui-même abattu. Après sa mort, les membres de la communauté rendent hommage à Charlie en touchant son corps.
La semaine suivant la fusillade, un procès est organisé pour toutes les personnes impliquées dans l’incident, et toutes sont condamnées à cinq ans de probation. Mathu et ses amis s’en vont à la fin du procès, tandis que Candy et Lou, enfermés main dans la main, restent sur les marches du palais de justice pour clore le roman.