Le livre et la fraternité est un roman complexe sur un groupe de diplômés d’Oxford d’âge moyen. Près de trois décennies plus tôt, ils forment un groupe connu sous le nom de Confrérie. Son seul objectif est le soutien financier d’un camarade diplômé, David Crimond, afin qu’il puisse continuer son travail en écrivant un livre sur sa philosophie politique marxiste. Maintenant, une réunion a lieu à Oxford, à laquelle assiste également l’insaisissable et solitaire Crimond. De nombreuses années auparavant, Crimond avait séduit Jean Cambus, l’épouse d’un autre diplômé, et l’affaire a radicalement changé la dynamique des relations au sein de la Confrérie. Il est venu au bal du solstice d’été dans le but exprès de séduire Jean pour la deuxième fois, et il réussit dans sa quête. Jean quitte Duncan, déclenchant un certain nombre d’événements troublants qui aboutissent à la mort de l’un des membres de la Confrérie.
Deux membres de la Confrérie, Gerard Hernshaw et Jenkin Riderhood, sont préoccupés par la reprise de l’affaire et se rencontrent pour discuter des moyens possibles de réconcilier Jean et Duncan. Ils décident d’envoyer une jeune étudiante naïve d’Oxford, Tamar Hernshaw, à Jean pour tenter de sauver le mariage. Tamar n’y parvient pas, et Jean reste avec l’acerbe et brillant Crimond. Aucun argument convaincant ne peut la détourner de la ferme conviction que Crimond est le seul homme qu’elle peut aimer totalement et complètement. Le refus de Jean de se réconcilier conduit à une courte liaison entre son ex-mari Duncan et la jeune Tamar, qui conçoit un enfant avec lui. La grossesse se termine rapidement par un avortement, mais le fait de tuer son enfant à naître laisse Tamar dans un terrible état de confusion émotionnelle. Un prêtre anglican, le père McAlister, la voit souffrir lorsqu’elle assiste à un service religieux avec son amie d’âge moyen Rose Curtland, membre de la Confrérie. Tamar résout la crise de sa vie grâce à une conversion au christianisme.
Dans le même temps, la Confrérie doit faire face au fait que Crimond n’a pas produit de livre. Plusieurs rencontres avec le brillant marxiste aboutissent à une incompréhension et à un regain de suspicion sur ses motivations à mener une seconde affaire avec Jean Cambus. Duncan déteste Crimond et réfléchit à différentes manières de le tuer, mais il n’a pas le courage de se venger. Cependant, lorsque Crimond termine son chef-d’œuvre, il est déterminé à mourir dans un pacte de suicide avec Jean. Lorsque le plan de le tuer lui et sa maîtresse tourne complètement mal, il rompt instantanément la relation et se tourne vers Rose Curtland. Il demande à Rose de l’épouser, mais elle refuse de considérer une telle trahison de l’amitié qu’elle entretient avec Jean. Bien que le couple séparé se soit réconcilié, l’affaire continue de les hanter ainsi que Crimond.
Crimond tente de résoudre le problème en proposant un jeu de roulette russe à Duncan. Il espère en fait mourir, mais lorsqu’une balle est enfin tirée, leur gentil ami, Jenkin Riderhood, est tué. Duncan refuse d’assumer la responsabilité de la mort de Jenkin et jure son rival détesté à un pacte secret. Crimond ne dira peut-être jamais à qui que ce soit qui a tiré sur Jenkin, et il doit assumer l’entière responsabilité d’expliquer l’accident aux autorités. Par la suite, Duncan et Jean quittent l’Angleterre pour une nouvelle vie en France.
La mort de Jenkin laisse la Confrérie dans le désarroi. L’ami de Jenkin, Gerard Hernshaw, qui a proposé qu’ils vivent ensemble dans une relation homosexuelle, entre dans un deuil prolongé. Ce n’est que lorsqu’il lit le livre de Crimond qu’il acquiert un sens renouvelé du but et de la direction. Il parle à Rose, un membre aristocratique de l’ensemble d’Oxford qui l’aime depuis de nombreuses années, et suggère qu’ils vivent ensemble comme des amis et rendent hommage à la mémoire de Jenkin Riderhood en écrivant une réponse à la philosophie marxiste peu orthodoxe de Crimond. David Crimond lui-même est presque oublié, sauf par Lily Boyne, une jeune veuve riche qui est amoureuse de lui de manière obsessionnelle et secrète depuis de nombreuses années. Bien qu’elle envisage d’épouser le jeune et attachant Gulliver Ashe, un acteur sans le sou, elle supplie toujours Crimond de l’aimer en retour. Il rejette le plaidoyer de Lily et elle retourne à Gulliver. L’auteur propose une fin conventionnelle au roman mais seulement pour deux des personnages secondaires. La vie des personnages principaux et leurs relations les uns avec les autres ont subi des changements, mais il n’y a pas de « bonheur pour toujours ».