Nos pères raconte l’histoire du parcours d’un jeune garçon écossais d’une enfance tumultueuse à ses années de recherche de satisfaction et d’identité à l’âge adulte. Le lecteur est introduit à travers trois générations de dysfonctionnements qui façonnent la vie de chaque personnage.
Le jeune Jamie Bawn est un garçon intelligent, plein de curiosité. Il aime les livres et apprendre, mais est découragé de tels intérêts par son père rageur et alcoolique, Robert Bawn, qui est en colère que Jamie ne soit pas brutal ou athlétique. Robert compare continuellement Jamie à son propre père, Hugh Bawn, un homme d’affaires et constructeur prospère, que Robert critique constamment. La mère de Jamie, Alice, aime son fils, mais lui rappelle toujours qu’il est différent des autres enfants en raison de son intérêt pour la façon dont les choses sont conçues et fonctionnent. Malgré la violence de son mari envers elle et ses abus verbaux envers elle-même et Jamie, Alice revient continuellement dans les bras de Robert.
Se déplaçant d’un endroit à l’autre au gré de son père, Jamie semble être exempt de tout signe d’une enfance normale. La seule stabilité qu’il connaît est exposée lors de visites à la maison de Granda Hugh et Gran Margie. Même si le père de Jamie a rompu les liens avec ses parents, Hugh et Margie font de Jamie une priorité dans leur vie et le font venir à plusieurs reprises. C’est lors de ces visites que Jamie se sent en sécurité et chez lui.
Finalement, atteignant un point de rupture et fatigué d’être pris au piège dans une maison infestée de moisissures avec un père ivre, Jamie feint la paralysie des jambes afin d’emménager avec Granda Hugh et Gran Margie. Alice sait que le déménagement est ce qu’il y a de mieux pour son fils et n’essaie pas de le convaincre du contraire.
Une fois installé avec Hugh et Margie, les jambes de Jamie retrouvent mystérieusement leurs forces et il devient un jeune prodige du succès Hugh Bawn. Hugh est un homme populaire et le leader d’un programme de construction réussi dans toute l’Écosse d’après-guerre. Il enseigne à Jamie tout ce qu’il y a à savoir sur la physique, l’architecture, les affaires et la vie. Lorsqu’il est prêt pour l’université, Jamie fait ses adieux à ses grands-parents et se rend en Angleterre, où il commence une nouvelle vie.
Une période de temps s’est écoulée après la scène où Jamie part pour l’Angleterre et reprend avec son retour en Écosse pour rendre visite à son mentor mourant, Granda Hugh. C’est ce dernier voyage de retour qui dévoile tout ce qu’il pensait être en sécurité, tout en renouant des relations et en donnant un sens à ce qui n’a jamais existé.
À son retour, Jamie découvre que les bâtiments construits par Hugh et pour lesquels il est devenu célèbre sont en train d’être démolis et qu’une nouvelle génération de logements et de modernisme prend forme. Hugh n’est plus l’homme fort qu’il était, mais il est en train de dépérir dans un lit, parfois avec un tempérament dur. Gran Margie est devenue une boule de nerfs et elle est désemparée que Hugh fasse l’objet d’une enquête pour détournement de fonds de construction.
Malgré les graves sautes d’humeur de Hugh, lui et Jamie sont capables de partager de bons moments, notamment un voyage au hasard dans les pubs de la ville avec Hugh en fauteuil roulant et un détour dans un cimetière qui incite les deux hommes à examiner leur vie.
De retour en Écosse, Jamie décide également de rendre visite à sa mère Alice, bien qu’il ait des sentiments mitigés. Même s’il l’aime, il a toujours l’impression qu’elle l’a abandonné dans sa jeunesse, mais il est heureux d’apprendre qu’elle a eu le courage de quitter son père et qu’elle est maintenant heureusement remariée à un homme très doux. Jamie la regarde et la surprend dans un club local, où il se sent soulagé et satisfait de leur visite, après avoir vu à quel point elle est belle et en bonne santé. Même son nouveau mari Bob est un homme sympathique.
C’est à cette époque que Jamie commence à manquer sa petite amie Karen, de retour en Angleterre, et envisage lui-même la paternité. Karen a toujours voulu un bébé, mais Jamie s’est opposé à chaque fois, luttant avec sa vision des pères et de lui-même. Pour la première fois de sa vie, il croit qu’il pourrait être un bon père.
L’histoire commence sa fin avec le décès de Granda Hugh le lendemain de Noël. Jamie aide une Margie émotionnellement désemparée avec des arrangements et s’inquiète de la façon dont elle se débrouillera sans Hugh. Le jour des funérailles, Jamie se dirige vers le devant de l’église pour lire une Écriture et jette un coup d’œil dans la foule. Le regardant directement depuis la rangée arrière est un étranger que Jamie reconnaît finalement comme étant son père Robert. Le dernier aperçu de son père par Jamie remonte à plusieurs années, alors qu’il était adolescent, lorsque grand-mère Hugh l’avait emmené rendre visite à Robert dans un service psychiatrique. Hugh a attendu dehors et Jamie est entré avec de bonnes intentions, seulement pour être agressé verbalement par un homme très malade et très amer. À ce moment-là, Jamie a décidé de ne plus jamais le revoir, bien que la récente tournure des événements semble en quelque sorte adoucir les choses.
Robert s’éclipse immédiatement après les funérailles et quelques jours plus tard, Jamie part à sa recherche dans une ville voisine, où il travaille comme chauffeur de taxi. Il est choqué. Il est difficile de croire que son père est sobre, nettoyé et qu’il travaille. Il est beaucoup plus âgé maintenant et ressemble à Hugh. Jamie n’excuse pas Robert pour son horrible passé, mais au cours de quelques visites, ils font amende honorable et Robert l’invite à une convention sur les alcooliques pour l’entendre parler.
L’histoire se termine avec Jamie aidant Gran à trier toute une vie d’effets personnels et la découverte d’images encadrées qui étaient spéciales pour Hugh. En en retournant un, Jamie découvre sa propre écriture de ses premières années, griffonnée au dos d’une empreinte que Hugh a sauvée. « Il y a des bâtiments en ruine dans le monde », dit-il, « mais pas de pierres en ruine. »