Noah commence par dire qu’il a quatre-vingts ans, qu’il ne regrette aucun des chemins qu’il a choisi de parcourir et que les chemins d’aujourd’hui sont plus rocailleux qu’il y a des années. Il décrit sa journée à la maison de retraite. Il dit qu’il prend un cahier qu’il a lu plusieurs fois et qu’il passe de nombreuses portes. Les personnes à l’intérieur – comme lui – se sont habituées à être seules avec seulement une télévision pour compagnie, et qu’une personne peut s’habituer à tout. Il atteint une pièce particulière et pénètre à l’intérieur où il est accueilli par des infirmières qui s’occupent d’une femme visiblement bouleversée. Noah dit que les matins sont toujours difficiles et qu’elle se calmera plus tard quand les infirmières seront parties. Noah sait que les chances et la science sont contre lui, et qu’il espère simplement un miracle. Croyant à la prière comme il le fait, il prend le temps de prier en ouvrant le livre, en mettant des lunettes et en prenant une loupe, et se prépare à lire.
Le cahier est l’histoire de Noah et Allie, deux qui étaient amants à l’adolescence dans une romance estivale, mais qui ont ensuite été séparés par les parents d’Allie qui estimaient que Noah n’était pas le meilleur homme pour elle. Noah écrit des lettres à Allie au fil des ans, mais la mère d’Allie les retient et Allie suppose que Noah l’a oubliée. Noah travaille, rejoint l’armée et hérite de l’argent d’un ancien employeur qui lui permet d’acheter une maison historique et de la réparer. C’est alors qu’Allie vient lui rendre visite, à trois semaines de la date de son mariage mais apparemment incapable de se marier sans revoir Noah une fois de plus. L’amour entre eux prend immédiatement vie et Noah supplie Allie de rester. Elle part mais se rend compte qu’elle ne peut aimer personne comme elle aime Noah et revient vers lui.
C’est l’histoire que Noah lit à Allie et parfois elle lui répond, bien que les professionnels de la santé disent que sa réponse est impossible. Un jour particulier, Noah lit l’histoire et Allie demande quel homme la femme dans l’histoire choisit. Elle avoue qu’elle ne connaît pas Noah et ne connaît pas son propre nom. Ils parlent pendant des heures avec Allie en disant plus tard qu’elle sait lequel des deux la femme dans l’histoire a choisi, bien qu’elle ne semble pas encore assimiler cette histoire à elle-même. Noah admet que cela lui brise le cœur qu’elle ne le connaisse pas, mais que ces jours sont bien meilleurs que les jours où il a essayé de lui rappeler. Il dit que ces jours-là, ils seraient tous les deux épuisés avec lui répondant à des questions et son angoisse d’avoir tout perdu, y compris les souvenirs de ses enfants.
Tout au long de leur vie, les deux se sont écrit des lettres et celles-ci fournissent des souvenirs à Noah. Il compare le fait de vivre ainsi près d’Allie sans jamais pouvoir à nouveau posséder pleinement son amour à la relation entre le jour et la nuit, combinés au crépuscule mais jamais tout à fait touchants.
Ensuite, Noah subit un accident vasculaire cérébral et pendant un certain temps, il semble qu’il pourrait ne pas survivre. Lorsqu’il retourne à l’établissement de soins infirmiers où lui et Allie vivent depuis le début de sa maladie d’Alzheimer, il veut la voir. C’est leur quarante-neuvième anniversaire mais c’est aussi contre les règles pour lui de lui rendre visite la nuit. Après l’heure du coucher, elle est généralement facilement effrayée, ne le connaît jamais et est anxieuse si elle est réveillée. Cette nuit-là, il est confronté à une infirmière touchée par son amour pour Allie et qui tourne la tête en passant devant lui. Quand il atteint sa chambre, il jure de ne pas la réveiller mais le fait quand même. Quand elle le voit, il y a une lueur de reconnaissance dans ses yeux alors qu’elle commence à déboutonner sa chemise