Ce livre, publié en 1978, tantôt écrit sous forme de journal intime, tantôt à la première personne, raconte un été mouvementé tardif dans la vie de Charles Arrowby, un homme célèbre du théâtre britannique. Arrowby est un acteur, dramaturge, metteur en scène et amoureux des femmes.
Le roman commence avec Charles qui vient de se retirer de ce qu’il a tendance à considérer comme la superficialité scintillante du monde du théâtre et qui passe à ce qu’il a également tendance à penser être la paix relative de la côte anglaise. Il a acheté une maison près de la mer, Shruff End, y a emménagé avec très peu de moyens et semble résolu à abandonner ses vieilles habitudes émotionnelles, pratiques et croyances. Il envisage de vivre simplement, de manger purement et de penser tranquillement.
Les amis de Charles à Londres semblent avoir d’autres idées. Une série de lettres et de visiteurs non invités perturbent à plusieurs reprises le refuge de Charles, dont les plus inquiétants impliquent d’anciens amants. Après une rencontre particulièrement émouvante, Charles se rend soudain compte qu’une femme presque renversée par la voiture du visiteur qui s’en va est en fait son amour d’enfance, Hartley. Ils s’étaient aimés de manière non sexuelle lorsqu’ils étaient adolescents et avaient juré de se marier, mais peu de temps avant que Charles ne déménage à Londres pour commencer une école de théâtre, Hartley a rompu leur relation et a soudainement et complètement disparu. Cette perte a hanté Charles et toutes ses autres relations toute sa vie.
Après avoir vu Hartley, Charles se concentre de manière obsessionnelle sur la reconstruction de leur relation passée innocente et purement amoureuse. Des complications apparaissent sous la forme du mari émotionnellement violent et du fils en fuite de Hartley (Titus), des ex-amants de Charles qui lui rendent visite à plusieurs reprises, de son cousin étrangement éloigné James et de la propre ambivalence de Hartley à l’idée de retourner dans le passé. À un moment donné, Charles confine de force Hartley chez lui, où elle devient presque dérangée dans son désespoir de retourner à son autre vie. Charles est finalement persuadé de la laisser partir.
Une fois Hartley parti, la vie reprend une sorte de normalité forcée à Shruff End – jusqu’à ce que, après une soirée arrosée entre amis, Charles soit poussé à la mer. Il survit, imaginant qu’il a été sauvé par James. Cependant, peu de temps après sa guérison, il reçoit un autre choc. Le fils de Hartley, qui vivait avec lui et qu’il considérait désormais comme son propre fils, se noie dans la mer. Ces traumatismes envoient Charles encore plus loin dans des fantasmes et des imaginations obsédées par Hartley et son mari, qu’il blâme à la fois pour l’attentat contre sa vie et la mort de Titus.
Finalement, Charles apprend qu’il a été poussé à la mer par l’ex-mari en colère d’un de ses ex-amants, que Hartley et son mari émigrent en Australie et que plusieurs de ses amis qu’il croyait pouvoir absolument contrôler et manipuler continuent leur vie. Il découvre également, suite à la mort soudaine et légèrement mystérieuse de James, qu’il est resté l’héritier de sa succession. Il vend Shruff End, déménage à Londres et, à mesure qu’il fait le tri dans ses sentiments, ses impressions et ses expériences, il commence à revenir dans la vie qu’il a laissée derrière lui.