Charles Smithson, membre de l’élite anglaise, est venu à Lyme Regis, une petite ville du sud-ouest, avant son mariage avec Ernestina Freeman. Charles est paléontologue, trente-deux ans, et membre de l’aristocratie. Ernestina est la fille d’un self-made man. Sa tante, Tranter, vit à Lyme et elle s’y rend chaque année pour se reposer. Elle est venue plus tôt cette année pour préparer son mariage. Charles arrive également et séjourne au White Lion Inn.
Charles apprend l’existence de la paria locale, Sarah Woodruff, également connue sous le nom de «l’épouse du lieutenant français» et de «tragédie». Sarah est employée par Mme Poulteney, une veuve âgée qui l’a engagée comme secrétaire. Mme Poulteney est obsédée par son salut et par l’accomplissement d’actes de bonnes œuvres pour l’assurer.
Charles et Sarah se rencontrent accidentellement plusieurs fois, et Sarah révèle finalement son histoire à Charles. Elle avait espéré épouser un lieutenant français, blessé dans un naufrage, qui se remettait au domicile de la famille dont elle était la gouvernante. Elle s’est donnée à lui sexuellement, seulement pour qu’il parte le lendemain. Il a ensuite épousé quelqu’un d’autre et n’est jamais revenu.
Sarah est ensuite renvoyée par Mme Poulteney et elle cherche Charles par le biais d’une lettre. Charles la trouve et les deux s’embrassent et s’embrassent. Charles, lié par le devoir victorien, sent en Sarah des possibilités pour sa propre vie et une liberté dont il sait qu’elle se terminera par le mariage. Charles paie pour qu’elle parte, pour commencer une nouvelle vie, et elle se rend à Exeter près de Londres. Entre-temps, Charles a été déshérité par son oncle, car son oncle a l’intention de se marier. Charles se rend alors chez le père d’Ernestina pour lui faire part de l’exhérédation. Le père d’Ernestina offre une dot plus importante et un poste dans les affaires, mais Charles refuse. John Fowles présente alors sa première fin : Charles refuse tout contact avec Sarah, et épouse Ernestina.
Dans les deuxième et troisième fins, Charles va voir Sarah, lui fait l’amour et annule ses fiançailles. Dans la deuxième fin, il est révélé que Sarah, qui a disparu depuis deux ans, a eu un enfant de Charles, et une réunion entre Sarah et Charles est possible. Dans la troisième fin, Sarah rejette Charles et Charles se rend en Amérique.