Un célèbre peintre, Thomas Bayber, dévoile un portrait qu’il a caché pendant plus de 30 ans de sa carrière. Le tableau montre une version plus jeune de Thomas avec deux sœurs, Natalie et Alice, et il manque deux panneaux. Thomas fait appel à un critique d’art, Dennis Finch, et à un évaluateur d’art, Stephen Jameson, pour retrouver les panneaux manquants du tableau et, à son tour, pour retrouver les deux sœurs Kessler, avec lesquelles il a perdu le contact plus de 30 ans auparavant. Bien que Finch et Stephen ne s’entendent pas au départ, ils acceptent d’assumer la tâche – Finch, par sens du devoir envers Thomas, et Stephen ayant besoin d’aide pour revigorer sa carrière chancelante. Ensemble, ils recherchent des indices pour découvrir le mystère des sœurs Kessler, qui se complique davantage lorsque Thomas a une crise cardiaque et devient pratiquement comateux.
Dans des flashbacks, la vérité sur la relation de Thomas avec les sœurs Kessler est révélée. Thomas était leur voisin dans une maison d’été au bord du lac, où il entretenait une liaison secrète avec Natalie, 17 ans, qui a radicalement changé au cours de l’été, devenant maussade et irritée envers sa famille. Alice, 14 ans, a également le béguin pour Thomas, et les deux semblent avoir un lien, jusqu’à ce qu’elle découvre la vérité sur lui et Natalie. Plusieurs années plus tard, Alice retourne à la maison d’été et retrouve Thomas. Thomas lui dit qu’elle a mal compris sa relation avec Natalie, ce qu’Alice croit, et les deux commencent une relation amoureuse. Alice découvre que Thomas lui a menti et s’en va, volant une figurine d’oiseau au passage.
Alice découvre bientôt qu’elle est enceinte de l’enfant de Thomas. Alice lui cache cela et ne révèle pas non plus la vérité sur le père à Natalie. Elle accouche dans la maison de ses parents, après quoi Natalie lui dit que le bébé est né mort-né, bien qu’Alice pense se souvenir d’avoir entendu le bébé pleurer. Peu de temps après, Natalie vend la maison et force Alice à déménager dans une ville nommée Orion. Alice souffre de polyarthrite rhumatoïde et son état s’est aggravé au fil des ans, la forçant à dépendre de Natalie en tant que soignante.
De nos jours, ignorant que Thomas la cherche, la relation compliquée d’Alice avec Natalie se poursuit, même après la mort de Natalie. En parcourant les affaires de Natalie, elle découvre que Natalie était enceinte à l’adolescence mais forcée de se faire avorter par leurs parents, ce qui l’a empêchée d’avoir des enfants. Férocement jalouse d’Alice – non seulement pour avoir pu avoir un enfant, mais pour avoir un enfant avec son ancien amant Thomas – Natalie a menti à Alice à propos de son bébé. Elle a élevé l’enfant comme le sien et a envoyé des lettres et des photographies à Thomas, le narguant avec l’enfant qu’il ne rencontrerait jamais. Alice découvre la dernière adresse connue de sa fille et se rend à Santa Fe, au Nouveau-Mexique, pour la rencontrer.
Entre-temps, Finch et Stephen ont réussi à rassembler les mêmes informations et à retrouver Alice et sa fille, Agnete, à Santa Fe. Thomas meurt avant de pouvoir retrouver Agnete et Alice, mais Finch et Stephen parviennent à retrouver les panneaux manquants du tableau. Dans le processus, ils découvrent également que Stephen est le fils biologique de Thomas, c’est pourquoi il a été choisi pour rechercher les peintures. Stephen et Finch se sont liés au cours du voyage, dont ils réalisent également que cela faisait partie de l’intention de Thomas lorsqu’ils trouvent sa dernière lettre. Finch, Stephen, Alice et Agnete ont commencé le roman en se sentant seuls, mais ils ont maintenant été réunis et dépendent les uns des autres.