La Mandoline de Corelli est l’histoire d’un groupe de personnes dont les vies se sont entrelacées sur l’île grecque de Céphalonie pendant l’occupation italienne et allemande de la Seconde Guerre mondiale. Le Dr Iannis vit sur l’île avec sa belle fille, Pelagia, qui est fiancée à un pêcheur local nommé Mandras. Lorsque l’Italie envahit la Grèce, Mandras quitte l’île pour rejoindre les résistants et une unité italienne occupe l’île sous le commandement du capitaine Antonio Corelli, qui est logé chez le médecin. Le léger Corelli est musicien de formation et apporte avec lui sa mandoline, avec laquelle il divertit le docteur et sa fille. Bientôt Pelagia et Corelli sont tombés amoureux.
L’histoire devient tragique lorsque les forces alliées envahissent l’Italie et que les troupes italiennes en Grèce sont coupées. Leurs anciens alliés allemands sont désormais leurs ennemis et les soldats italiens sont rassemblés et exécutés. Corelli lui-même survit à un peloton d’exécution à cause de l’action héroïque d’un autre soldat nommé Carlo Guercio, un soldat secrètement homosexuel qui est amoureux de lui. Corelli est retrouvé vivant et emmené chez le médecin, qui le soigne, le cache des Allemands et l’aide à s’échapper de l’île. Avant de partir, il promet à Pélagia qu’il reviendra après la guerre pour qu’ils puissent se marier.
Lorsque les troupes allemandes reçoivent l’ordre de se retirer de Grèce, les anciens résistants grecs dirigés par les communistes prennent le contrôle de la Céphalonie. Le médecin est arrêté et renvoyé par les communistes. Mandras revient, désormais une figure importante parmi les communistes grecs. Il est en colère contre Pelagia, qui lui tire dessus alors qu’il l’agresse.
Pelagia et la mère de Mandras vivent ensemble et élèvent une fille orpheline, qu’ils nomment Antonia. Le médecin revient de son emprisonnement lorsque les communistes perdent le contrôle, mais est tué lorsqu’un tremblement de terre dévastateur frappe l’île. Pelagia élève Antonia avec l’aide de Drousula jusqu’à ce qu’Antonia épouse un avocat à succès nommé Alexi. Elle a un fils, nommé Iannis, qui s’intéresse à la mandoline.
Pelagia vieillit sur l’île, n’ayant jamais eu de nouvelles de Corelli et le croyant mort. Un jour, Corelli revient. Il a en effet parcouru le monde en tant que musicien, pour finalement s’installer en Grèce. Il avait tenté de retourner à Pelagia des années auparavant, mais l’avait vue tenir la jeune Antonia et la croyait mariée. Pelagia est d’abord en colère qu’il n’ait jamais pris contact, mais lui pardonne bientôt. Le roman se termine alors que les deux partent en moto, comme ils l’avaient fait plusieurs fois dans leur jeunesse.