Le roman commence par une description d’Ove, 59 ans, qui lutte pour communiquer avec un jeune homme qui essaie de lui vendre un ordinateur. La conversation se termine par la frustration d’Ove, qui sort en trombe du magasin.
Le récit commence alors une séquence d’explications d’un livre sur comment et pourquoi Ove en est arrivé au point d’avoir besoin et de vouloir acheter un ordinateur. Des chapitres écrits au présent décrivent ses expériences dans un passé plus récent : ses fréquentes tentatives de suicide à la suite de la mort de sa femme ; comment ces tentatives sont continuellement déjouées, bien qu’accidentellement, par les apparitions soudaines dans sa vie de personnes (et d’animaux) qui ont besoin de son aide ; et par le développement de liens et d’amitiés inattendus avec ces personnes (et ces animaux). Au cœur du récit de ce passé récent se trouve la découverte par Ove que des amis anciens sur la route, Rune et Anita, sont confrontés à une situation extrêmement douloureuse : la maladie d’Alzheimer de Rune prend le dessus sur lui et Anita a du mal à prendre soin de lui. Des plans sont en cours, sans l’autorisation de l’un d’eux, pour déplacer Rune dans un établissement de soins. Au cours du récit, Ove devient de plus en plus en colère contre cette situation, s’appuyant finalement sur le soutien d’un certain nombre d’alliés inattendus : sa voisine enceinte Parvaneh et son mari Patrick ; le yuppie d’en face (Anders); une journaliste insistante (Lena) ; et trois jeunes hommes, chacun luttant pour définir son identité… le timide Adrian, le flamboyant gay Mirsad et le surpoids Jimmy.
Dispersés par intermittence dans les chapitres au présent du roman se trouvent des chapitres écrits au passé qui racontent l’histoire d’Ove : comment sa mère est morte quand il avait six ans ; comment il a été élevé par un père strict mais juste, dont l’intégrité inspirante a guidé Ove tout au long de sa vie ; comment les circonstances l’ont amené à rencontrer sa bien-aimée Sonja; comment sa vie a été changée en l’épousant; et comment d’autres circonstances ont défié et changé leur mariage de manière irrévocable. Ces circonstances incluent un accident qui a privé Sonja de l’usage de ses jambes et lui a volé, ainsi qu’Ove, l’enfant qu’ils avaient tous deux désiré.
Pendant tout ce temps, ces narrations entrelacées établissent des liens vifs, et parfois inattendus, entre le passé d’Ove et son présent : alors que le passé montre clairement, par exemple, que l’amitié entre Ove et Rune a été tendue pendant longtemps, le présent le fait très clair comment Ove devient disposé à aider et à soutenir son ami malgré leur éloignement de plusieurs décennies. La narration révèle également comment la relation de Jimmy avec Ove et Sonja remonte à son enfance et à des circonstances difficiles à la fois surprenantes et émouvantes, évoquant à quel point un être humain compatissant est en réalité Ove, apparemment curmudgeonly.
Finalement, et avec l’aide d’Ove et de plusieurs alliés inattendus, Rune et Anita résistent à la menace qui pèse sur leur mariage. Pendant ce temps, et à la suite des liens formés pendant la bataille, les relations d’Ove avec ses amis et ses voisins s’approfondissent et l’aident à revivre… c’est-à-dire jusqu’à ce qu’une rencontre avec de jeunes voleurs violents place Ove à l’hôpital. Il a failli mourir, mais le traitement médical et les soins / soutien de ses amis lui permettent de vivre encore quelques années jusqu’à ce qu’il meure finalement, apparemment dans son sommeil, laissant derrière lui un héritage de compassion.