« Le pèlerinage improbable d’Harold Fry » commence le jour où Harold Fry reçoit une lettre d’une ancienne collègue, Queenie Hennessy. Queenie est en train de mourir d’un cancer et voulait dire au revoir à Harold. Ils n’étaient pas très proches lorsqu’ils se connaissaient, mais chacun avait fait une gentillesse qui affectait l’autre de manière importante. Ils ne s’étaient pas vus depuis de nombreuses années, mais chacun se souvenait de l’autre comme d’une personne gentille, digne d’être appelée « amie ».
Harold est marié à Maureen et vient tout juste de prendre sa retraite de la brasserie. Ils ont vécu leur vie principalement dans l’isolement sans se faire de vrais amis. Ils n’ont jamais assisté à la fête de Noël annuelle de la brasserie et n’ont jamais passé de temps avec d’autres couples. Ils ne connaissent pas leurs voisins à l’exception d’un veuf nommé Rex, et ils l’ont tenu à distance. Puis Harold reçoit la lettre de Queenie, qui est dans un hospice à Berwick-upon-Tweed. La lettre fait remonter des souvenirs des années précédentes et Harold veut dire quelque chose de profond pour lui faire savoir qu’elle était importante pour lui. Il ne trouve pas les mots et écrit finalement une brève note, puis part poster la lettre. Il passe rapidement la première boîte postale, puis passe plus d’options pour poster la lettre.
Il s’arrête dans un garage pour une collation et le jeune employé lui montre comment faire cuire un hamburger au micro-ondes. Il lui parle brièvement de Queenie et la fille parle de sa tante qui avait un cancer. La fille parle alors de sa foi que sa tante guérirait. Harold se retrouve à penser à la foi de cette fille et réalise qu’il n’a rien de semblable dans sa vie. Il téléphone à l’hospice où Queenie vit ses derniers jours avec un message. Il dit qu’il part maintenant pour marcher jusqu’à l’hospice et que Queenie devrait s’accrocher jusqu’à ce qu’il arrive. Il commence alors à marcher, ne portant que les vêtements qu’il porte et utilisant les objets limités qu’il a dans sa poche.
Harold téléphone à Maureen et elle ne comprend ni sa mission ni son raisonnement. Elle ment d’abord à Rex, disant qu’Harold est allongé avec une cheville tordue. Lorsqu’elle lui avoue la vérité, Rex devient une amie et une confidente, aidant Maureen à faire face à la situation.
Pendant qu’Harold marche, lui et Maureen ont le temps de réfléchir à leur vie et à la façon dont ils sont arrivés à leur endroit actuel. Leur fils David est mort 20 ans plus tôt. David était un jeune homme incroyablement intelligent, mais il n’arrivait jamais à trouver son chemin. Il est tombé dans une fosse d’alcool et de drogue, puis s’est suicidé. Harold s’en veut, pensant que sa propre enfance l’a laissé mal équipé pour être un bon père. Maureen blâme également Harold, pensant qu’il était essentiellement un père absent qui n’avait rien à voir avec David. Le père d’Harold était alcoolique et tous deux croient que la génétique de l’alcoolisme a joué un rôle dans la mort de David.
Pendant qu’Harold marche, il traverse une gamme d’émotions. Il parle aux gens et apprend de leurs histoires. Il a affaire à un grand groupe qui le rejoint dans sa promenade et le fait dérailler de son objectif initial. Il lutte contre la douleur du départ de sa mère et de la folie de son père au point qu’il n’a pas reconnu Harold. Il apprend à accepter toutes ces choses et à accepter la mort de David.
Maureen a également le temps de se rendre compte qu’elle a blâmé Harold pour des choses qui n’étaient pas de sa faute. Elle regarde à travers les photos et voit que Harold est sur de nombreuses photos avec David, indiquant qu’ils ont passé plus de temps ensemble que Maureen ne s’en souvenait. Elle recommence à ouvrir son cœur avec l’idée qu’elle changera sa vie avec Harold, lorsqu’il reviendra chez eux.
Quand Harold atteint Queenie, il est choqué de découvrir qu’elle est proche de la mort. Maureen le rejoint et ils sont ensemble lorsqu’ils apprennent que Queenie est décédée paisiblement. Lorsqu’ils vont rendre un dernier hommage, Maureen et Harold font face à la perte ensemble, un contraste frappant avec leurs attitudes à la mort de David. Ils passent ensuite du temps ensemble et commencent à partager des souvenirs alors qu’ils se préparent à franchir la prochaine étape vers un nouveau niveau d’acceptation et de bonheur.