« Le pèlerinage improbable d’Harold Fry » commence le jour où Harold Fry reçoit une lettre d’une ancienne collègue, Queenie Hennessy. Queenie est en train de mourir d’un cancer et voulait dire au revoir à Harold. Ils n’étaient pas très proches lorsqu’ils se connaissaient, mais chacun avait fait preuve de gentillesse qui avait eu un impact important sur l’autre. Ils ne s’étaient pas vus depuis de nombreuses années, mais chacun se souvenait de l’autre comme d’une personne gentille, digne d’être appelée « ami ».
Harold est marié à Maureen et vient de prendre sa retraite de la brasserie. Ils ont vécu leur vie principalement dans l’isolement sans se faire de vrais amis. Ils n’ont jamais assisté à la fête de Noël annuelle de la brasserie et n’ont jamais passé de temps avec d’autres couples. Ils ne connaissent pas leurs voisins à l’exception d’un veuf nommé Rex, et ils l’ont gardé à distance. Puis Harold reçoit la lettre de Queenie, qui est dans un hospice à Berwick-upon-Tweed. La lettre fait remonter des souvenirs d’années plus tôt et Harold veut dire quelque chose de profond pour lui faire savoir qu’elle était importante pour lui. Il ne trouve pas les mots et finit par écrire une brève note, puis se dirige vers la poste pour envoyer la lettre. Il passe rapidement devant la première boîte postale, puis devant d’autres options pour poster la lettre.
Il s’arrête dans un garage pour manger un en-cas et la jeune employée lui montre comment faire cuire un hamburger au micro-ondes. Il lui parle brièvement de Queenie et la jeune fille lui parle de sa tante qui a eu un cancer. La jeune fille lui parle ensuite de sa foi en la guérison de sa tante. Harold se retrouve à penser à la foi de cette jeune fille et se rend compte qu’il n’a rien de semblable dans sa vie. Il téléphone à l’hospice où Queenie vit ses derniers jours avec un message. Il dit qu’il se met en route pour marcher jusqu’à l’hospice et que Queenie devrait attendre jusqu’à son arrivée. Il commence alors à marcher, portant uniquement les vêtements qu’il porte et utilisant les quelques objets qu’il a dans sa poche.
Harold téléphone à Maureen et elle ne comprend pas sa mission ni son raisonnement. Elle commence par mentir à Rex, en lui disant qu’Harold est alité avec une cheville tordue. Lorsqu’elle lui avoue la vérité, Rex devient un ami et un confident, aidant Maureen à faire face à la situation.
Tandis qu’Harold marche, lui et Maureen ont le temps de réfléchir à leur vie et à la façon dont ils sont arrivés à leur situation actuelle. Leur fils David est mort 20 ans plus tôt. David était un jeune homme incroyablement intelligent mais n’a jamais réussi à trouver sa voie. Il est tombé dans un gouffre d’alcoolisme et de toxicomanie, puis s’est suicidé. Harold se sent coupable, pensant que sa propre enfance l’a laissé mal préparé à être un bon père. Maureen blâme également Harold, pensant qu’il était fondamentalement un père absent qui n’avait rien à voir avec David. Le père d’Harold était alcoolique et tous deux pensent que la génétique de l’alcoolisme a joué un rôle dans la mort de David.
En marchant, Harold traverse toute une gamme d’émotions. Il parle aux gens et apprend de leurs histoires. Il doit faire face à un grand groupe qui le rejoint dans sa marche et le fait dévier de son objectif initial. Il lutte contre la douleur du départ de sa mère et de la folie de son père au point de ne plus reconnaître Harold. Il apprend à accepter toutes ces choses, et à accepter la mort de David.
Maureen a également le temps de réaliser qu’elle a reproché à Harold des choses qui n’étaient pas de sa faute. Elle regarde des photos et voit qu’Harold est sur de nombreuses photos avec David, ce qui indique qu’ils ont passé plus de temps ensemble que ce dont Maureen se souvenait. Elle commence à ouvrir à nouveau son cœur avec l’idée qu’elle changera sa vie avec Harold, quand il reviendra chez eux.
Quand Harold rejoint Queenie, il est choqué de découvrir qu’elle est sur le point de mourir. Maureen le rejoint et ils sont ensemble lorsqu’ils apprennent que Queenie est décédée paisiblement. Lorsqu’ils vont lui rendre un dernier hommage, Maureen et Harold font face à la perte ensemble, un contraste frappant avec leur attitude lors de la mort de David. Ils passent ensuite du temps ensemble et commencent à partager des souvenirs alors qu’ils se préparent à franchir la prochaine étape vers un nouveau niveau d’acceptation et de bonheur.