Lorsque Stephen est autorisé à quitter l’appartement de son père pour se rendre seul à la maison de vacances familiale à Tarumi, au Japon, il considère cela comme une victoire. Pour fêter ça, il achète un journal et commence à y écrire des notes pour documenter son voyage et son séjour à Tarumi. Ce sont ces récits de journaux qui deviennent le livre Samurai’s Garden.
Le livre commence par le récit de Stephen sur son diagnostic de tuberculose, la réaction de sa famille et les événements qui l’ont amené à monter dans un train à destination de Tarumi. Comme le raconte Stephen, ses parents cherchaient un endroit où Stephen pourrait récupérer, mais cherchaient également un moyen de l’éloigner de sa sœur cadette, Penelope, avant qu’il ne l’infecte. Lorsque Stephen arrive à Tarumi, il rencontre Matsu, le gardien de la propriété familiale. Stephen pense d’abord que son séjour à Tarumi sera trop calme et s’attend à s’ennuyer. Il envisage de peindre et s’attend à avoir immédiatement le mal du pays. Mais il découvre bientôt qu’il est fasciné par le calme et noue une amitié avec Matsu. Cette amitié se renforce lorsque Stephen rencontre Sachi, la femme que Matsu a aidée à découvrir sa propre infection par la lèpre. Matsu devient rapidement un personnage compliqué et Stephen est inextricablement pris dans la vie de Matsu, qui est étroitement liée à celle de Sachi.
La sœur cadette de Matsu faisait partie des personnes infectées dans le village lorsque le village a connu une épidémie de lèpre. Tous ceux qui ont été infectés ont eu le sentiment d’avoir déshonoré leur famille, et la sœur de Matsu s’est suicidée dans le but de faire honneur à sa famille. Sachi dit qu’elle a essayé de faire de même, mais qu’elle n’a pas eu le courage. C’est Matsu qui a aidé Sachi à trouver son chemin vers Yamaguchi, le village des lépreux. Le meilleur ami de Matsu est Kenzo. Kenzo était fiancé à Sachi jusqu’à sa découverte de la lèpre. Lorsque Sachi s’est enfui, Kenzo a envoyé des messages à Sachi via Matsu, mais ne l’a plus jamais revue jusqu’à ce qu’il la retrouve un jour chez Matsu. Kenzo s’est rapidement suicidé.
Tout au long de l’histoire, deux jardins sont importants pour Matsu, Sachi et Stephen. Le jardin de Matsu est rempli d’eau et de couleurs. Il possède un étang à poissons et un pont, et les trois travaillent dur au jardin après qu’une tempête ait causé des dégâts importants. Le deuxième jardin est celui de Sachi et est, à bien des égards, à l’opposé de celui de Matsu. Le jardin de Sachi est sec et une seule fleur fleurit au centre de son jardin. Les roches sont disposées pour ressembler à de l’eau et Sachi réorganise les roches pour ressembler aux ondulations d’un seul point ou d’une vague. Elle explique qu’elle trouve du réconfort dans les arrangements et dans l’acte d’arranger. Alors que Stephen se lie d’amitié avec Matsu et Sachi, il découvre que tous deux sont des humains compliqués avec des amours, des rêves et des désirs. Il apprend également à se connaître à travers ce processus.
Stephen apprend la nouvelle de l’escalade de la guerre entre la Chine et le Japon. Il s’inquiète pour la sécurité de sa famille alors que les Japonais avancent vers Hong Kong. La guerre signifie que certains Japonais de Tarumi sont hostiles envers Stephen parce qu’il est chinois. Il rencontre une jeune femme, Keiko, et est instantanément attiré par elle. Elle lui rend l’affection, mais son père déteste Stephen à cause de sa race. Lorsque le frère de Keiko est tué en servant dans l’armée contre la Chine, Keiko dit qu’elle ne peut plus voir Stephen.
Stephen est également contraint de jouer un rôle d’adulte lorsqu’il apprend que le mariage de ses parents est en danger. La mère de Stephen lui raconte la liaison de son père et lui demande d’intervenir. Stephen évite la situation autant que possible, mais admet que son image de son père a changé une fois qu’il a réalisé qu’il y avait réellement une liaison et que son père n’avait pas l’intention d’y mettre fin. Stephen se prépare à contrecœur à rentrer chez lui. Il sait qu’il doit retourner auprès de sa mère à Hong Kong, mais il est pris dans ses amitiés à Tarumi. Bien qu’il joue avec l’idée de rester à la maison sur la plage, il rentre chez lui après plus d’un an d’absence. Le livre se termine alors que Stephen monte à bord du train – la première étape de son voyage de retour vers sa famille et sa vie avant qu’il ne reçoive un diagnostic de tuberculose.