L’histoire commence avec un homme nommé Shimamura dans un train à destination d’une station balnéaire du pays des neiges du Japon. Shimamura est pris par la voix de la fille, qui, selon lui, résonne clairement. La femme est accompagnée d’un monsieur malade. Le nom de l’homme est Yukio et il est le fils d’un professeur de musique du village où Shimamura est lié. Le nom de la femme, apprendra-t-il plus tard, est Yoko.
Shimamura se dirige vers une station thermale où il espère voir une geisha rencontrée lors d’un précédent voyage. Elle s’appelle Komako et elle n’est pas encore une geisha agréée lorsqu’il la rencontre pour la première fois. Il est ravi de sa propreté mais décide qu’il préfère simplement rester ami avec elle, envisageant la possibilité de futures visites dans la ville avec sa famille. Cependant, il n’est pas intéressé par une autre geisha qui lui est présentée pour ses besoins sexuels et finit par s’impliquer avec Komako.
Leur relation est compliquée et remplie de bouleversements émotionnels de la part de Komako. Shimamura sent qu’elle s’implique trop profondément avec lui mais semble incapable de l’arrêter, revenant une troisième fois pour être avec elle. Komako est souvent ivre, dit à Shimamura de partir, puis de rester, le supplie d’être avec elle, refuse de coucher avec lui, accepte de se baigner avec lui et se précipite plus tard chez lui. La relation tumultueuse semble quelque peu inhabituelle car le rôle traditionnel de la geisha est de répondre aux besoins d’un homme sans enchevêtrements émotionnels. Shimamura semble supporter la mauvaise humeur et la colère occasionnelle comme une évidence.
Komako vit avec un professeur de musique, la mère de l’homme Yukio qui voyageait dans le train avec Shimamura. La femme qui accompagne Yukio, Yoko, reste pour le soigner jusqu’à sa mort, puis va travailler à l’auberge où loge Shimamura. Komako et Yoko ne s’aiment pas bien que la nature exacte de leur relation ne soit jamais expliquée. Shimamura apprend d’une masseuse que Yukio et Komako étaient fiancés avant sa maladie et qu’elle a assumé les fonctions de geisha pour aider à payer les factures du médecin. Komako nie cela mais Shimamura semble sceptique. Il dit qu’il semble possible que Yoko soit le nouvel amant de Yukio et que la jalousie a suscité l’aversion entre les deux femmes.
Yukio meurt, tout comme sa mère, et Yoko et Komako ne vivent plus dans la même maison lorsque Shimamura revient pour une troisième visite. Yoko dit à Shimamura qu’elle veut retourner avec lui à Tokyo mais qu’elle est ensuite tuée dans un incendie. Komako dit qu’elle croit que Yoko va devenir folle mais n’explique pas pourquoi elle est arrivée à cette conclusion. Lorsqu’il y a un incendie majeur dans un entrepôt, Komako et Shimamura se précipitent sur les lieux où ils découvrent que Yoko est une victime. Komako se précipite aux côtés de la femme, disant aux autres de rester à l’écart parce que « la fille est folle ».