L’histoire commence avec un homme étrange sortant de la nature sauvage australienne, ou de la brousse, pour se rendre dans une colonie anglaise au début des années 1860. Les colons se méfient du visiteur. Même s’il prouve qu’il est en fait anglais, il a été élevé par des autochtones noirs et est donc considéré par certains comme indigne de confiance. L’homme, Gemmy, parle un anglais limité et se fait des amis notables dans la colonie.
La famille McIvor décide d’accueillir le visiteur. Le père, Jock, bien que réticent au début, finit par aimer Gemmy. La fille aînée, Janet, entretient également un lien fort avec lui. Le cousin « adoptif », Lachlan, qui ne s’entend pas bien avec Janet, a également une amitié avec Gemmy et agit comme sa protectrice.
Le ministre, M. Frazer, trouve que les connaissances de Gemmy sont inestimables dans son travail de botanique et ils s’efforcent de catégoriser les différents types de plantes et de fruits de la région. Gemmy lui montre à quoi servent les différentes plantes et lesquelles sont comestibles. M. Frazer utilise les informations pour rédiger un rapport montrant comment les colons peuvent utiliser les cultures indigènes. Finalement, il présente les informations qu’il a recueillies au gouverneur, mais est repoussé.
Plusieurs autres colons n’aiment pas Gemmy et le considèrent comme un « blanc noir » et donc une menace pour leurs moyens de subsistance. En le surveillant de près, ils assistent à une rencontre entre Gemmy et des indigènes. Leur interprétation est que Gemmy est une espionne pour les indigènes. Cet événement met une sérieuse tension entre les McIvor et surtout Jock, qui protège Gemmy, et le reste des colons. Finalement, Gemmy est attaquée et sauvée par Jock. Pour sa propre sécurité, Gemmy déménage plus loin de la ville pour vivre.
Gemmy pense que les papiers utilisés pour enregistrer son histoire lors de son entrée initiale dans le village contiennent sa magie et doivent lui être restitués. Il sent son énergie lui échapper à force d’être si loin de sa maison natale. Il récupère les papiers qu’il croit lui appartenir et retourne dans la brousse.
Des années plus tard, Janet et Lachlan se souviennent de leur séjour dans la colonie et réfléchissent à tout ce que Gemmy a apporté à leur vie.