Quand nous étions orphelins se déroule en Angleterre et à Shanghai avant la Seconde Guerre mondiale. Christopher Banks, le narrateur et personnage principal de l’histoire, est né et a grandi à Shanghai avant d’être renvoyé vivre chez sa tante après la mystérieuse disparition de ses parents. A Shanghai, il a un ami japonais Akira, qui habite à côté. Lorsque son père disparaît, Akira commence un jeu de détectives, apparemment pour essayer d’aider Christopher à faire face à la situation. Ce jeu est à l’origine de la vocation qu’il finit par choisir et par laquelle il prend de l’importance. Il devient détective.
À Londres, il devient rapidement réputé pour sa capacité à résoudre des cas que d’autres ne peuvent pas. Au début de sa carrière, la résolution de ces affaires difficiles en Angleterre le consume. Cela le satisfait aussi. Cependant, à mesure que sa carrière se stabilise, il commence à ressentir le besoin de retourner à Shanghai et de résoudre le cas des enlèvements apparents de ses parents. Il sent, en effet, que le monde compte sur lui pour résoudre ce mystère et le sauver de la tourmente qui s’est abattue sur lui. Entre-temps, il a adopté Jennifer, une orpheline comme lui et l’idée de l’abandonner lui cause beaucoup de détresse. Cependant, il sent que même elle ne pourrait pas le respecter s’il se dérobait à sa vocation.
Arrivé à Shanghai, il constate que la ville qu’il a si bien connue est ravagée par la guerre sino-japonaise ; les fonctionnaires dont il a besoin sont corrompus ; et tous les indices ne mènent nulle part. Il est frustré et découragé. Rien n’est comme il paraît à Shanghai et il désespère de pouvoir un jour résoudre l’affaire.
Là-bas, il rencontre Sarah Hemming, la femme évasive qu’il connaît depuis les premières années de sa carrière. Sarah est maintenant mariée à un homme accro au jeu et à l’opium. Elle demande à Christopher de s’enfuir à Macao avec elle. Dans un moment de désenchantement face à sa propre mission, il accepte et se présente au lieu de rendez-vous. Les deux partagent un baiser, mais au dernier moment, il décide qu’il doit absolument suivre une dernière piste pour l’amener là où ses parents sont emprisonnés. Son intention est de revenir tout de suite et de mettre les voiles avec elle. Cependant, les choses ne se passent pas bien et il est incapable de revenir vers elle dans un délai raisonnable. Elle part pour Macao sans lui. Ils ne se reverront jamais.
Quant au plomb, il s’avère être un gaspillage complet. Cependant, avec le temps, il acquiert l’accès au seul homme qui sait tout. C’est l’homme qu’il a grandi en appelant Oncle Phillip. Christopher sait depuis longtemps que l’oncle Phillip est profondément lié à l’enlèvement de sa mère. Maintenant, il apprend de l’oncle Phillip que les disparitions de ses parents, qu’il a toujours supposées liées à leur position courageuse contre l’opium, étaient dues à des causes beaucoup moins nobles. Son père avait simplement quitté Shanghai avec sa maîtresse et était mort de la fièvre typhoïde à Singapour. Sa mère a été kidnappée par un seigneur de la guerre pour être sa concubine. Christopher la retrouverait dans un institut psychiatrique à Hong Kong.
Le livre se termine avec Christopher étant satisfait d’avoir poursuivi sa mission jusqu’au bout. Sa vocation, cependant, a fait de sa vie une vie solitaire. Jennifer et l’anticipation qu’elle pourrait un jour se marier et avoir des enfants, est sa seule consolation.