Other Voices, Other Rooms est l’histoire de Joel Knox, un jeune garçon qui découvre les différentes formes que peut prendre l’amour. Joel a été élevé par sa tante Ellen à la Nouvelle-Orléans après le décès de la mère de Joel. Mais la vie de Joel change lorsqu’il reçoit une mystérieuse lettre l’invitant à venir vivre avec son père oublié depuis longtemps dans un endroit appelé Skully’s Landing. Ce que Joel trouve dans le manoir en ruine du Landing le surprend et le repousse, mais Joel reste et trouve sa place parmi les personnages excentriques qui deviennent sa nouvelle famille.
Joel arrive à Skully’s Landing après avoir reçu une lettre écrite avec une intention délibérée non pas par son père, Edward, mais par Randolph, le cousin de la nouvelle épouse du père de Joel, Amy. Randolph avait fait appel à l’aide infirmière d’Amy après que Randolph ait accidentellement tiré sur Edward, le paralysant à vie. Amy épouse Edward et le nouveau couple, avec Randolph, retourne dans la maison de la famille d’Amy, Skully’s Landing, dans la Louisiane isolée.
L’arrivée de Joel au Landing ouvre un monde de personnages et de comportements excentriques alors que Joel tente de s’adapter à son nouvel environnement. Le plus déroutant pour Joel est la réticence d’Amy et Randolph à présenter Joel à son père. Cette obscurité évoque des rêves fantastiques chez Joel qui a une imagination très active et une vie de rêve avec des personnages dotés de leurs propres compétences et capacités. Lorsque Joel rencontre son père, il est dévasté d’apprendre que son père est invalide, incapable de communiquer ou de créer des liens avec Joel. Joel est donc obligé de chercher l’amour parmi les autres personnes de son monde étroit.
Joel trouve une figure de mère porteuse chez le cuisinier noir du Landing nommé Missouri, dont les tentatives pour prendre soin de Joel imitent le plus fidèlement celles de sa mère et de sa tante Ellen. Joel apprend qu’Amy voulait seulement que Joel vive au Landing afin que Joel puisse lui offrir un peu de répit sous les soins sans fin d’Edward. Le refus de Joel de prendre soin d’Edward comme Amy le souhaiterait, en plus de la relation naissante de Joel avec Randolph, coupe presque complètement tout espoir d’une relation entre Amy et Joel.
Joel trouve des amis chez les jumeaux Thompkins, Idabel et Florabel, mais Joel se retrouve plus intéressé par le garçon manqué, Idabel, qui rejette même les petits gestes romantiques offerts par Joel. Au fur et à mesure que l’histoire progresse, Idabel et Joel luttent avec leurs identités et préférences sexuelles émergentes et découvrent finalement qu’ils sont attirés par les autres du même sexe.
À la fin de l’histoire, Randolph a réussi à créer un monde dans lequel Joel dépend complètement de lui et utilise ce lien pour manipuler Joel afin qu’il entre dans une relation amoureuse naissante. Joel ressent maintenant un nouveau sentiment de maturité et se sent renforcé par ses expériences et l’amour inhabituel qu’il a trouvé dans la maison excentrique de Skully’s Landing.