La tristesse particulière du gâteau au citron concerne Rose, une jeune fille qui découvre à son neuvième anniversaire qu’elle a une capacité particulière à goûter les émotions de la personne qui a préparé la nourriture. La première fois qu’elle remarque son talent de dégustateur unique, elle sent l’immense tristesse de sa mère lorsqu’elle prépare un gâteau au chocolat et au citron pour Rose. Rose ne supporte pas de manger le gâteau. Cela intrigue sa mère, Lane. Rose pense beaucoup aux émotions dans la nourriture et commence à les remarquer dans tout ce qu’elle mange, identifiant finalement l’origine des ingrédients. Elle se tourne vers George, l’ami de son frère lointain et apparemment antisocial Joseph, pour tenter de comprendre ce qui lui arrive. Comme Joseph, George a un vif intérêt pour la science et accepte de faire des expériences de recherche sur ses capacités. Alors que la nouvelle capacité de Rose fascine George, il n’est pas au courant de son béguin croissant pour lui.
Joseph est en retrait social. Il reste seul dans sa chambre, aidé par l’ajout d’une porte, fabriquée par sa mère, pour sa chambre. Il interagit à peine avec sa famille à table. Quand il le fait, c’est souvent à contrecœur. Il a cependant une relation plus forte avec sa mère. Elle le considère comme spécial et se tourne vers lui pour obtenir des conseils. Le père, renfermé à sa manière, n’a pas vraiment de lien avec Joseph. Joseph et Rose semblent se comprendre et entretenir une relation fondée sur de petites conversations et des intérêts similaires dans les programmes télévisés.
Grâce à la cuisine de sa mère, Rose apprend que Lane a eu une liaison. Elle garde le secret pour elle. Bien qu’elle ne confronte pas initialement sa mère, la connaissance de l’affaire lui pèse lourdement. Ses relations à l’école en souffrent également. Rose est éloignée de ses camarades de classe, s’appuyant sur son amitié avec Eliza. Lorsqu’elle rencontre une nouvelle étudiante transférée, Sherrie, elle se lie d’amitié avec elle et lui parle de son talent particulier. La capacité de Rose à ressentir les émotions fascine l’ami. Bien qu’il s’agisse d’une nouveauté au début, cela dégénère en Sherrie profitant de Rose pour comprendre ce qu’elle ressent vraiment à propos de quelque chose. Rose tente de voir Sherrie en dehors du contexte de la nourriture, mais elle n’est plus intéressée. Rose s’éloigne de l’amitié. La situation l’incite à recommencer à garder sa compétence spéciale cachée.
Rose remarque que le comportement de Joseph devient de plus en plus étrange. Quand elle sort, Lane laisse Joseph s’occuper de garder Rose. Rose ne pense pas avoir besoin d’une baby-sitter et Lane finit par payer sa fille pour l’accompagner. Une nuit, Rose se rend compte que Joseph a disparu. Inquiète, elle le cherche et le croise dans le couloir. Il n’indique pas où il se trouvait, mais au fil du temps, Rose note qu’il continue de disparaître et pendant de plus longues périodes.
Après que les universités ont rejeté les candidatures de Joseph, il accepte d’aller dans un collège de la ville s’il peut obtenir un appartement par lui-même. Ses parents organisent l’appartement et Joseph disparaît sans laisser de trace. Rose essaie de comprendre où Joseph est allé et comment cela peut ou non être également lié à ses compétences particulières.