L’après-midi des elfes est l’histoire d’une amitié particulière entre deux filles, qui s’épanouit à cause d’un village elfe « magique » créé dans le jardin de l’une des filles.
Hillary Lenox a neuf ans et est la protagoniste du roman. Elle a une vie familiale idéale, elle est obéissante et gentille, et elle est très appréciée à l’école. Elle noue une amitié unique avec Sara-Kate Connolly, onze ans, qui est à bien des égards le contraire d’Hillary. Sara-Kate s’habille bizarrement, elle est bourrue et colérique, elle est détestée par les camarades de classe d’Hillary et elle se comporte de manière excentrique.
Sara-Kate montre à Hillary ce qu’elle prétend être un village elfe magique construit dans l’arrière-cour de sa maison. Il y a de minuscules maisons faites de feuilles et de brindilles, un puits avec un bouchon de bouteille pour un seau et une grande roue faite de deux roues de vélo. Hillary est enchantée par la perspective d’une communauté d’elfes magiques. Au cours des semaines suivantes, Hillary aide Sara-Kate à observer le village, à rassembler de la nourriture pour les elfes et à d’autres tâches. Bien qu’Hillary ne voit jamais un elfe, elle jure qu’ils existent. Sara-Kate est pleine de sagesse au sujet des habitudes et de la culture des elfes, mais elle est d’une manière alarmante secrète au sujet de sa propre vie, en particulier de sa mère jamais vue. Les filles se rapprochent dans leur passion mutuelle pour le village.
Un jour, Sara-Kate ne se présente pas à l’école, et après un certain temps, Hillary ose se glisser dans la maison de Sara-Kate, un endroit où elle n’a jamais été invitée. Là, elle découvre Sara-Kate serrant sa mère maladive dans un fauteuil à bascule. La vue traumatise Hillary et Sara-Kate crie à Hillary de partir et de ne jamais revenir. Hillary va à l’école comme d’habitude pendant un certain temps, mais ne peut pas ébranler l’image de Sara-Kate.
Hillary retourne chez Sara-Kate, sans parler de la mère, et ils décident de réparer le village des elfes, qui a été détruit par la négligence et une chute de neige. Les deux travaillent dur et restaurent le village. Sara-Kate révèle un manque d’argent, et donc de nourriture, et Hillary se porte volontaire pour l’aider. Hillary vole de l’argent dans le sac à main de sa mère, fait l’épicerie et vole un paquet de bologne à l’épicier. Les deux filles organisent une fête dans le salon de Sara-Kate en préparant des sandwichs à la bologne.
Mme Lenox frappe à la porte, se demandant où se trouve Hillary. Elle voit la négligence alarmante de la maison et demande à voir la mère de Sara-Kate. La maladie physique et mentale de Mme Connolly est exposée. Alors qu’Hillary regarde tristement depuis sa propre maison, la maison de Sara-Kate est envahie au cours des jours suivants par de nombreux étrangers, qui la nettoient et la vendent finalement à une autre famille. Des rumeurs dans les journaux prétendent que Sara-Kate a déménagé au Kansas et que sa mère a été institutionnalisée.
Toujours accrochée à la magie du village des elfes, Hillary dit à sa mère qu’elle a l’intention de sauver le village des elfes et de le construire dans un coin herbeux de leur propre arrière-cour.