Crazy Lady raconte l’histoire de Vernon, un garçon au début de l’adolescence aux prises avec la famille, les amis et l’école. Au début, Vernon vit comme n’importe quel autre jeune garçon, provoquant un chaos mineur dans son quartier dans un quartier de Baltimore. Il déplore qu’en tant que garçon au collège, il ne puisse plus jouer à des jeux pour enfants, mais reste trop jeune pour obtenir un travail comme ceux du lycée. Cela laisse Vernon et ses amis démonter des vélos et des voitures à fil chaud, juste pour prouver qu’ils le peuvent.
Puis, cependant, Vernon reçoit son premier bulletin. Déjà en retard d’un an, et grand pour son âge, il déplore les échecs dans presque toutes les classes. Sur les conseils de sa sœur, Vernon va voir le conseiller d’orientation. Lorsqu’elle dit à Vernon que les cours particuliers coûtent 2 $ de l’heure, il sait que sa famille ne peut pas se permettre les dépenses. Depuis la mort subite de sa mère plusieurs années auparavant, la famille s’en sort, mais à peine, et le père de Vernon travaille déjà jusqu’à l’épuisement pour subvenir aux besoins de Vernon et de ses quatre frères et sœurs.
Un jour, cependant, un voisin entend Vernon tenir tête à l’épicier du coin, qui essaie fréquemment de surfacturer les clients. Quand elle s’approche de lui pour féliciter l’acte, Vernon se rend compte qu’il parle à « la folle », une mère célibataire qui vit à un pâté de maisons de la famille de Vernon. Le quartier la connaît comme une femme excentrique, ivre et grossière. De plus, son fils semble avoir un retard mental et fréquente une école spéciale. Le couple a souvent été victime d’insultes et de blagues, même de la part de Vernon et de ses amis. Pour des raisons que Vernon ne peut expliquer, il aide la dame à ramener ses courses à la maison et avoue qu’il a des difficultés à l’école. Elle promet d’aider. Vernon s’éloigne de sa maison délabrée, espérant qu’aucun de ses amis ne l’a vu chez la folle.
Quelques jours plus tard, Vernon reçoit un mot de Maxine, la folle, lui proposant de le présenter à un professeur. Désespéré de réussir la septième année, Vernon se rend à la réunion. Maxine présente Vernon à son fils, Robert, puis à sa voisine, Mlle Annie, qui habite de l’autre côté de l’appartement en duplex de Maxine. Le côté de Miss Annie est aussi soigné que celui de Maxine est désordonné. Miss Annie accepte d’aider Vernon en anglais. Rapidement cependant, elle commence à lui demander de « payer » ses cours en aidant Maxine.
Au début, Ronald rend Vernon très nerveux, et Vernon semble avoir un effet similaire sur Ronald. Finalement, cependant, les garçons développent une relation étroite. Lorsque le professeur de Robert encourage Maxine à inscrire son fils aux Jeux olympiques spéciaux, Vernon organise un carnaval de quartier pour récolter des fonds. Le carnaval devient un énorme succès, et Vernon se sent fier de son accomplissement et désillusionné de s’être senti incompétent pendant si longtemps.
Lorsque l’été arrive, Vernon réussit tous ses cours nécessaires, grâce au tutorat assidu de Miss Annie. Il emmène également Robert aux Jeux olympiques. Les deux garçons apprécient énormément l’événement et Vernon sent que Robert est devenu un ami proche. Cependant, il apprend, en fin de compte, que Maxine a décidé d’envoyer Robert en Caroline du Nord pour vivre avec sa famille, car elle estime que son alcoolisme l’empêche de s’occuper de lui correctement. Vernon réagit avec beaucoup de colère et de tristesse.
Le jour où Robert part pour la Caroline du Nord, le quartier lui offre des dizaines de cadeaux de départ. Vernon court à côté de la voiture jusqu’à ce qu’il ne puisse plus suivre. Lorsqu’il atterrit en sanglotant, le long de la route, le père de Vernon est là pour le récupérer.