Les mémoires de Russell Baker décrivent son enfance dans la Virginie rurale, sa jeunesse grandissant dans la Grande Dépression et son jeune âge adulte à Baltimore avec sa mère. Les souvenirs de Russell sont centrés sur sa relation avec sa mère, un parent célibataire pendant une grande partie de sa jeunesse, qui finit par devenir sénile et est incapable de lui parler de sa propre vie en grandissant.
Lucy est la fille d’un avocat gentil de Virginie qui décède de façon inattendue, laissant Lucy abandonner l’université et occuper des postes d’enseignante dans les zones rurales. Elle rencontre Benny Baker, un fils d’une grande famille locale, et tombe enceinte. Les deux se marient malgré les objections de la mère matriarcale de Benny, Ida Rebecca. Ils ont trois enfants, Russell, Doris et la petite Audrey, et Lucy ne parvient pas à empêcher Benny de boire. Benny est diabétique et il meurt prématurément, laissant Lucy avec trois enfants. Un des frères de Benny adopte Audrey et Lucy emménage avec son frère Allen. La Grande Dépression commence et Lucy ne peut pas trouver de travail.
Allen accueille Lucy, Russell et Doris, ainsi que son frère Charlie. Son frère Hal, qui parle vite et qui arrache de l’argent, les rejoint bientôt, et il demande à Lucy de lui donner 75 $ de son argent durement gagné pour démarrer une entreprise de bois qui n’arrive jamais. Lucy prend le peu qu’il lui reste pour déménager à Baltimore. À Baltimore, Russell emprunte une route papier et apprend à se débrouiller dans la grande ville. Il est impliqué dans des bagarres, mais il est bon à l’école. Pendant ce temps, sa mère essaie de gagner sa vie en vendant des abonnements à des magazines contre commission. À un moment donné, ils doivent obtenir des aumônes du gouvernement pour manger.
Finalement, Lucy rencontre et épouse Herb Orrison, qui travaille sur le chemin de fer et gagne assez d’argent pour subvenir aux besoins de sa famille. Russell déteste son beau-père, qui l’a remplacé en tant qu’homme de la maison. Lucy a une autre fille et la famille déménage dans une maison. Enfin, Lucy a eu la maison dont elle rêvait. Russell est sur le point d’obtenir son diplôme d’études secondaires, mais il n’a pas les moyens de payer l’université et ne sait pas ce qu’il fera comme travail. Un ami lui parle des bourses offertes par l’Université Johns Hopkins, et Russell est accepté, avec une bourse pour payer ses frais de scolarité.
Pendant la Seconde Guerre mondiale, Russell abandonne l’université pour devenir pilote dans la marine, mais alors qu’il termine sa formation, la guerre prend fin. Russell revient et termine finalement l’université et va travailler pour le Baltimore Sun. Entre-temps, il rencontre Mimi, une fille moderne. Sa mère désapprouve et Russell ne pense pas qu’elle soit le bon genre de fille à épouser. Pourtant, il ne peut pas vivre sans elle, et après quatre ans, ils se marient. Les années passent; sa mère vieillit. L’herbe meurt. Russell a des enfants et des petits-enfants. Finalement, sa mère est confinée dans une maison de retraite, où dans sa sénilité, elle revit les jours de son passé dans un monde à elle.