Speak, Memory est divisé en 15 chapitres qui suivent chronologiquement la vie de Nabokov jusqu’à son début à l’âge adulte. Une grande partie du livre est consacrée à définir les années dorées de son enfance opulente – des années que Nabokov a maintes fois qualifiées de « parfaites ». Dans les premiers chapitres, Nabokov note à la manière d’une liste des membres importants de la famille, des enseignants, des tuteurs et des gouvernantes de son enfance et, à travers la liste chronologique, s’interrompt en apartés tangentiels qui mènent à des histoires et à des moments remémorés.
Il semble que Nabokov découvre ce qui se passe pendant qu’il écrit et n’a pas construit de pensée, de mémoire ou d’histoire avant de s’asseoir à la page. Tout au long du livre, le lecteur a l’impression que quelqu’un pousse Nabokov, pose des questions pour approfondir ses histoires, pour l’encourager à se souvenir plus intensément des détails – au départ, on peut supposer qu’il parle métaphoriquement à Mnemosyne, la déesse de la mémoire, mais vers À la fin du livre, il commence à utiliser le pronom « vous » et il est révélé qu’il s’agit de Vera, sa femme et à qui il a dédié le livre. Elle est sa Mnemosyne.
Le dernier tiers de l’autobiographie se déroule après l’exil de Russie de la famille de Nabokov. Il doit laisser derrière lui le manoir de la ville et le domaine de campagne qu’il aime tant à cause de la politique libérale de son père pendant la guerre civile russe. C’est lorsqu’il quitte la Russie pour l’Angleterre, puis plus tard Berlin et Paris, qu’il se rend compte qu’il aime la Russie. Peu importe où habite Nabokov ou combien d’autres Russes démocrates de la classe noble il rencontre, il ne se sent toujours pas faire partie de ce groupe d’émigrés. La Russie que Nabokov connaît et dont il se souvient est celle où il connaît une richesse d’élite et un droit protégé. Devenu adulte en exil, il passe son temps à chasser les papillons, à composer des problèmes d’échecs, à écrire des romans et à donner des cours de langue. Il profite de sa vie simple avec sa femme et son petit fils, mais il aspire toujours à la Russie de son enfance. Il n’y retourne pas parce qu’il sait que la Russie est partie.