Parlez, Mémoire est divisé en 15 chapitres qui suivent chronologiquement la vie de Nabokov jusqu’à son début d’âge adulte. Une grande partie du livre est consacrée à la définition des années dorées de son enfance opulente, des années que Nabokov a maintes fois qualifiées de « parfaites ». Dans les premiers chapitres, Nabokov note sous forme de liste les membres importants de sa famille, les enseignants, les tuteurs et les gouvernantes de son enfance et, à travers la liste chronologique, elle est divisée en apartés tangentiels qui mènent à des histoires et à des moments mémorables.
Il semble que Nabokov découvre ce qui se passe au fur et à mesure qu’il écrit et n’a pas construit de pensée, de mémoire ou d’histoire avant de s’asseoir devant la page. Tout au long du livre, le lecteur a l’impression que quelqu’un incite Nabokov, lui pose des questions pour approfondir ses histoires, pour l’encourager à se souvenir de détails avec plus d’acuité. Au début, on peut supposer qu’il s’adresse métaphoriquement à Mnémosyne, la déesse de la mémoire, mais vers À la fin du livre, il commence en utilisant le pronom « tu » et il est révélé qu’il s’agit de Vera, sa femme à qui il a dédié le livre. Elle est sa Mnémosyne.
Le dernier tiers de l’autobiographie se déroule après l’exil de la famille Nabokov de Russie. Il doit abandonner le manoir de la ville et la propriété de campagne qu’il aime tant en raison de la politique libérale de son père pendant la guerre civile russe. C’est en quittant la Russie pour l’Angleterre, puis plus tard Berlin et Paris, qu’il réalise qu’il aime la Russie. Peu importe où vit Nabokov et combien d’autres Russes démocrates de la noblesse qu’il rencontre, il ne se sent toujours pas partie de ce groupe d’émigrés. La Russie que Nabokov connaît et dont il se souvient est une Russie où il jouit d’une richesse d’élite et d’un droit protégé. Adulte en exil, il passe son temps à chasser les papillons, à composer des problèmes d’échecs, à écrire des romans et à donner des cours de langues. Il aime sa vie simple avec sa femme et son petit fils, mais il aspire toujours à la Russie de son enfance. Il n’y retourne pas parce qu’il sait que la Russie n’est plus là.