« Ma première oie » est apparu dans Cavalerie rouge, Le premier recueil de vignettes et d’histoires de Babel, aucune ne dépassant quatre pages. Ce cycle d’histoires interconnectées, considéré par de nombreux critiques comme la meilleure œuvre d’Isaac Babel, est également considéré comme l’une des contributions les plus importantes à la littérature russe du XXe siècle. Les histoires mettent en valeur le don de Babel pour les images troublantes et la philosophie complexe. Contenant son ambiguïté morale et religieuse, ils se caractérisent par un ton ironique et exagéré. Cavalerie rouge a d’abord gagné en popularité sous forme de journaux sérialisés et a retenu l’attention de la critique internationale. Le public n’a pas tardé à réagir à ces récits nouveaux et choquants, à la fois beaux et brutaux, traditionnels et contemporains. Cependant, Babel avait des détracteurs politiques aussi bien que religieux. Le gouvernement s’est inquiété de son travail, qui ne semblait pas présenter une pensée exclusivement socialiste. « My First Goose » est typique du genre d’écriture qui a valu à Babel ce genre de réponse variée et émotionnelle. L’histoire contient la violence et la passion typiques de la plupart de son œuvre et concerne un narrateur profondément émotif aux sentiments politiques, religieux et moraux ambigus. En effet, tout au long de son œuvre et dans ses relations avec le gouvernement, Babel est resté insaisissable quant à ses véritables opinions politiques.
L’histoire contient une forme méticuleuse et un langage extrêmement particulier. « Ma première oie » contient l’une des descriptions célèbres et suggestives de Babel : celle des jambes du commandant, « comme des filles gainées jusqu’au cou dans des bottes d’équitation brillantes ». Ce détail, le premier que le lecteur rencontre, se retrouve à la fin de l’histoire, lorsque le narrateur anonyme dort les jambes entrelacées dans celles des autres soldats, rêvant de femmes. Le narrateur, dont le travail en tant qu’officier de propagande consiste à éduquer les troupes sur la pensée léniniste, raconte son premier jour d’affectation dans une troupe cosaque. Babel fait grand cas des fragilités physiques du narrateur, notamment de ses lunettes. En fait, ce narrateur ressemble physiquement à l’auteur lui-même et apparaît dans de nombreux Cavalerie rouge contes. Au moment crucial de l’histoire, le narrateur auparavant faible prouve sa force en tuant une oie sans défense. Les thèmes de la violence traversent l’histoire, ainsi que les thèmes érotiques et religieux. Rapide, troublant et étrangement élevé, « Ma première oie » reste l’une des histoires de Babel les plus lues et les plus diversement interprétées.