À l’ouverture de Hard Times de Charles Dickens, le lecteur rencontre Thomas Gradgrind, un marchand londonien devenu politicien obsédé par l’école des faits. Gradgrind croit qu’il n’y a pas de place dans sa vie pour la curiosité, l’imagination ou la « fantaisie ». Ainsi, il insiste pour que ses enfants soient éduqués uniquement sur les faits, les remplissant d’informations comme on remplirait un vase d’eau. Gradgrind croit que tous les enfants devraient être enseignés de cette façon, et il s’est particulièrement intéressé à Sissy Jupe, la fille fantaisiste d’artistes de cirque. Selon les critères de Gradgrind, Sissy est trop émotive pour être considérée comme « enseignable ». Après avoir appris que le père du cirque de Sissy l’a abandonnée, Gradgrind accueille Sissy et l’élève dans sa maison, le bien nommé Stone Lodge. Là, il espère dépouiller Sissy de son esprit imaginatif. Il espère également que sa propre fille, Louisa, réalisera les dangers de se livrer à ses émotions sur Fact seul.
Pendant ce temps, l’ami de Gradgrind, Josiah Bounderby, propriétaire d’une banque et d’une usine à Londres, dirige son entreprise avec le même système de fait mécanisé et sans émotion. Il refuse de considérer ses ouvriers d’usine comme des humains, les qualifiant de Mains, ou un peu plus que les rouages d’une machine. Lorsque Louisa atteint la majorité, Bounderby demande sa main en mariage, même s’il est beaucoup plus âgé et que son éducation l’a laissée trop vide émotionnellement pour vraiment l’aimer.
Tom, le fils de Gradgrind, s’implique également dans la vie de Bounderby lorsqu’il vient travailler à la banque de Bounderby. En vieillissant, Tom devient de plus en plus en colère contre l’éducation que son père lui a imposée. Il est devenu un jeune homme égoïste, complice et cruel. Lorsque sa sœur refuse de l’aider avec ses dettes de jeu, Tom concocte un plan pour cambrioler la banque et blâmer l’un des Bounderby’s Hands, un homme au cœur pur mais triste nommé Stephen Blackpool. Tom choisit d’exploiter Blackpool après avoir appris que le reste des Mains s’est retourné contre lui dans son refus de rejoindre leur syndicat contre les conditions horribles dans lesquelles Bounderby les oblige à travailler.
En même temps que Tom décide de cambrioler la banque, un beau jeune inconnu nommé James Harthouse arrive en ville. Harthouse arrive d’abord à Londres pour étudier la philosophie politique de Gradgrind, mais lorsqu’il apprend que Louisa est coincée dans un mariage sans amour, il chasse le frisson de l’émotion éveillée dans son cœur froid. Harthouse n’aime jamais Louisa, bien qu’il la laisse croire qu’il le fait, simplement pour la manipuler. Lorsque Louisa commence à tomber amoureuse de Harthouse, elle souffre d’une dépression émotionnelle et confronte son père à propos des erreurs qu’il a commises en l’élevant. Face à la dépression de Louisa et au soupçon que Tom a braqué la banque, Gradgrind est forcé de voir l’erreur de ses manières. Il est rempli de dégoût de soi et jure de changer la vie de ses enfants, même s’il se sent incapable de leur apprendre à aimer.
Le roman se termine avec chacun des personnages recevant leurs justes récompenses. Sissy reprend l’éducation de Louisa et lui apprend, pour la première fois, ce que signifie aimer. Louisa passe le reste de sa vie avec Sissy, même après que Sissy se soit mariée et ait des enfants. Tom est capable d’échapper aux poursuites pour le vol de banque lorsqu’il s’enfuit avec le cirque et navigue finalement vers l’Amérique du Sud. Bounderby meurt misérable et seul, tandis que Gradgrind travaille avec ambition pour effacer le nom de Blackpool des accusations portées par Tom contre lui.