Le duc de Portland est un aristocrate britannique vieillissant qui vit reclus dans son domaine de Welbeck. C’est un homme quelque peu excentrique qui a toujours été réservé. En vieillissant, son état physique et mental s’est sensiblement détérioré, ce qui l’amène à adopter un comportement quelque peu inhabituel. Bien que les habitants locaux voient rarement le duc reclus, des nouvelles de son comportement de plus en plus idiosyncratique se frayent un chemin dans l’arène publique. L’information est rapidement exagérée et déformée et on prétend souvent que le duc est un monstre physiquement déformé qui se cache dans son domaine afin de dissimuler sa défiguration.
Lorsque le roman commence, c’est l’automne et la construction d’un système de tunnels élaboré sur le domaine du Duc est terminée. On ne sait pas exactement à quoi sert ce système de tunnels puisque les parties du domaine qui sont reliées sous terre sont tout aussi facilement accessibles en surface. Il semble que le Duc ait construit le tunnel pour son propre divertissement.
Au cours de l’hiver, le Duc tente d’en apprendre davantage sur lui-même. Il y parvient de deux manières. D’abord, il explore son domaine et, lors de ses petites excursions, il récupère des objets ayant appartenu à ses ancêtres. Ensuite, il est hanté par un souvenir et par la conviction qu’il y a un garçon fantôme en sa présence et il tente de découvrir la signification des expériences récurrentes.
Lors d’une de ses excursions, le duc découvre la tête de Fowler, un buste d’homme sur lequel sont représentées des informations phrénologiques. Cela incite le duc à étudier la phrénologie et le conduit finalement à Édimbourg où il rencontre le professeur Bannister, un expert en phrénologie. Lors de cette visite, le duc apprend ce qu’est la trépanation. Lorsqu’un patient subit une trépanation, un trou est percé dans son crâne. Selon le professeur Bannister, ce procédé était utilisé par les tribus primitives du Brésil pour libérer les patients des mauvais esprits. Avant de quitter Édimbourg, le duc vole le kit de trépanation du professeur Bannister.
De retour dans son domaine, le Duc est de plus en plus affligé par son état physique et mental. Sa détérioration mentale est encore pire car le Duc semble parfois être conscient qu’il devient fou. Le Duc essaie de prendre les choses en main et il utilise le kit de trépanation volé pour effectuer la chirurgie primitive sur son propre crâne. Cette procédure ne guérit pas le Duc, mais le fait plutôt sombrer dans la folie à un rythme accéléré. Afin de dissimuler ses blessures auto-infligées, le Duc devient encore plus solitaire et commence à se cacher de son propre personnel, y compris de son valet Clément. Le Duc ne quitte sa chambre que la nuit pour errer nu dans son domaine.
Entre-temps, le Duc parvient à accéder à un souvenir qui le hante. Il apprend que ce souvenir correspond à un traumatisme d’enfance au cours duquel son frère jumeau s’est noyé. Le garçon fantôme dont le Duc a senti la présence depuis le début est vraisemblablement son jumeau.
Lors d’une nuit d’hiver fatidique, alors que le Duc se promène nu dans son domaine, un chasseur local le prend pour un animal sauvage. Le chasseur lui tire dessus et le Duc est retrouvé mort.