Au large des côtes de la Virginie dans les années 1300, un galion espagnol fait naufrage sur une île appelée Assategue Island. Le navire transporte des chevaux en tant que cargaison du Pérou pour être vendus sur le marché du nouveau monde. Les chevaux survivent au naufrage et prospèrent sur l’île et traversent les décennies pour devenir des chevaux sauvages au pelage hirsute. Les humains finissent par s’installer sur l’île sœur de l’autre côté de la Manche.
Au milieu des années 1900, Paul et Maureen, qui sont frère et sœur, aperçoivent le légendaire Phantom, un cheval qui a échappé à la ronde des poneys plusieurs années de suite. Paul jure de l’attraper l’année prochaine puisqu’il est assez vieux pour assister à la rafle. Ils décident tous les deux d’économiser de l’argent pour l’acheter pour eux-mêmes afin de ne pas avoir à la vendre. Les mois suivants, ils font des petits boulots et travaillent pour leurs grands-parents pour gagner de l’argent. Ils vivent avec leurs grands-parents car leurs parents sont missionnaires en Chine.
Lorsque la rafle a lieu l’année suivante, Paul va monter avec eux et aider à attraper les poneys sauvages à vendre au marché. Avant que cela ne puisse arriver, on lui dit qu’il devra aider à construire les corrals pour abriter les chevaux. Le jour de la rafle, et sur l’île, Paul se retrouve sous la responsabilité de Wyle Maddox, le chef de la rafle. Les hommes de la rafle se moquent de Paul et le bouleversent lorsqu’il est envoyé chercher un cheval traînard. Il croit qu’ils veulent simplement se débarrasser de lui. Pour sa chance, le cheval traînard finit par être Phantom avec son poulain. Il nomme le poulain « Misty » car il pense à tort qu’elle est de la brume quand il la voit pour la première fois.
Phantom court droit vers les autres à Tom’s Point où tous les hommes sont incrédules qu’un jeune ait amené le cheval qui leur a échappé tant de fois dans le passé. Sur le chemin du retour vers le continent, la pouliche a failli se noyer car elle est si jeune. Il est courant de faire nager les chevaux vers l’île principale. Paul saute pour sauver le poulain et nage le reste du chemin avec le poulain pour la maintenir en vie. A terre, Phantom vient protéger son poulain de la ruée des autres chevaux qui courent sur la plage. On dit à Paul de rentrer chez lui, de se sécher et de se reposer pour le lendemain. Maureen, sa sœur, promet de surveiller les chevaux pour s’assurer que Misty et Phantom vont bien.
En chemin, Phantom fait une pause mais ne va pas loin car son bébé ne peut pas la suivre. Maureen se rend compte qu’elle et Paul pourraient éventuellement acheter les deux chevaux s’ils versaient un acompte sur eux et remboursaient le reste au cours de l’année. Maureen rentre chez elle pour le dire à Paul. Quand Maureen arrive, Paul dort et quand il se réveille, il est excité par la nouvelle. Leur grand-père dit qu’il y aura une tempête plus tard dans la journée, car son pied lui fait très mal. Pourtant, il les laisse aller aux courses pour regarder et trouver le chef des pompiers pour acheter les chevaux.
Pendant qu’ils sont aux courses, le triple vainqueur, Black Comet, gagne juste avant que la tempête massive ne frappe. Paul court pour s’assurer que les chevaux Phantom et Misty sont en sécurité. Paul ne peut les trouver nulle part jusqu’à ce qu’il retourne au camion de son grand-père. Derrière le camion se trouve une remorque où Paul, à sa grande surprise, retrouve les chevaux. Son grand-père les avait mis là juste avant la course apparemment. Paul s’endort dans le camion alors que l’orage fait rage et que la température baisse. Le lendemain matin, il est réveillé par son grand-père qui est étonné de ce qu’il a trouvé. Misty, le poulain, s’est blotti contre Paul tandis que Phantom monte la garde à proximité.
Paul est renvoyé chez lui pour se réchauffer et éviter tout rhume qu’il aurait pu attraper à cause de la baisse des températures. Maureen va rendre visite aux chevaux dans le corral plus tard et découvre que Misty et Phantom ont été vendus. Elle pleure. Paul et Maureen sont dévastés par la nouvelle mais ne semblent toujours pas pouvoir rester à l’écart des corrals. Un garçon et son père les arrêtent de leur voiture et demandent où ils peuvent trouver le chef des pompiers. Les enfants proposent de les conduire au chef. Ils découvrent que cette famille est la famille qui a acheté Phantom et Misty et a gagné un tirage au sort pour un autre cheval. Il s’avère qu’avec le poulain gratuit de la tombola, ils ne veulent plus de Phantom ou de Misty, alors Paul et Maureen obtiennent leurs chevaux après tout.
Environ six mois s’écoulent et à ce stade, les enfants sont au point où ils peuvent monter sur Phantom. Le lecteur apprend également que Misty, le poulain, est très sympathique, fait souvent des farces et est espiègle autour de la ferme. Le chef des pompiers rend visite pour demander s’ils veulent faire la course avec Phantom lors de la prochaine course contre Black Comet. Paul accepte l’invitation et commence à s’entraîner. Lorsque la course est presque sur eux, Maureen et Paul utilisent un triangle pour voir qui pourra monter Phantom dans la course. Paul gagne et continue à participer à la course. La course est serrée jusqu’à la fin lorsque Phantom s’ouvre et gagne sans vraiment essayer. Les insulaires applaudissent tous et avec l’argent que Paul et Maureen reçoivent, ils achètent un grille-pain électrique pour leurs grands-parents. Cependant, la victoire est douce-amère car Paul se rend compte que Phantom manque de courir avec les chevaux sauvages. Il commence à se sentir désolé de l’avoir capturée.
Le lendemain de la course, l’étalon sauvage, le joueur de flûte, vient à la ferme. Il était l’étalon avec lequel Phantom avait vécu pendant de nombreuses années avant de vivre à la ferme avec Paul et Maureen. Paul voit comment Phantom regarde Piper et prend la décision de libérer Phantom. Paul libère Phantom, mais Misty reste avec eux. Le grand-père de Paul lui dira plus tard qu’il est fier de lui et que cela signifie qu’il grandit.