Au large des côtes de Virginie, dans les années 1300, un galion espagnol fait naufrage sur une île appelée Assategue Island. Le navire transporte des chevaux en provenance du Pérou pour les vendre sur le marché du Nouveau Monde. Les chevaux survivent au naufrage et prospèrent sur l’île et traversent des décennies pour devenir des chevaux sauvages au pelage hirsute. Les humains finissent par s’installer sur l’île sœur de l’autre côté de la Manche.
Au milieu des années 1900, Paul et Maureen, qui sont frère et sœur, aperçoivent le légendaire Phantom, un cheval qui a échappé aux poneys plusieurs années de suite. Paul jure de la rattraper l’année prochaine puisqu’il est assez vieux pour assister à la rafle. Ils décident tous les deux d’économiser de l’argent pour l’acheter pour eux-mêmes afin de ne pas avoir à la vendre. Les mois suivants, ils font des petits boulots et travaillent pour leurs grands-parents pour gagner de l’argent. Ils vivent avec leurs grands-parents car leurs parents sont missionnaires en Chine.
Lors de la rafle de l’année suivante, Paul part à cheval avec eux et les aide à attraper les poneys sauvages pour les vendre au marché. Avant que cela n’arrive, on lui dit qu’il devra aider à construire les corrals pour abriter les chevaux. Le jour de la rafle, et sur l’île, Paul se retrouve sous la responsabilité de Wyle Maddox, le chef de la rafle. Les hommes présents à la rafle se moquent de Paul et le contrarient lorsqu’il est expulsé pour un cheval retardataire. Il pense qu’ils veulent simplement se débarrasser de lui. Heureusement, le cheval retardataire finit par être Phantom avec son poulain. Il nomme le poulain « Misty » car il pense à tort qu’elle est brumeuse lorsqu’il la voit pour la première fois.
Phantom court droit vers les autres à Tom’s Point où tous les hommes sont incrédules qu’un jeune ait amené le cheval qui leur a échappé tant de fois dans le passé. Sur le chemin du retour vers le continent, le poulain a failli se noyer tant il est jeune. Il est courant de faire revenir les chevaux à la nage jusqu’à l’île principale. Paul intervient pour sauver le poulain et nage le reste du chemin avec le poulain pour le garder en vie. A terre, Phantom vient protéger son poulain de la bousculade des autres chevaux qui courent sur la plage. On dit à Paul de rentrer chez lui, de se sécher et de se reposer pour le lendemain. Maureen, sa sœur, promet de surveiller les chevaux pour s’assurer que Misty et Phantom vont bien.
En chemin, Phantom fait une pause mais n’ira pas loin car son bébé ne peut pas la suivre. Maureen comprend qu’elle et Paul pourraient éventuellement acheter les deux chevaux s’ils versaient un acompte et payaient le reste au cours de l’année. Maureen rentre chez elle pour le dire à Paul. Quand Maureen arrive, Paul dort et quand il se réveille, il est excité par la nouvelle. Leur grand-père dit qu’il y aura une tempête plus tard dans la journée, car son pied lui fait très mal. Pourtant, il les laisse aller aux courses pour assister et trouver le chef des pompiers pour acheter les chevaux.
Pendant qu’ils participent aux courses, le triple vainqueur, Black Comet, gagne juste avant que l’énorme tempête ne frappe. Paul court pour s’assurer que les chevaux Phantom et Misty sont en sécurité. Paul ne les trouve nulle part jusqu’à ce qu’il retourne dans le camion de son grand-père. Derrière le camion se trouve une remorque où Paul, à sa grande surprise, retrouve les chevaux. Son grand-père les avait mis là-dedans juste avant la course apparemment. Paul s’endort dans le camion alors que la tempête fait rage et que la température baisse. Le lendemain matin, il est réveillé par son grand-père qui est étonné de ce qu’il a trouvé. Misty, le poulain, s’est blottie contre Paul tandis que Phantom monte la garde à proximité.
Paul est renvoyé chez lui pour se réchauffer et éviter tout rhume qu’il aurait pu attraper à cause de la baisse des températures. Maureen va rendre visite aux chevaux dans le corral plus tard et découvre que Misty et Phantom ont été vendus. Elle pleure. Paul et Maureen sont dévastés par la nouvelle mais ne semblent toujours pas pouvoir rester à l’écart des corrals. Un garçon et son père les arrêtent de leur voiture et leur demandent où ils peuvent trouver le chef des pompiers. Les enfants proposent de les emmener chez le chef. Ils découvrent que cette famille est celle qui a acheté Phantom et Misty et a gagné un tirage au sort pour un autre cheval. Il s’avère qu’avec le poulain gratuit de la tombola, ils ne veulent plus de Phantom ou Misty, alors Paul et Maureen récupèrent leurs chevaux après tout.
Environ six mois s’écoulent et à ce stade, les enfants sont au point où ils peuvent monter Phantom. Le lecteur apprend également que Misty, le poulain, est très sympathique, faisant souvent des farces et étant espiègle dans la ferme. Le chef des pompiers leur rend visite pour leur demander s’ils souhaitent affronter Phantom lors de la prochaine course contre Black Comet. Paul accepte l’invitation et commence à s’entraîner. Lorsque la course approche, Maureen et Paul utilisent un wishbone pour voir qui pourra monter Phantom dans la course. Paul gagne et continue à participer à la course. La course est serrée jusqu’au bout où Phantom s’ouvre et s’impose sans vraiment chercher. Les insulaires applaudissent tous et avec l’argent que Paul et Maureen reçoivent, ils achètent un grille-pain électrique pour leurs grands-parents. Cependant, la victoire est douce-amère car Paul se rend compte que Phantom manque de courir avec les chevaux sauvages. Il commence à se sentir désolé de l’avoir capturée.
Le lendemain de la course, l’étalon sauvage, le Joueur de Flûte, arrive à la ferme. C’était l’étalon avec lequel Phantom avait vécu pendant de nombreuses années avant de vivre à la ferme avec Paul et Maureen. Paul voit comment Phantom regarde Piper et prend la décision de libérer Phantom. Paul libère Phantom, mais Misty reste avec eux. Le grand-père de Paul lui dit plus tard qu’il est fier de lui et que cela signifie qu’il grandit.