Après avoir subi une crise cardiaque, l’agent de publicité de Broadway, Norman Paperman, fuit la vie urbaine très stressante pour ce qu’il croit être les Caraïbes calmes et apaisantes. Avec son ami magnat millionnaire Lester Atlas, Paperman se rend sur l’île fictive d’Amerigo pour enquêter sur un hôtel de villégiature à vendre. Atlas, à sa manière de mâcher des cigares et de rire, montre son amitié en proposant d’aider Paperman à acquérir une propriété aux Antilles qui offrira une vie agréable et paisible à l’attaché de presse harcelé et à sa femme, Henny. Bruyant et vantard, Atlas est particulièrement fier d’être mentionné dans un récent magazine Time, bien que le portrait soit celui d’un homme d’affaires manipulateur et acharné qui provoque des querelles et des scandales dans les entreprises. Lester Atlas a également la vision d’investir lui-même dans l’immobilier des Caraïbes, dans l’espoir de profiter de ce qu’il considère comme une tendance, et souhaite que les Paperman recherchent des propriétés potentielles pour lui.
Ce qui se passe ensuite est une comédie de terreurs, car pratiquement tout ce que Paperman touche se transforme en ennuis. Lors de son premier jour au Gull Reef Club, Paperman a failli se noyer en faisant de la plongée sous-marine mais est tiré à terre par un homme-grenouille de la Marine nommé Bob Cohn. Lors d’une fête plus tard dans la nuit au club, Paperman rencontre Iris Tramm, une ancienne actrice de cinéma et résidente du club. Il y a une attirance instantanée entre eux, même si la belle veuve est insaisissable. La femme de Paperman est toujours à New York, bien que le lecteur apprenne que l’attaché de presse a eu une deuxième carrière vigoureuse en tant qu’admirateur et parfois séducteur de showgirls avant sa crise cardiaque. Paperman rencontre le gouverneur Amerigo Sanders et sa femme à la fête, puis accompagne plus tard Iris dans sa cabine et se rend compte qu’elle est l’ancienne actrice de cinéma, Janet West. Quelques jours seulement après la négociation de l’achat, Paperman apprend que les invités menacent de partir en raison de problèmes électriques au Gull Reef Club et qu’une pénurie d’eau est sur le point de fermer tout le système de plomberie.
Une condition pour que Lester Atlas organise le financement de l’achat du complexe est que Paperman rénove l’établissement et ajoute plus de chambres afin que l’augmentation des revenus lui permette de rembourser le prêt et de lui offrir, ainsi qu’à sa femme, un revenu de retraite confortable. Alors qu’il entreprend de réparer le club, des scènes tragi-comiques s’ensuivent lorsque le New-Yorkais transplanté se rend compte progressivement que les commerçants compétents sont plus rares que les flocons de neige sur l’île et que pratiquement tous les deux jours sont des vacances. Juste au moment où son projet de rénovation commence, son directeur de droite s’offusque de quelque chose que Paperman a fait ou n’a pas fait et démissionne. Alors qu’il essaie désespérément de trouver un remplaçant, les réserves d’eau s’épuisent et Paperman doit acheter plusieurs camions d’eau à une barge pour remplir la citerne. Il y a le plus bref des répits pendant que la station revient à la « normale » et que Paperman (connu de ses employés natifs sous le nom de « Mistuh Papuh ») peut démêler ses nerfs surmenés.
Lors d’une autre fête au Gull Reef Club pour ses invités, Paperman se détend et sirote des boissons avec des amis alors qu’ils regardent les nuages d’orage se rassembler dans le ciel qui s’assombrit. Paperman est ravi à l’idée que les pluies pourraient faire pour ses réserves d’eau ce que les camions d’eau ne pourraient pas faire : remplir le réservoir gratuitement. Jubilants, ils regardent la tempête se condenser sur la ville à plusieurs kilomètres de là, tonner et se mettre à pleuvoir partout sauf au Gull Reef Club. Paperman engage un jeune homme barbu d’âge universitaire nommé Church Wagner comme barman. C’est un excellent barman et très responsable envers son travail et le club. Cependant, un jour, il y a une scène où Church est surprise en train de coucher avec l’une des femmes de ménage dans une chambre d’amis vide. Ensuite, plusieurs des femmes de ménage ont contracté la gonorrhée et ont démissionné, laissant Paperman nettoyer les chambres et gérer le complexe. Son amie, Iris Tramm, lui propose de l’aider : elle travaille gratuitement au bureau car elle s’ennuie et veut faire quelque chose.
Avec la citerne partiellement remplie d’approvisionnement en eau de quelques jours, un violent tremblement de terre traverse les îles et brise la citerne envoyant de l’eau potable coûteuse jaillir dans un ruisseau. Désespéré, Paperman plaisante en disant que l’eau au Gull Reef Club est plus chère que le vin. Pendant ce temps, il doit faire quelque chose à propos d’un gigantesque trou dans le club-house laissé par les travailleurs locaux avant qu’ils ne quittent le travail. Des employés fidèles lui proposent de contacter Hippolyte, qui connaît le Gull Reef Club comme sa poche et qui est un super travailleur sauf qu’il est « fonny ». Après une recherche exhaustive, il retrouve Hippolyte et l’engage pour réparer la citerne, la pompe à eau électrique, le trou du club-house… Figure énigmatique qui porte toujours une machette, le Français Hippolyte Lamartine et son équipage se mettent au travail et font ronronner tout en peu de temps. Paperman apprend que les indigènes appellent Hippolyte « fonny » parce qu’il a été envoyé dans un établissement psychiatrique sur l’une des autres îles pour avoir coupé la tête d’un policier avec sa machette. On ne sait pas si Hippolyte a été libéré ou s’est échappé de cet établissement.
À la fin alcoolique d’une autre journée folle, Paperman escorte Iris jusqu’à son bungalow et ils font enfin l’amour. Paperman est étourdi de joie jusqu’à ce qu’il apprenne bientôt qu’Iris est la maîtresse de longue date du gouverneur, et son humeur s’assombrit à nouveau. Lester Atlas et Henny Paperman arrivent de New York pratiquement en même temps. Alors que Norman Paperman essaie de régler ses problèmes domestiques et commerciaux, il laisse Atlas (« Mistuh Ot-loss ») temporairement responsable du club et découvre plus tard, à sa grande horreur, qu’Atlas a viré Hippolyte parce qu’il lui trouve un présence troublante. Paperman passe le mot parmi son personnel pour l’alerter s’ils voient un signe d’Hippolyte errant sur le terrain avec sa machette.
Au sortir d’une grosse bêtise, Iris Tramm saute dans sa voiture et fonce en ville à la recherche de son chien qui a disparu. Elle claque sa voiture contre deux véhicules arrêtés au milieu de la route et, alors que les indigènes socialisent dans la rue, est transportée d’urgence à l’hôpital et meurt. Henny et Norman Paperman réalisent enfin que les Caraïbes ne sont probablement pas l’endroit pour deux New-Yorkais expatriés. Ils s’arrangent pour vendre le Gull Reef Club. Lorsque l’accord est conclu et qu’ils sont prêts à retourner à New York, Paperman avoue à sa femme qui souffre depuis longtemps qu’il a eu une liaison avec Iris, ce qu’elle soupçonnait déjà. La tolérance, sinon l’amour et le pardon, leur permettent d’affronter la perspective de reprendre leur vie ensemble à New York.