L’histoire, Sisterhood of the Travelling Pants, d’Ann Brashares, s’ouvre sur Carmen, une jeune adolescente, qui achète une paire de jeans dans une friperie. Le pantalon convient non seulement à Carmen, mais aussi à ses meilleures amies, Lena, Bridget et Tibby, qui font du shopping avec elle. Ils remarquent tous que cela semble étrange car aucun d’entre eux n’a le même type de corps. Le jean est le cadet de leurs soucis en ce moment. Ils sont contrariés parce qu’ils ne pourront pas passer l’été ensemble comme ils le font depuis quinze ans.
Carmen va se rendre en Caroline du Sud pour rendre visite à son père pendant tout l’été, tandis que Lena va se rendre en Grèce avec sa sœur pour rendre visite à leurs grands-parents. Bridget va aller dans un camp de football en Californie, puis au Mexique, tandis que Tibby restera dans le Maryland où elle a un job d’été en vue. Après leurs achats, ils s’arrêtent pour parler de leurs projets d’été et de la façon dont ils resteront en contact. Ils vont au Gilda’s Gym, où leurs mères se sont rencontrées avant même la naissance de l’une des filles et ont une cérémonie d’amitié. Ils décident de prendre le pantalon qui leur va si bien à tous, et chacun s’enverra le pantalon tout au long de l’été. De cette façon, ils peuvent rester en contact, se souvenir les uns des autres et avoir un petit bout de chez eux avec eux. Ils se séparent et leurs étés commencent.
Tibby, qui est restée pour travailler à un emploi d’été chez Wallman, déteste son travail après seulement une semaine. En conséquence, elle décide qu’elle documentera l’agonie complète de l’épreuve dans un «succumentaire» à ce sujet qu’elle montrera à ses amis en technicolor dévastateur. Carmen arrive en Caroline du Sud avec des attentes pleines d’espoir, seulement pour apprendre lorsqu’elle est prise en charge à l’aéroport que son père s’est fiancé et que son nouveau fiancé a deux beaux-enfants adolescents, qui vont maintenant faire partie de son été. Leurs noms sont Paul et Krista, et sont très anglo-saxons, alors que Carmen est en partie portoricaine et se sent tout d’un coup très déplacée. Lena ne s’en sort pas mieux car sa grand-mère essaie immédiatement de l’installer avec un garçon qui vit dans le quartier, nommé Kostos. Lena ne veut rien avoir à faire avec lui et ne lui fait pas du tout confiance. Bridget découvre qu’elle a le béguin pour son entraîneur de football, Eric.
Tibby raconte un incident qui s’est produit chez Wallman alors qu’elle y travaillait sa première semaine. Une jeune fille, dont elle découvrira plus tard qu’elle s’appelait Bailey, s’est effondrée sur le sol du magasin. Réagissant rapidement, Tibby a fini par l’accompagner à l’hôpital où elle a découvert que la jeune fille était atteinte de leucémie. Afin de ne pas penser à ce qui se passait dans l’ambulance et à l’hôpital, Tibby avait parlé à Bailey, qui avait douze ans, de son « succumentaire ». Tibby a accepté de laisser Bailey, quand elle allait bien, l’aider à faire le film. Maintenant, écrit-elle, elle regrette cette offre.
Carmen déteste la Caroline du Sud, et elle déteste encore plus sa nouvelle famille. En conséquence, elle est grossière et maussade. Elle est fatiguée d’entendre parler des projets de mariage, de l’ex-mari de Lydia et de voir son père agir maladroitement. Bridget, en Californie, essaie de monter le charme d’un cran ou deux chaque fois qu’Eric, son entraîneur, est dans les parages. Elle convainc finalement certains de ses coéquipiers de l’accompagner dans un bar de la ville, et pendant qu’elle y est, elle voit Eric et peut danser avec lui. Cependant, le lendemain, lorsqu’elle est sur le terrain, elle est trop agressive avec le ballon et Eric lui crie dessus, la bouleversant.
Lena passe le temps en Grèce en travaillant sur sa peinture, en passant du temps avec ses grands-parents et en faisant de longues promenades à travers la belle campagne. L’un de ses endroits préférés l’emmène près d’une belle piscine d’eau bleue, isolée de la circulation principale. Un jour, elle décide d’aller se baigner, nue, et pendant qu’elle est là, elle lève les yeux pour voir Kostos se profiler au-dessus d’elle. Elle crie, sort, attrape ses vêtements et les enfile à la hâte, puis rentre chez elle en courant. Lorsqu’elle entre dans la maison si échevelée, son grand-père pense que Kostos a essayé de s’imposer à elle et devient balistique. Il se rend chez le grand-père de Kostos et le frappe. Personne ne parle à personne après cela, et Lena constate que parler avec Kostos lui manque maintenant.
Pendant ce temps, Tibby et Bailey commencent à travailler sur le film. Leur premier interviewé s’appelle Brian McBrian. Tibby ne pensait pas qu’il ferait un sujet de film très intéressant, mais c’était un orateur très animé et elle est agréablement surprise. Ensuite, ils vont rendre visite à une femme nommée Maragert, qui a travaillé pendant des décennies au théâtre local. Au début, Tibby pense qu’elle pourra utiliser l’interview de Margaret comme un moyen d’inclure un élément humoristique dans le travail, mais après l’interview, elle se rend compte que la femme est en fait très seule, et cela fait que Tibby se sent mal.
Carmen va essayer des robes de demoiselle d’honneur avec Lydia et Krista. Aucun d’entre eux ne lui va, mais tous ont fière allure sur Krista. Enfin, bouleversée au-delà de toute croyance, Carmen insulte Lydia et sort en trombe de la boutique de vêtements. Elle s’attend à ce que son père lui donne une conférence, ou que Lydia lui crie au moins dessus quand tout le monde se rassemblera à la maison. Mais, au lieu de cela, tout le monde agit comme si de rien n’était. Cela excite encore plus Carmen et elle sort de la maison en courant, souhaitant être chez elle dans le Maryland. Elle espère à moitié que son père viendra après elle et ensuite ils auront leurs bonnes discussions comme avant. Il ne le fait pas. Quand elle rentre à la maison, elle voit qu’ils ont déjà commencé à souper sans elle. De nouveau en colère, elle ramasse un énorme rocher et le lance à travers la fenêtre de la cuisine. Puis, sans un regard en arrière, elle monte dans un bus et reprend le chemin du retour vers le Maryland.
Bridget décide de passer à un autre niveau avec Eric et se faufile dans sa cabine. Elle se glisse dans le lit à côté de lui. Toujours groggy, Eric ne se rend pas compte au début de ce qui se passe, mais une fois qu’il le fait, il lui dit de sortir. Pourtant, Bridget pense que parce qu’il ne l’a pas dénoncée, il a dû aimer l’avoir près de lui. Elle n’a pas tort, et en quelques jours elle a couché avec lui. Elle est malade pendant quelques jours après, puis le jour du match de football, elle crie après l’entraîneur-chef, puis s’en va avant la fin du match. Eric vient la chercher, lui parler de ce qui s’est passé entre eux, mais Bridget ne veut pas parler.
Carmen, maintenant de retour chez elle dans le Maryland, se sent coupable de ce qu’elle a fait. Elle envoie de l’argent à son père pour qu’il répare la fenêtre. Elle l’appelle et lui dit pourquoi elle était en colère et comment elle sent qu’il la remplace, elle et sa mère, par une nouvelle famille. Il l’invite quand même au mariage, et d’abord elle lui dit qu’elle ne viendra pas. Cependant, la veille du mariage, elle prend l’avion et assiste au mariage. Ensuite, ils acceptent de toujours dire ce qu’ils pensent et d’être honnêtes les uns avec les autres à l’avenir.
Lena est frustrée et cela l’empêche de se concentrer sur sa peinture. Kostos l’a ignorée et elle est choquée que cela la bouleverse autant. Elle décide de se promener et lorsqu’elle passe devant sa piscine « secrète », elle voit Kostos se baigner. C’est alors qu’elle se rend compte qu’il ne l’avait pas espionnée auparavant quand elle était là-bas, mais que cela avait aussi été son lieu de baignade secret. Elle rentre chez elle et peut à nouveau peindre. Plus tard, sa grand-mère lui dit que la famille de Kostos a été tuée il y a de nombreuses années dans un accident de voiture et qu’il vit avec ses grands-parents car ils sont tout ce qu’il a. Lena brosse un tableau de Kostos.
Tibby s’inquiète quand Bailey ne la rencontre pas chez Wallman pour faire une autre interview. Cela ne lui ressemble pas de ne pas se présenter, alors Tibby appelle chez elle et découvre que Bailey a dû se rendre à l’hôpital. Elle va à l’hôpital mais ne peut pas voir Bailey. La mère de Bailey lui dit que Bailey a contracté une infection dont elle pourrait ne pas se remettre. Tibby rentre chez elle et découvre que son cobaye, Mimi, est mort. Bouleversée, et incapable de faire face à tant de vies et de morts en une journée, elle met le corps du cobaye au congélateur. Le téléphone sonne et elle peut voir que c’est de la mère de Bailey. Elle ne veut tout simplement pas lui parler et l’ignore. Carmen est de retour un jour et surprend le message vocal de la mère de Bailey. Elle dit à Tibby qu’elle devrait aller à l’hôpital. Se sentant coupable, Tibby part et découvre que Bailey ne s’en sortira pas. Deux jours plus tard, Baildy meurt. Tibby se rend à l’enterrement, puis, lorsqu’elle rentre chez elle, elle sort Mimi du congélateur et l’enterre près de l’endroit où Bailey a été enterré.
La sœur de Lena, Effie, tombe sur le tableau de Kostos et exhorte Lena à dire à Kostos ce qu’elle ressent. Effie lui rappelle qu’ils sont sur le point de partir pour retourner dans le Maryland. Lena décide de donner à Kostos quelques-unes de ses peintures et va le trouver. Elle lui donne les peintures, puis lui dit ce qu’elle ressent. Il l’embrasse et ils partagent ensemble les jours restants en Grèce. Lena apprend que Bridget ne va pas bien au Mexique, alors elle réachemine son billet d’avion et se rend au Mexique pour aider Bridget à faire ses valises pour rentrer chez elle.
L’été est terminé et les filles sont toutes de retour à Bethesda, dans le Maryland, où elles se sont réunies pour organiser une fête d’anniversaire au Gilda’s Gym. Chacun d’eux accepte d’écrire des entrées de journal de leur temps portant le pantalon et de leurs aventures. Ils commencent chacun à partager leur été et ils regardent le film de Tibby.