L’histoire, Sisterhood of the Travelling Pants, d’Ann Brashares, s’ouvre avec Carmen, une jeune adolescente, achetant une paire de jeans dans une friperie. Le pantalon va non seulement à Carmen, mais aussi à ses meilleures amies, Lena, Bridget et Tibby, qui font du shopping avec elle. Ils remarquent tous que cela semble étrange puisqu’aucun d’entre eux n’a le même type de corps. Les jeans sont le moindre de leurs soucis en ce moment. Ils sont contrariés car ils ne pourront pas passer l’été ensemble comme ils le font depuis quinze ans.
Carmen va se rendre en Caroline du Sud pour rendre visite à son père pendant tout l’été, tandis que Lena va se rendre en Grèce avec sa sœur pour rendre visite à leurs grands-parents. Bridget va participer à un camp de football en Californie, puis au Mexique, tandis que Tibby restera dans le Maryland où elle a un emploi d’été en perspective. Après leurs achats, ils s’arrêtent pour parler de leurs projets d’été et de la manière dont ils resteront en contact. Ils vont au Gilda’s Gym, où leurs mères s’étaient rencontrées avant même la naissance des filles et organisent une cérémonie d’amitié. Ils décident de prendre les pantalons qui semblent si bien leur aller à tous, et chacun s’enverra les pantalons tout au long de l’été. De cette façon, ils peuvent rester en contact, se souvenir les uns des autres et avoir un petit coin de maison avec eux. Ils se séparent et leurs étés commencent.
Tibby, qui est restée sur place pour travailler pendant l’été chez Wallman, déteste son travail après seulement une semaine. En conséquence, elle décide de documenter l’agonie complète de l’épreuve dans un « succumentaire » à ce sujet qu’elle montrera à ses amis en technicolor dévastateur. Carmen arrive en Caroline du Sud avec des attentes pleines d’espoir, seulement pour apprendre lorsqu’elle est récupérée à l’aéroport que son père s’est fiancé et que son nouveau fiancé a deux beaux-enfants adolescents, qui vont désormais faire partie de son été. Ils s’appellent Paul et Krista et sont très anglo-saxons, tandis que Carmen est en partie portoricaine et se sent tout d’un coup très mal à l’aise. Lena ne s’en sort pas mieux car sa grand-mère essaie immédiatement de la mettre en relation avec un garçon qui habite dans le quartier, nommé Kostos. Lena ne veut rien avoir à faire avec lui et ne lui fait pas du tout confiance. Bridget découvre qu’elle a le béguin qui se développe avec son entraîneur de football, Eric.
Tibby raconte un incident survenu chez Wallman alors qu’elle y travaillait sa première semaine. Une jeune fille, dont elle découvrira plus tard qu’elle s’appelait Bailey, s’est effondrée sur le sol du magasin. Réagissant rapidement, Tibby finit par l’accompagner à l’hôpital où elle découvrit que la jeune fille souffrait de leucémie. Afin de ne plus penser à ce qui se passait dans l’ambulance et à l’hôpital, Tibby avait parlé à Bailey, qui avait douze ans, de son « succumentaire ». Tibby a accepté de laisser Bailey, quand elle irait bien, l’aider à réaliser le film. Aujourd’hui, écrit-elle, elle regrette cette offre.
Carmen déteste la Caroline du Sud et elle déteste encore plus sa nouvelle famille. En conséquence, elle est impolie et maussade. Elle en a assez d’entendre parler des projets de mariage, de l’ex-mari de Lydia et de voir son père faire des bêtises. Bridget, en Californie, essaie d’augmenter le charme d’un cran ou deux chaque fois qu’Eric, son entraîneur, est là. Elle convainc finalement certains de ses coéquipiers de l’accompagner dans un bar de la ville, et pendant qu’elle y est, elle voit Eric et peut danser avec lui. Cependant, le lendemain alors qu’elle est sur le terrain, elle se montre trop agressive avec le ballon et Eric lui crie dessus, la contrariant.
Lena passe son temps en Grèce en travaillant sur sa peinture, en passant du temps avec ses grands-parents et en faisant de longues promenades à travers la magnifique campagne. L’un de ses endroits préférés l’emmène près d’une magnifique piscine d’eau bleue, isolée de la circulation principale. Un jour, elle décide d’aller nager, nue, et pendant qu’elle est là, elle lève les yeux et voit Kostos se dresser au-dessus d’elle. Elle crie, sort, attrape ses vêtements et les enfile en toute hâte, puis rentre chez elle en courant. Lorsqu’elle entre dans la maison si échevelée, son grand-père pense que Kostos a essayé de s’imposer à elle et devient fou. Il se rend chez le grand-père de Kostos et le frappe. Après cela, personne ne parle à personne et Lena découvre que parler avec Kostos lui manque désormais.
Pendant ce temps, Tibby et Bailey commencent à travailler sur le film. Leur première personne interrogée s’appelle Brian McBrian. Tibby ne pensait pas qu’il ferait un sujet de film très intéressant, mais il était un orateur très animé et elle est agréablement surprise. Ensuite, ils rendent visite à une femme nommée Maragert, qui a travaillé pendant des décennies au théâtre local. Au début, Tibby pense qu’elle pourra utiliser l’interview de Margaret comme moyen d’inclure un élément humoristique dans le travail, mais après l’interview, elle se rend compte que la femme est en fait très seule et que Tibby se sent mal.
Carmen va essayer les robes de demoiselle d’honneur avec Lydia et Krista. Aucun d’entre eux ne lui va, mais ils vont tous très bien à Krista. Finalement, bouleversée au-delà de toute croyance, Carmen insulte Lydia et sort en trombe du magasin de vêtements. Elle s’attend à ce que son père lui donne une conférence, ou que Lydia lui crie dessus lorsque tout le monde se réunira à la maison. Mais au lieu de cela, tout le monde fait comme si de rien n’était. Cela énerve encore plus Carmen et elle sort en courant de la maison, souhaitant être chez elle dans le Maryland. Elle espère à moitié que son père viendra après elle et qu’ils auront alors de bonnes discussions comme avant. Il ne le fait pas. Quand elle rentre à la maison, elle voit qu’ils ont déjà commencé à dîner sans elle. De nouveau en colère, elle ramasse une énorme pierre et la leur lance à travers la fenêtre de la cuisine. Puis, sans un regard en arrière, elle monte dans un bus et reprend le chemin du retour vers le Maryland.
Bridget décide de passer à un nouveau niveau avec Eric et se faufile dans sa cabine. Elle se glisse dans le lit à côté de lui. Toujours groggy, Eric ne réalise pas au début ce qui se passe, mais une fois qu’il l’a compris, il lui dit de sortir. Pourtant, Bridget pense que parce qu’il ne l’a pas dénoncée, il a dû aimer l’avoir près de lui. Elle n’a pas tort et, quelques jours plus tard, elle a couché avec lui. Elle est malade pendant quelques jours après, puis le jour du match de football, elle crie après l’entraîneur-chef, puis s’en va avant la fin du match. Eric vient la chercher, pour lui parler de ce qui s’est passé entre eux, mais Bridget ne veut pas parler.
Carmen, maintenant de retour chez elle dans le Maryland, se sent coupable de ce qu’elle a fait. Elle envoie de l’argent à son père pour qu’il répare la fenêtre. Elle l’appelle et lui explique pourquoi elle était en colère et comment elle pense qu’il la remplace, elle et sa mère, par une nouvelle famille. Il l’invite quand même au mariage et elle lui dit d’abord qu’elle ne viendra pas. Cependant, la veille du mariage, elle monte dans un avion et assiste au mariage. Par la suite, ils acceptent de toujours dire ce qu’ils pensent et d’être honnêtes les uns avec les autres à l’avenir.
Lena est frustrée et cela l’empêche de se concentrer sur sa peinture. Kostos l’ignore et elle est choquée que cela la bouleverse autant. Elle décide de se promener et lorsqu’elle passe devant sa piscine « secrète », elle voit Kostos maigre en train de se baigner. C’est alors qu’elle se rend compte qu’il ne l’avait pas espionnée auparavant lorsqu’elle était là-bas, mais que c’était aussi son lieu de baignade secret. Elle rentre chez elle et peut à nouveau peindre. Plus tard, sa grand-mère lui raconte que la famille de Kostos a été tuée il y a de nombreuses années dans un accident de voiture et qu’il vit avec ses grands-parents car ils sont tout ce qu’il possède. Lena dresse un portrait de Kostos.
Tibby s’inquiète lorsque Bailey ne la rencontre pas chez Wallman pour faire une autre interview. Ce n’est pas dans son genre de ne pas se présenter, alors Tibby appelle chez elle et découvre que Bailey a dû aller à l’hôpital. Elle va à l’hôpital mais ne peut pas voir Bailey. La mère de Bailey lui dit que Bailey a contracté une infection dont elle pourrait ne pas se remettre. Tibby rentre chez elle et découvre que son cobaye, Mimi, est mort. Bouleversée et incapable de faire face à autant de vie et de mort en une journée, elle met le corps du cobaye au congélateur. Le téléphone sonne et elle voit que cela vient de la mère de Bailey. Elle ne veut tout simplement pas lui parler et l’ignore. Carmen a fini une journée et entend le message vocal de la mère de Bailey. Elle dit à Tibby qu’elle devrait aller à l’hôpital. Se sentant coupable, Tibby va découvrir que Bailey n’y arrivera pas. Deux jours plus tard, Baildy meurt. Tibby se rend aux funérailles, puis, lorsqu’elle rentre chez elle, elle sort Mimi du congélateur et l’enterre près de l’endroit où Bailey a été enterré.
La sœur de Lena, Effie, tombe sur le tableau de Kostos et exhorte Lena à dire à Kostos ce qu’elle ressent. Effie lui rappelle qu’ils sont sur le point de partir pour retourner dans le Maryland. Lena décide de donner à Kostos certains de ses tableaux et part à sa recherche. Elle lui donne les tableaux, puis lui dit ce qu’elle ressent. Il l’embrasse et ils partagent ensemble les jours restants en Grèce. Lena apprend que Bridget ne va pas bien au Mexique, alors elle réachemine son billet d’avion et se rend au Mexique pour aider Bridget à rentrer chez elle.
L’été est terminé et les filles sont toutes de retour à Bethesda, dans le Maryland, où elles se sont réunies pour organiser une fête d’anniversaire au Gilda’s Gym. Chacun d’eux accepte d’écrire dans son journal le temps qu’il a passé à porter le pantalon et ses aventures. Ils commencent chacun à partager leur été et regardent le film de Tibby.