Enfouie sous les nouvelles de Google I/O cette semaine se cache l’une des plus grosses erreurs jamais commises par Google Cloud : le concurrent d’Amazon Web Services de Google a accidentellement supprimé un compte client géant sans raison. UniSuper, un fonds de pension australien qui gère 135 milliards de dollars de fonds et compte 647 000 membres, a vu l’intégralité de son compte Google Cloud effacé, y compris toutes ses sauvegardes stockées sur le service. Heureusement, UniSuper disposait de sauvegardes auprès d’un autre fournisseur et a pu récupérer ses données, mais selon le journal des incidents d’UniSuper, le temps d’arrêt a commencé le 2 mai et une restauration complète des services n’a eu lieu que le 15 mai.
Le site Web d’UniSuper regorge désormais de carburant de cauchemar d’administrateur incontournable sur la façon dont tout cela s’est produit. La première est une page sauvage publiée le 8 mai intitulée « Une déclaration commune du PDG d’UniSuper, Peter Chun, et du PDG de Google Cloud, Thomas Kurian ». Cette déclaration se lit comme suit : « Le PDG de Google Cloud, Thomas Kurian, a confirmé que la perturbation résultait d’une séquence d’événements sans précédent au cours de laquelle une mauvaise configuration par inadvertance lors de la fourniture des services de cloud privé d’UniSuper a finalement entraîné la suppression de l’abonnement au cloud privé d’UniSuper. Il s’agit d’un cas isolé, Il s’agit d’un « événement unique en son genre » qui ne s’est jamais produit chez aucun client de Google Cloud dans le monde. Cela n’aurait pas dû se produire. Google Cloud a identifié les événements qui ont conduit à cette perturbation et a pris des mesures pour garantir que cela ne se reproduise plus. « .
Dans la section suivante, intitulée « Pourquoi la panne a-t-elle duré si longtemps ? » la déclaration commune indique : « UniSuper avait une duplication dans deux zones géographiques pour se protéger contre les pannes et les pertes. Cependant, lorsque la suppression de l’abonnement au cloud privé d’UniSuper s’est produite, cela a entraîné une suppression dans ces deux zones géographiques. » Chaque service cloud conserve des sauvegardes complètes, qui, selon vous, sont destinées aux pires scénarios. Imaginez qu’un pirate informatique prenne le contrôle de votre serveur ou que le bâtiment dans lequel se trouvent vos données s’effondre, ou quelque chose comme ça. Mais non, le réel Dans le pire des cas, « Google supprime votre compte », ce qui signifie que toutes ces sauvegardes ont également disparu. Google Cloud est censé avoir des garanties qui ne permettent pas la suppression de compte, mais aucune d’entre elles n’a fonctionné apparemment, et la seule option était une restauration à partir d’un fournisseur de cloud distinct (merci au héros d’UniSuper qui a choisi une solution multi-cloud).
UniSuper est un « fonds de retraite » australien – l’équivalent américain serait un 401(k). Il s’agit d’un fonds de retraite auquel les employeurs cotisent dans le cadre du salaire des employés ; en Australie, la loi exige un certain montant de paiement du superfund pour tous les salariés. La gestion de 135 milliards de dollars de fonds fait d’UniSuper une entreprise suffisamment grande pour que, si quelque chose ne va pas, elle appelle le PDG de Google Cloud au téléphone au lieu du service client.
Un communiqué de presse de juin 2023 vantait la grande migration cloud d’UniSuper vers Google, avec Sam Cooper, responsable de l’architecture d’UniSuper, déclarant : « Avec Google Cloud VMware Engine, la migration vers le cloud est rationalisée et extrêmement simple. Il s’agit avant tout d’efficacité qui nous aide à offrir des cotisations très compétitives à nos membres.
Les nombreuses parties prenantes du service signifiaient que la restauration du service ne consistait pas seulement à restaurer les sauvegardes, mais également à traiter toutes les demandes et tous les paiements qui devaient encore être effectués pendant les deux semaines d’indisponibilité.