De nombreux problèmes peuvent survenir avec GenAI, en particulier avec GenAI tiers. Ça invente des trucs. C’est biaisé et toxique. Et cela peut enfreindre les règles du droit d’auteur. Selon une enquête récente du MIT Sloan Management Review et du Boston Consulting Group, les outils d’IA tiers sont responsables de plus de 55 % des pannes liées à l’IA dans les organisations.
Il n’est donc pas surprenant que certaines entreprises hésitent encore à adopter cette technologie.
Mais et si GenAI était accompagné d’une garantie ?
C’est l’idée d’entreprise que Karthik Ramakrishnan, entrepreneur et ingénieur électricien, a eue il y a plusieurs années alors qu’il travaillait chez Deloitte en tant que cadre supérieur. Il avait cofondé deux sociétés « axées sur l’IA », Gallop Labs et Blu Trumpet, et avait finalement réalisé que la confiance – et la capacité de quantifier les risques – freinaient l’adoption de l’IA.
« À l’heure actuelle, presque toutes les entreprises recherchent des moyens de mettre en œuvre l’IA pour accroître leur efficacité et suivre le marché », a déclaré Ramakrishnan à TechCrunch dans une interview par courrier électronique. « Pour ce faire, nombreux sont ceux qui se tournent vers des fournisseurs tiers et mettent en œuvre leurs modèles d’IA sans une compréhension complète de la qualité des produits… L’IA progresse à un rythme si rapide que les risques et les préjudices évoluent constamment. »
Ramakrishnan s’est donc associé à Dan Adamson, expert en algorithmes de recherche et double fondateur de startup, pour lancer Armilla AI, qui fournit des garanties sur les modèles d’IA aux entreprises clientes.
Comment, vous vous demandez peut-être, Armilla peut-elle y parvenir étant donné que la plupart des modèles sont des boîtes noires ou sont protégés par des licences, des abonnements et des API ? J’avais la même question. Grâce à une analyse comparative, telle a été la réponse de Ramakrishnan – et une approche prudente de l’acquisition de clients.
Armilla prend un modèle – qu’il soit open source ou propriétaire – et mène des évaluations pour « vérifier sa qualité », en s’appuyant sur le paysage réglementaire mondial de l’IA. L’entreprise teste des éléments tels que les hallucinations, les préjugés raciaux et sexistes, l’équité, la robustesse générale et la sécurité à travers un éventail d’applications théoriques et de cas d’utilisation, en tirant parti de sa technologie d’évaluation interne.
Crédits images : Armille
Si le modèle réussit, Armilla le soutient avec sa garantie, qui rembourse à l’acheteur du modèle tous les frais payés pour utiliser le modèle.
« Ce que nous offrons réellement aux entreprises, c’est la confiance dans la technologie qu’elles achètent auprès de fournisseurs tiers d’IA », a déclaré Ramakrishnan. « Les entreprises peuvent s’adresser à nous et nous demander d’évaluer les fournisseurs qu’elles souhaitent utiliser. Tout comme les tests d’intrusion qu’ils effectueraient pour les nouvelles technologies, nous effectuons des tests d’intrusion pour l’IA.
Au fait, j’ai demandé à Ramakrishnan s’il existait des modèles d’Armilla ne le ferais-je pas test pour des raisons éthiques – par exemple un algorithme de reconnaissance faciale d’un fournisseur connu pour faire affaire avec des acteurs douteux. Il a dit:
« Ce serait non seulement contraire à notre éthique, mais aussi à notre modèle économique, fondé sur la confiance, de produire des évaluations et des rapports qui donnent une fausse confiance dans des modèles d’IA problématiques pour un client et la société. D’un point de vue juridique, nous n’allons pas prendre en charge des clients pour des modèles interdits par l’UE, qui ont été interdits, comme c’est le cas de certains systèmes de reconnaissance faciale et de catégorisation biométrique par exemple, mais pour des applications qui rentrent dans le catégorie « risque plus élevé » telle que définie par la loi européenne sur l’IA, oui.
Désormais, le concept de garanties et de couverture politique pour l’IA n’est pas nouveau – un fait qui a franchement surpris cet auteur. L’année dernière, Munich Re a lancé un produit d’assurance, aiSure, conçu pour se protéger contre les pertes dues à des modèles d’IA potentiellement peu fiables en soumettant les modèles à des tests similaires à ceux d’Armilla. En dehors des garanties, un nombre croissant de fournisseurs, notamment OpenAI, Microsoft et AWS, offrent des protections relatives aux violations des droits d’auteur pouvant découler du déploiement de leurs outils d’IA.
Mais Ramakrishnan affirme que l’approche d’Armilla est unique.
« Notre évaluation touche un large éventail de domaines, notamment les KPI, les processus, les performances, la qualité des données et les critères qualitatifs et quantitatifs, et nous le faisons à une fraction du coût et du temps », a-t-il ajouté. «Nous évaluons les modèles d’IA en fonction des exigences énoncées dans la législation telle que la loi européenne sur l’IA ou la loi sur les biais d’embauche en matière d’IA à New York – NYC Local Law 144 – et d’autres réglementations de l’État, telles que la réglementation proposée par le Colorado sur les tests quantitatifs de l’IA ou la circulaire d’assurance de New York sur l’utilisation de l’IA dans la souscription ou la tarification. Nous sommes également prêts à mener les évaluations requises par d’autres réglementations émergentes à mesure qu’elles entrent en vigueur, comme la Loi canadienne sur l’IA et les données.
Armilla, qui a lancé une couverture fin 2023, soutenue par les transporteurs Swiss Re, Greenlight Re et Chaucer, affirme avoir une dizaine de clients, dont une entreprise de soins de santé appliquant GenAI pour traiter les dossiers médicaux. Ramakrishnan me dit que la clientèle d’Armilla a augmenté de 2 fois d’un mois à l’autre depuis le quatrième trimestre 2023.
« Nous servons deux publics principaux : les entreprises et les fournisseurs tiers d’IA », a déclaré Ramakrishnan. « Les entreprises utilisent notre garantie pour établir une protection pour les fournisseurs d’IA tiers qu’elles achètent. Les fournisseurs tiers utilisent notre garantie comme un sceau d’approbation attestant que leur produit est digne de confiance, ce qui contribue à raccourcir leurs cycles de vente.
Les garanties pour l’IA ont un sens intuitif. Mais une partie de moi se demande si Armilla sera capable de suivre l’évolution rapide de la politique de l’IA (par exemple, la loi sur les biais liés aux algorithmes d’embauche de la ville de New York, la loi européenne sur l’IA, etc.), ce qui pourrait l’obliger à payer des paiements importants si son les évaluations – et les contrats – ne sont pas à l’épreuve des balles.
Ramakrishnan écarta cette préoccupation.
« La réglementation se développe rapidement dans de nombreuses juridictions de manière indépendante », a-t-il déclaré, « et il sera essentiel de comprendre les nuances des législations à travers le monde. Il n’existe pas de norme universelle que nous puissions appliquer en tant que norme universelle. Nous devons donc tout regrouper. C’est un défi, mais cela présente l’avantage de créer un « fossé » pour nous.
Armilla — basée à Toronto et comptant 13 employés — a récemment levé 4,5 millions de dollars lors d’un tour de table mené par Mistral (à ne pas confondre avec la startup d’IA du même nom) avec la participation de Greycroft, Differential Venture Capital, Mozilla Ventures, Betaworks Ventures, MS&AD Ventures, 630 Ventures, Morgan Creek Digital, Y Combinator, Greenlight Re et Chaucer. Ramakrishnan, portant le total levé à 7 millions de dollars, a déclaré que les bénéfices seraient consacrés à l’expansion de l’offre de garantie existante d’Armilla ainsi qu’au lancement de nouveaux produits.
« L’assurance jouera le rôle le plus important dans la gestion des risques liés à l’IA, et Armilla est à l’avant-garde du développement de produits d’assurance qui permettront aux entreprises de déployer des solutions d’IA en toute sécurité », a déclaré Ramakrishnan.