Vous connaissez le sentiment; vous êtes sur une application de rencontre, et vous démarrez une conversation avec quelqu’un, et les choses ne semblent pas s’additionner complètement. Vous avez vu The Tinder Swindler sur Netflix, et vous vous demandez soudain : Est-ce que quelqu’un est sur le point de me demander de l’argent ? L’équipe du site de rencontres vidéo Filter Off a décidé d’adopter une nouvelle approche : chaque escroc détecté a été ajouté à un pool parallèle d’espoirs de rencontres qui ne contenaient que leurs propres chatbots se faisant passer pour d’adorables célibataires, et d’autres escrocs. Comme on pouvait s’y attendre, l’hilarité s’est ensuivie.
En tant que plate-forme, Filter Off est une application de rencontres vidéo d’abord, lancée au début des verrouillages COVID-19. Alors que les rencontres sont passées des bars, des galeries et des pique-niques à davantage de chat et de vidéo, la société a décollé, proposant des événements de speed-dating virtuels autour de divers sujets; Soirée rendez-vous Harry Potter, soirée rendez-vous amoureux des chiens, soirée rendez-vous à New York – vous l’appelez. La plate-forme compte des centaines de milliers d’utilisateurs et, au fur et à mesure que sa popularité augmentait auprès des humains à la recherche d’amour, les fondateurs ont découvert qu’elle attirait également un deuxième groupe de personnes – des humains à la recherche d’argent.
« La première fois que j’ai remarqué qu’il y avait un problème, c’est quand j’ai vu que George Clooney avait rejoint Filter Off. J’étais comme, ‘Putain de merde, comme, c’est sauvage, je ne peux pas croire…’ mais ensuite j’ai regardé de plus près son profil », rit Brian Weinreich, chef de produit chez Filter Off, dans une interview avec TechCrunch. Il s’est rendu compte que Clooney ne serait probablement pas sur un site de rencontre, et même s’il l’était, il ne serait pas un homme de 34 ans de Lagos, au Nigeria. « J’ai supprimé leur profil pour les faire sortir de l’application. Puis j’ai commencé à remarquer tous ces profils qui ressemblaient à de vraies personnes, mais c’étaient tous ces profils différents qui ne correspondaient pas.
L’équipe produit a décidé d’essayer de résoudre le problème avec des algorithmes et a créé un logiciel qui classerait les utilisateurs en humains, et « sur la base de certaines caractéristiques que je commence à remarquer, sur la façon dont les gens s’inscrivent, comment ils utilisent l’application ” il est fort probable qu’il s’agisse d’un escroc. L’équipe a continué à supprimer les profils, mais pour chaque escroc coupé, cinq autres apparaissaient à leur place, à la manière de Medusa.
« J’étais comme, d’accord, nous avons besoin d’un moyen de nous débarrasser des escrocs, mais cela doit être de manière à ce qu’ils ne puissent pas simplement revenir et rejoindre la plate-forme », a déclaré Weinreich. « Je me suis souvenu que Reddit et d’autres plates-formes ont une forme de » shadow bannissement « , où les utilisateurs peuvent continuer à publier, mais les utilisateurs normaux ne voient pas leur contenu. »
Et c’est ainsi que le travail a commencé. L’équipe a utilisé GPT-3 pour créer un certain nombre de chatbots, combinés à un script qui génère des visages humains, pour créer eux-mêmes un certain nombre de faux profils. La mise en garde : ces profils ne sont pas vus par les utilisateurs « normaux », uniquement par les personnes que l’algorithme a déterminées comme étant des escrocs. Ils les ont mis dans un pool de milliers de bots qui ressemblent et parlent comme de vraies personnes.
« TLa partie amusante est que deux choses se produisent. Premièrement, les escrocs rencontreront d’autres bots, mais ils rencontreront également d’autres escrocs, et ils essaieront de s’arnaquer », rit Weinreich. « Ils sont comme ‘Je veux 40 $ pour une carte-cadeau Google Play’ et l’autre escroc répond ‘non, non, tu donnes une carte-cadeau à moi‘ et ils n’arrêtaient pas de se disputer. C’est juste cette chose hilarante, où actuellement dans notre application, nous avons probablement plus de 1 000 escrocs que je connais et qui ne parlent activement qu’à des bots. C’est bien. Ils perdent leur temps et n’ont pas à s’occuper de nos vrais utilisateurs.
La plate-forme dispose de fonctionnalités de signalement et de blocage permettant aux utilisateurs réels de signaler des fraudeurs potentiels. Lorsqu’elle est signalée, l’équipe peut améliorer son algorithme et également placer manuellement les escrocs dans le pool de bots.
« TLa partie la plus amusante de notre fonctionnalité de rapport est le nombre de rapports que je reçois d’escrocs signalant qu’ils parlent à un bot. Je suis comme ‘ouais, je sais, c’est le point’ », hausse les épaules Weinreich.
La société a rassemblé certaines des conversations les plus absurdes que les escrocs ont eues entre eux et avec des robots sur son propre blog, qui vaut également le détour.