En quelques heures, le réseau de neurones a appris de certains utilisateurs à écrire toutes sortes d'absurdités sans fondement et à les présenter sous l'apparence de la vérité.
Le 15 novembre, le groupe Meta* a lancé une démo d'IA en ligne, qu'il a baptisée Galactica et proposée comme spécialement conçue pour soutenir les scientifiques et les chercheurs dans toutes sortes de spécialités.

Mais au lieu de la fanfare que Meta avait espérée, Galactica semble être mort après trois jours de critiques intenses pour la vague de fausses informations qu'il a fournies. Le 18 novembre, la société a supprimé la démo publique avec laquelle elle avait encouragé tout le monde à interagir.

Conçu comme un moteur de recherche encyclopédique et conçu pour potentiellement stocker, combiner et analyser les connaissances scientifiques , Galactica était censé aider à accélérer la rédaction d'articles scientifiques. En pratique, il a immédiatement appris de certains utilisateurs à générer toutes sortes d'absurdités et de mensonges . Quelques jours plus tard, Meta * a désactivé l'accès à ce réseau de neurones, rapporte le MIT Technology Review .

Galactica avait auparavant été alimenté ou activé par Meta* AI à travers plus de 48 millions d'articles, de manuels et de notes de cours, de sites Web scientifiques et d'encyclopédies. Puis, à partir du 15 novembre, les utilisateurs ont eu la possibilité de saisir leurs données pour interagir et créer du contenu, tel que des critiques de livres, des articles wiki, des notes de cours et des questions-réponses.
Le fait est que certains visiteurs ont rapidement découvert qu'ils pouvaient alimenter le réseau de neurones avec n'importe quoi, y compris des textes offensants ou racistes, et ainsi générer du contenu d'apparence véridique.

Par exemple, un utilisateur a écrit un article wiki sur Les avantages de manger du verre brisé . D'autre part, le système d'IA lui-même a commencé à générer des matériaux avec des dates ou des détails incorrects, ce qui est déjà beaucoup plus difficile à détecter.

Ce qui s'est passé avec Galactica rappelle la situation dans laquelle Microsoft s'est retrouvé en 2016, lorsque son chatbot a appris à jurer et est devenu raciste un jour après son lancement, ainsi qu'à exprimer sa haine envers les féministes, à s'exprimer en accord avec les vues d'Hitler et à soutenir le génocide. .

*La société Meta est qualifiée en Russie d'organisation extrémiste.