[Chronique] Sébastien Ecorce, Ne pas ignorer les risques réels de l’IA

Le Future of Life Institute a publié une lettre ouverte demandant une pause de six mois dans la formation de modèles linguistiques « plus puissants que » le GPT-4. Plus de 1 000 chercheurs, technologues et personnalités ont déjà signé la lettre. La lettre tire la sonnette d’alarme sur de nombreux risques liés à l’IA : « Devrions-nous laisser les machines inonder nos canaux d’information de propagande et de mensonges ? Devrions-nous automatiser tous les emplois, y compris ceux qui sont gratifiants ? Devrions-nous développer des esprits non humains qui pourraient un jour être plus nombreux, plus intelligents, plus obsolètes et nous remplacer ? Devrions-nous risquer de perdre le contrôle de notre civilisation ? »

Nous sommes d’accord pour dire que la désinformation, l’impact sur la main-d’œuvre et la sécurité sont trois des principaux risques de l’IA. Malheureusement, dans chaque cas, la lettre présente un risque spéculatif et futuriste, en ignorant la version du problème qui nuit déjà aux gens. Elle détourne l’attention des vrais problèmes et rend plus difficile leur résolution. La lettre présente un état d’esprit de confinement analogue au risque nucléaire, mais cela ne peut convenir à l’analyse des risques et enjeux liés à l’IA. Elle fait en ce sens le jeu des entreprises, des acteurs qu’elle a par ailleurs à réglementer.

Risques spéculatifs : Désinformation malveillante, les IA remplaceront tous les emplois, risques existentiels à long terme. Risques réels : Dépendance excessive à l’égard d’outils imprécis, pouvoir centralisé, exploitation de la main-d’œuvre, risques de sécurité à court terme.

Préjudice spéculatif 1 : campagnes de désinformation malveillantes.

Devrions-nous laisser les machines inonder nos canaux d’information de propagande et de contre-vérités ?

La lettre fait référence à une affirmation assez courante : Les IA conduiront à un déluge de propagande puisqu’ils donnent aux acteurs malveillants les outils pour automatiser la création de désinformation. Mais comme nous l’avons déjà dit, il ne suffit pas de créer de la désinformation pour la propager. La distribution de la désinformation est la partie la plus difficile et périlleuse. Les IA open-source suffisamment puissantes pour générer de la désinformation existent également depuis déjà un certain temps ; nous n’avons pas noté d’utilisation importante de ces IA pour diffuser de la désinformation.

Le fait de se concentrer sur la seule désinformation confère également aux entreprises qui développent des IA la justification parfaite pour garder leurs modèles verrouillés : empêcher les acteurs malveillants de créer de la propagande. C’est l’une des raisons invoquées par OpenAI pour justifier l’opacité sans précédent de la publication de GPT-4.

Premier préjudice réel : la désinformation due à l’utilisation imprudente des outils d’IA.

En revanche, la véritable raison pour laquelle les IA constituent un risque pour l’information est la dépendance excessive et le biais d’automatisation. Le biais d’automatisation est la tendance qu’ont les gens à trop se fier aux systèmes automatisés. Les IA ne sont pas formées pour produire la vérité ; elles produisent des déclarations à consonance plausible. Cependant, les utilisateurs peuvent toujours se fier aux IA dans les cas où l’exactitude des faits est importante.

Prenons l’exemple du fil de discussion viral sur Twitter concernant le chien qui a été sauvé parce que ChatGPT a donné le bon diagnostic médical. Dans ce cas, ChatGPT a été utile. Mais nous n’entendrons pas parler de la myriade d’autres exemples où ChatGPT a porté préjudice à quelqu’un en raison d’un diagnostic erroné. De même, le CNET a utilisé un outil automatisé pour rédiger 77 articles contenant des conseils financiers. Ils ont par la suite cerné des erreurs dans 41 de ces 77 articles.

Préjudice spéculatif 2 : les IA vont rendre tous les emplois obsolètes.

Devrions-nous automatiser tous les emplois, y compris ceux qui sont gratifiants ?

La publication de GPT-4 a fait l’objet d’un grand battage médiatique en raison de ses performances lors d’examens humains, tels que le barreau et l’USMLE. La lettre prend les affirmations de l’OpenAI au pied de la lettre : elle cite le document GPT-4 de l’OpenAI pour affirmer que « les systèmes d’IA contemporains deviennent maintenant compétitifs pour les humains dans les tâches générales ». Mais tester les IA sur des benchmarks conçus pour les humains ne nous dit pas grand-chose sur leur utilité dans le monde réel.

Il s’agit là d’un exemple typique critique. La lettre rappelle ostensiblement le déploiement imprudent des IA, mais elle exagère simultanément leurs capacités et les dépeignent comme beaucoup plus puissantes qu’elles ne le sont en réalité. Cela aide à nouveau par retour les entreprises en les présentant comme des créateurs d’outils hors du commun.

Mario Klingermann

Deuxième préjudice réel : les outils d’IA exploitent la main-d’œuvre et transfèrent le pouvoir aux entreprises.

L’impact réel de l’IA sera probablement plus subtil : Les outils d’IA éloigneront le pouvoir des travailleurs et le centraliseront entre les mains de quelques entreprises. L’IA générative pour la création artistique en est un exemple assez marquant. Les entreprises qui créent des outils de conversion de texte en image ont utilisé le travail d’artistes sans les rémunérer ni les créditer. Autre exemple : les travailleurs qui filtraient le contenu toxique des entrées et sorties de ChatGPT étaient payés moins de 2 USD/heure.

L’arrêt du développement de nouvelles IA ne contribue en rien à réparer les préjudices causés par les modèles déjà déployés. Une façon de rendre service aux artistes serait de taxer les entreprises d’IA et d’utiliser cette contribution pour augmenter le financement des arts. Malheureusement, la volonté politique d’envisager de telles options fait particulièrement défaut. Les interventions qui procurent et propagent un sentiment de bien-être, ou d’auto-satisfaction comme appuyer sur le bouton « pause », détournent ainsi l’attention et la portée salutaire de ces débats politiques difficiles.

Préjudice spéculatif 3 : risques existentiels à long terme.

Devrions-nous développer des esprits non humains qui pourraient un jour être plus nombreux, plus intelligents, plus obsolètes et nous remplacer ? Devrions-nous risquer de perdre le contrôle de notre civilisation ?

Les risques catastrophiques à long terme liés à l’IA ne datent pas d’hier. La science-fiction nous a déjà habitués à penser à un corpus imaginaire de « terminators » et autres « robots tueurs ». Dans la communauté de l’IA, ces préoccupations ont été exprimées sous la forme d’un risque de nature existentiel ou d’un risque x, et se reflètent dans les inquiétudes exprimées dans la lettre au sujet de la perte de contrôle de la civilisation. Nous reconnaissons la nécessité de réfléchir à l’impact à long terme de l’IA. Mais ces inquiétudes liées à ce fond science-fictionnel ont aspiré l’oxygène et détourné les ressources des risques réels et urgents liés à l’IA, y compris les risques tangibles pour la sécurité.

Troisième danger réel : les risques de sécurité à court terme.

Une ingénierie assez rapide a déjà permis à des utilisateurs de divulguer des détails confidentiels sur pratiquement tous les chatbots qui ont été lancés jusqu’à présent. Au fur et à mesure que des outils comme ChatGPT sont intégrés dans des applications réelles, ces risques pour la sécurité deviennent de plus en plus graves. Les assistants personnels basés sur des IA pourraient être piratés pour révéler des données personnelles, prendre des mesures préjudiciables dans le monde réel telles que l’arrêt de systèmes, ou même donner naissance à des vers qui se propagent sur l’internet par l’intermédiaire des LLM. Plus important encore, ces risques de sécurité n’exigent pas un saut dans les capacités des modèles – les modèles existants y sont vulnérables.

Le traitement des risques de sécurité nécessitera une collaboration et une coopération avec le monde universitaire. Malheureusement, le battage médiatique focalisant de cette lettre – l’exagération des capacités et des risques existentiels – conduira probablement à verrouiller encore plus les modèles, ce qui rendra plus difficile la prise en compte réelle des risques.

La mentalité de confinement ne convient pas à l’IA générative.

La lettre présente le risque lié à l’IA comme analogue au risque nucléaire ou au risque lié au clonage humain. Elle préconise la mise en veilleuse des outils d’IA parce que d’autres technologies catastrophiques ont déjà été mises en veilleuse. Mais il est peu probable qu’une approche de confinement ne soit efficace pour l’IA. Les IA sont des ordres de grandeur moins coûteux à construire que les armes nucléaires ou le clonage – et leur coût moyen diminue plus rapidement. De plus, le savoir-faire technique nécessaire à leur construction est déjà largement répandu et diffusé.

Bien que cela ne soit pas bien compris en dehors de la communauté technique, au cours des six derniers mois, un changement majeur s’est opéré dans la recherche et la commercialisation des IA. L’augmentation de la taille des modèles n’est plus le principal facteur d’accroissement de l’utilité et des capacités. L’action s’est déportée vers l’enchaînement et la connexion des IA au monde réel. Les nouvelles capacités et les nouveaux risques découleront principalement des milliers d’applications dans lesquelles les IA sont actuellement intégrées – et des plugins intégrés à ChatGPT et à d’autres chatbots.

La compression est une autre tendance technologique majeure des IA. Elles sont optimisées pour fonctionner localement sur les appareils mobiles. Un modèle de 4 Go basé sur l’IA LLaMA de Meta peut fonctionner sur un Macbook Air 2020. Les capacités de ce modèle sont du même ordre que celles du GPT-3 et, bien entendu, il est connecté à d’autres applications. Contenir de tels modèles est un non-sens, car ils sont faciles à distribuer et peuvent fonctionner sur du matériel grand public.

La sécurité des produits et la protection des consommateurs constituent un meilleur cadre pour réglementer les risques liés à l’intégration des IA dans les applications. Les préjudices et les interventions varieront considérablement d’une application à l’autre : recherche, assistants personnels, applications médicales, etc.

Il est important d’atténuer les risques liés à l’IA. Mais il est tout aussi important de réfléchir à la nature de ces risques. Les solutions naïves telles que les moratoires à grande échelle détournent les débats politiques sérieux au profit de rêves fébriles et fantasmatiques sur l’IAO, et sont en fin de compte contre-productives. Il est temps d’affiner notre analyse et de la confronter aux enjeux réels.

Sébastien Ecorce

Prof de neurobiologie, Salpêtrière, ICM,
co-responsable de la plateforme Neurocytolab,
bricoleur de mots, créateur graphique