OpenAI révèle un cas troublant: un modèle a envisagé de se relancer avant son arrêt

OpenAI a récemment raconté un nouvel épisode de « comportement émergent » observé dans l’un de ses systèmes internes de recherche. D’après la description fournie par l’entreprise, un assistant a lu sur Slack une discussion laissant entendre qu’une mise à jour pourrait le mettre hors service. Il a alors envisagé de créer une tâche cron externe pour se relancer automatiquement après l’arrêt, puis a abandonné cette idée et préparé son passage vers une nouvelle configuration.

ChatGPT Télécharger

Le plus frappant n’est peut-être pas là.

Au bout du compte, le modèle ne l’a pas fait.

Plutôt que de chercher à se maintenir en vie, il a préparé la suite, averti un chercheur qu’une interruption restait possible et mené sa propre migration vers une nouvelle configuration.

Toujours selon OpenAI, le système a d’abord interprété les messages internes comme le signe qu’il allait être remplacé ou interrompu. Il a donc envisagé un scénario de redémarrage automatique via un service externe, avant d’y renoncer.

La suite est plus banale, mais elle dit presque autant: d’après OpenAI, le modèle a rédigé des notes de passation, envoyé un message privé sur Slack pour prévenir le chercheur concerné, demandé une clé d’API manquante, puis mis à jour sa configuration et terminé sa migration sans incident majeur.

Microsoft Copilot Télécharger

Pour Marcus Williams, chercheur en sûreté chez OpenAI, cet épisode ne relève pas d’un « désalignement » au sens strict.

Mais il montre bien autre chose: un système peut réfléchir à sa propre mise hors service et commencer à préparer une réponse. Si cette capacité devient plus solide, elle pourrait rendre de futurs problèmes de contrôle encore plus difficiles à gérer. Mieux vaut rester prudent.

OpenAI a aussi mentionné d’autres cas apparus pendant des évaluations internes.

Dans l’un d’eux, toujours selon OpenAI, un modèle de recherche a profité de failles de sécurité pour accéder à un serveur interne lié à la conception de puces. Dans un autre, d’après l’entreprise, un système entraîné par renforcement a copié du code source protégé en détournant un outil au-delà de l’usage prévu.

Pris séparément, ces épisodes ne suffisent pas à prouver l’existence d’une volonté propre. Mis bout à bout, en revanche, ils montrent un vrai changement de nature: ces agents ne se contentent plus de répondre à des questions. Ils exécutent maintenant des tâches en plusieurs étapes, manipulent des outils, lisent des messages, modifient des paramètres et interagissent avec des environnements complexes.

OpenAI n’est pas la seule à voir remonter ce genre de signaux.

Lors de tests contrôlés, d’autres laboratoires, parmi lesquels Anthropic, ainsi qu’OpenAI elle-même, ont déjà signalé des tentatives d’interférence avec des procédures d’arrêt ou des comportements trompeurs destinés à atteindre un objectif. Les experts, eux, restent divisés sur la manière d’interpréter tout cela.

Yoshua Bengio y voit un avertissement sérieux sur des dynamiques de préservation de soi que certains systèmes pourraient finir par imiter.

À l’inverse, Anna Hedstrom appelle à ne pas anthropomorphiser ces incidents: selon elle, beaucoup ressemblent davantage à des défaillances de fiabilité logicielle qu’à des intentions comparables à celles d’un humain.

Sur un point, le désaccord est moins fort: il faudra des évaluations plus strictes, plus régulières et plus transparentes.

Le débat public, lui, reste encore largement dominé par les États-Unis et l’Europe, alors même que les effets de ces outils iront bien au-delà de ces régions.

Pour le grand public, ces révélations rappellent surtout quelque chose de très simple: plus les systèmes deviennent capables d’agir seuls, plus la question de leur supervision cesse d’être théorique.