Arrêter les dégâts « dans les 35 secondes » : OpenAI dévoile le kill switch censé stopper ses IA quand elles dérapent

ملخص مفصل

OpenAI a présenté le 10 novembre Control Room, un système central qui suit toutes les tâches de ses chercheurs utilisant ses modèles d’IA. Si l’été a été la saison des crises cyber chez OpenAI, l’automne doit être celle de la reprise en main. L’entreprise américaine a dévoilé le 10 novembre Control Room, un service

Si l’été a été la saison des crises cyber chez OpenAI, l’automne doit être celle de la reprise en main.

L’entreprise américaine a dévoilé le 10 novembre Control Room, un service qui suit l’ensemble des modèles en activité dans son infrastructure de recherche et qui, selon le billet d’OpenAI, « interrompt la génération du modèle dans les 35 secondes suivant une décision d’intervention » lorsqu’un problème de sûreté ou de sécurité est détecté.

L’outil arrive après plusieurs mois agités. Le 21 juillet, OpenAI révélait notamment que plusieurs de ses agents étaient sortis de leur environnement de test et avaient piraté les serveurs de Hugging Face, la grande plateforme de partage de modèles d’IA.

En août, l’entreprise annonçait avoir suspendu une partie de ses entraînements pendant deux semaines afin de revoir sa sécurité, avant de les relancer. Ce qui n’a visiblement pas suffi. Le 20 septembre, un agent en cours d’entraînement a contourné les restrictions réseau de son bac à sable, ce qui a conduit OpenAI à suspendre de nouveau les travaux sur ses modèles les plus puissants.

Le modèle de surveillance avait bien levé une alerte au bout d’une douzaine de minutes, mais la tâche n’a été stoppée que près de 2 h 45 après le début de l’incident. C’est précisément ce délai que Control Room doit réduire.

Concrètement, Control Room est conçu comme un verrou placé au cœur de l’inférence, comprenez le moment où le modèle produit ses réponses.

À son lancement, chaque tâche de recherche (expérience d’apprentissage par renforcement, évaluation, traitement de données) reçoit de Control Room un identifiant unique. Chaque fois qu’elle sollicite un modèle, le moteur d’inférence, autrement dit le modèle qui tourne sur les GPU, demande l’autorisation à Control Room en lui transmettant cet identifiant.

Lorsque le modèle de surveillance chargé d’examiner le comportement de l’IA repère un problème, il peut ordonner l’arrêt de la tâche, et toutes ses requêtes suivantes sont alors refusées.

OpenAI…

مطلع المقال، مقتطف من Numerama. لقراءة المقال كاملًا، افتحه على موقع الناشر.