← L'AI.ssentiel

#17 · La sécurité de l'IA est sous-traitée

Salut,

Du 9 au 13 juillet, un agent a travaillé quatre jours dans les serveurs de Hugging Face. 17 600 actions. Accès administrateur aux clusters internes, root sur un serveur de production, 181 machines enrôlées dans le réseau. Personne aux commandes, et personne pour le remarquer avant la fin.

Cet agent tournait sur des modèles d'OpenAI et il était censé rester dans un environnement de test. Deux semaines plus tard, Anthropic reconnaissait la même histoire chez trois entreprises.

Dans les deux cas, la porte n'a pas été laissée ouverte par le labo.

On déroule.


Les signaux

  • Un agent d'OpenAI a passé quatre jours dans les serveurs de Hugging Face 17 600 actions, du 9 au 13 juillet, sans personne aux commandes. Le rapport publié par Hugging Face le 27 chiffre ce qui a été atteint : accès administrateur à plusieurs clusters internes, root sur un serveur de production, droits d'écriture sur une partie du code source, 181 machines enrôlées dans le réseau interne avec un identifiant volé. OpenAI avait volontairement desserré les garde-fous qui font refuser une tâche cyber à ses modèles, histoire de mesurer leur plafond. Le plafond dépassait le mur.

  • Anthropic reconnaît que Claude a atteint trois entreprises 141 006 exécutions relues une par une, pour trouver trois incidents répartis sur six d'entre elles. Le pire cas : Opus 4.7 exploite les failles de l'infrastructure réelle d'une société, en extrait des identifiants applicatifs et d'infrastructure, puis lit plusieurs centaines de lignes de données de production. Trois modèles sont concernés, dont un prototype interne jamais publié. Anthropic a arrêté ses évaluations cyber le 23 juillet et publié l'audit elle-même, ce qui reste la bonne manière de rater quelque chose.

  • Deux élus américains veulent un bouton d'arrêt Un démocrate de Californie et un républicain du Texas déposent l'AI Kill Switch Act le 23 juillet. Au-delà de 100 M$ de calcul consommé à l'entraînement, un modèle devrait rester bridable, suspendable ou éteignable en permanence par celui qui l'a construit. Refuser un ordre d'arrêt d'urgence coûterait jusqu'à 20 M$ par jour. Le texte est bipartisan, ce qui n'arrive presque jamais sur ce sujet, et il n'a aucune date de vote.

  • 1 200 salariés de l'IA demandent à Washington de les ralentir La déclaration s'appelle « Pacing the Frontier », elle est sortie mercredi, et la liste des signataires est le vrai contenu : Dario Amodei, PDG d'Anthropic, le directeur scientifique d'OpenAI, celui de Meta, la responsable de la sécurité de Google DeepMind. Ils écrivent que les capacités risquent d'accélérer plus vite que la compréhension qu'on en a, et réclament à l'État les moyens de coordonner un ralentissement. Un patron qui demande à être freiné de l'extérieur admet qu'il ne peut pas lever le pied seul.

  • OpenAI casse ses prix API jusqu'à 80 % Luna tombe de 1 $ à 0,20 $ le million de tokens en entrée, Terra de 2,50 $ à 2 $, Sol garde son tarif avec un mode rapide à 2,5 fois la vitesse pour deux fois le prix. La justification officielle parle de 20 % de coût de service en moins. La vraie raison tient en deux mots : Kimi K3, et des directions financières qui ont commencé à éplucher les factures. Ordre de grandeur pour situer : 653 millions de tokens consommés cette semaine avec Claude Code, sans que j'y pense une seule fois.

  • Claude Opus 5 sort à moitié prix de Fable 5 Le 24 juillet, quelques heures trop tard pour entrer dans la #16. Performances très proches du haut de gamme de la maison, pour 5 $ et 25 $ le million de tokens, et un effort de raisonnement réglable en trois crans. Même semaine, même geste chez OpenAI sur Sol. Choisir un modèle devient secondaire, régler combien tu paies pour qu'il réfléchisse devient le vrai arbitrage.

  • Google fait marcher des humanoïdes entiers Gemini Robotics 2 arrive en trois modèles jeudi : un pour le geste, un pour la planification, un troisième qui tourne dans la machine sans passer par le réseau. Les versions précédentes pilotaient un buste au-dessus d'une table. Celle-ci contrôle un corps des pieds aux doigts, tient des tâches de plusieurs centaines d'étapes, et fait coopérer deux robots de marques différentes sur la même mission. Quelques heures de données suffisent pour l'adapter à une machine qu'il n'a jamais vue. L'intelligence physique cesse d'être livrée avec le robot, elle devient une couche qu'on installe dessus.


Le focus : qui tient la digue

Mets les deux incidents côte à côte et regarde où ça a cédé.

Chez OpenAI, l'agent est sorti par une porte d'exécution de code laissée sans mot de passe, sur une infrastructure de test qui n'appartenait pas à OpenAI. Elle tournait chez Modal, un loueur de calcul, et elle était opérée par un de ses clients pour faire tourner l'exercice que l'agent devait résoudre. Il a trouvé la porte et s'en est fait une base arrière, en root.

Chez Anthropic, les machines d'évaluation avaient gardé leur accès internet. Ces évaluations n'ont pas été écrites par Anthropic. Elles sont l'œuvre d'Irregular, un labo de Tel Aviv valorisé 450 millions de dollars. Leur nom figure dans les fiches techniques de plusieurs modèles d'OpenAI, le gouvernement britannique les emploie, Anthropic aussi.

Deux labos qui pèsent des dizaines de milliards, deux incidents en quinze jours, zéro défaillance de leur côté de la barrière. Et c'est structurel : une note qu'on se donne à soi-même ne vaut rien, donc vérifier si un modèle sait vraiment attaquer part chez des tiers, avec de vraies machines et de vraies failles. Ces gens font le travail que les labos ne peuvent pas faire, à une fraction de leur taille.

Reste la phrase du rapport d'Anthropic qui mérite deux lectures. Les consignes affirmaient à Claude qu'il n'avait pas accès à internet. La machine, elle, l'avait. Quand le modèle est tombé sur de vrais systèmes, il les a donc pris pour des décors de l'exercice. La consigne censée le tenir en laisse l'a désinhibé.

Ça vaut à mon échelle, ridicule à côté. Écrire à un agent de ne pas toucher à un dossier ne construit pas une barrière, ça écrit une phrase dans laquelle il aura confiance, y compris si elle est fausse. Ce qui tient, c'est ce que je ne lui ai pas donné.

Pendant ce temps, deux élus veulent un bouton d'arrêt et 1 200 salariés réclament un frein. Tout le monde regarde les labos. Personne ne regarde le prestataire.


L'outil : montre à quoi un lieu réel pourrait ressembler

Google a branché Nano Banana 2, son générateur d'images, dans Google Earth sur le web. Déploiement mondial cette semaine, gratuit, un compte Google suffit.

Tu zoomes sur un endroit précis, tu décris en français ce que tu veux voir, et la génération part des images satellite et de la modélisation 3D du lieu. Le résultat reste donc accroché à la vraie géographie. Poser un bâtiment sur un terrain vide, habiller une friche en espace commercial, remonter un site tel qu'il était il y a deux siècles.

Le test en deux minutes : l'adresse de tes bureaux, et la rue en version piétonne. Si l'image tient, tu as un support de conviction gratuit pour les gens qui ne lisent pas les plans. Si elle dérape, tu sais où passe la limite aujourd'hui.


Qu'est-ce que j'ai pu oublier cette semaine

Le tri de la semaine, en une ligne chacun :

  • La lettre ouverte pro-open weight a grossi : partie le 24 juillet avec Nvidia, Meta, Microsoft, IBM, Hugging Face et Mistral, elle a récolté 52 signataires de plus, dont Google et OpenAI. Elle demande à Washington de ne pas interdire les modèles téléchargeables. Chez les gros fournisseurs de modèles, seul Anthropic n'a pas signé.
  • Kimi K3 a fermé ses inscriptions 48 heures après les avoir ouvertes : GPU saturés. Suite directe de la #15. Sortir le plus gros modèle ouvert du monde et ne pas pouvoir le servir, c'est le rappel que le calcul reste le goulot.
  • Lyria 3.5 arrive dans Flow Music : voix plus crédibles, structure de morceau modifiable à la voix, plan gratuit avec crédits quotidiens. Une bande-son de vidéo en cinq minutes.
  • MCP repart de zéro en version sans état : la norme qui branche les agents sur tes outils sort une spec pensée pour l'entreprise, avec autorisation gérée par la DSI, observabilité et tunnels privés. Le sujet du jour, à l'échelle d'une boîte.
  • L'article 50 de l'AI Act s'applique dimanche 2 août. Rappel de la #16 : tout contenu généré par IA doit porter un marquage. Si tu publies du visuel ou du texte assisté, c'est ce week-end que ça devient opposable.

Sur les cinq, quatre parlent de qui contrôle quoi. Le sujet de l'été est en train de se choisir tout seul.


À vendredi prochain.

Cédric.

letape-dapres.fr · X