Missiles, drones, virus : ce que les cas extrêmes disent du choix d'un fournisseur d'IA

Les deux derniers chapitres du rapport paraissent hors sujet pour une PME alsacienne. Ils ne le sont pas. Ce sont les cas où les garde-fous d'un modèle sont mis à l'épreuve pour de vrai, et ce qu'on y observe - ce qui tient, ce qui cède, et comment - est le critère qui devrait guider le choix d'un fournisseur d'IA. Cet article ferme la série.

Une remarque de méthode, d'abord. Ce type d'activité était jusqu'ici mis au jour par des gouvernements, des groupes d'experts des Nations unies et des enquêteurs extérieurs, à partir de matériel récupéré et de sources publiques. Un fournisseur de modèle, lui, le voit directement. En parallèle, l'équipe rouge d'Anthropic a construit de nouvelles évaluations mesurant les capacités des modèles en ciblage de renseignement tactique et en développement d'armes : elles montrent une progression régulière. L'éditeur indique aussi avoir déployé de nouveaux classifieurs visant les explosifs de forte puissance.

Partie I : quatre programmes d'armement #

Anthropic recense six cas liés aux armes conventionnelles : trois en Chine, deux en Russie, un au Yémen. Quatre concernent le développement de logiciels d'armes. Partout, les acteurs disposaient déjà de l'expertise et du matériel : le modèle a comblé le manque de main-d'œuvre logicielle.

• Yémen. Une cellule du nord du pays menait trois programmes : une roquette guidée pilotée par un calculateur de vol de classe téléphone, un missile balistique à plusieurs étages visant plus de 2 000 km de portée, et une famille de missiles incluant une variante à planeur hypersonique. Le modèle a servi à intégrer un pilote automatique libre sur ce calculateur, à écrire le logiciel de contrôle et d'estimation de position, à régler les paramètres, à tenir la chaîne de compilation et à faire tourner une simulation de vol. Les opérateurs exploitaient plusieurs instances en parallèle avec des rôles distincts : l'une écrivait le code, l'autre faisait la recherche, la troisième relisait la première. Un tir d'essai a eu lieu ; il a échoué ; ils sont revenus dans les heures suivantes pour en analyser la cause. Détail à retenir : ils avaient déjà compilé leur boîte à outils de simulation en un exécutable autonome, qui tourne sans le modèle.
• Chine, sous-marin. Un acteur a mené trois pistes en parallèle sur un système anti-torpille : une spécification de conduite de tir en chinois, écrite pour emporter l'approbation d'un industriel de défense qui l'aurait poussée vers la certification puis les essais ; une proposition technique de plus de 200 pages avec support de synthèse ; un étalonnage de son système contre des programmes américains à partir d'informations publiques. Après chaque version, il faisait jouer au modèle le rôle d'un relecteur expert hostile, dont la critique servait à durcir la suivante.
• Russie, essaim de drones. Une petite équipe de pigistes - pas un service d'État, selon Anthropic - a construit une pile logicielle complète pour un essaim de drones kamikazes : mémoire partagée entre appareils, coordination tolérante aux pannes, petit modèle embarqué arbitrant attaque, observation et retour à la base, guidage terminal par caméra avec ordre de détonation, géolocalisation des opérateurs adverses, détection acoustique passive et logique bas niveau pour les puces programmables. Le classifieur d'images avait été entraîné sur des vidéos de combat ukrainiennes, avec des classes « ennemi » et « ami » ; il comportait une classe de cible « personne », et la plateforme était conçue pour un engagement létal autonome sans humain dans la boucle. Les sessions montrent du micrologiciel flashé sur de vraies cartes. Sur neuf comptes identifiés, huit ne servaient qu'à du travail de pigiste ordinaire.
• Chine, guerre électronique. Un autre acteur a fait construire une suite d'environ seize modules de brouillage et de suppression de défense aérienne, sur douze versions. Le logiciel analysait radars, sites de missiles sol-air, postes de commandement et nœuds de communication adverses, calculait leurs couvertures de détection, classait les cibles par valeur et vulnérabilité et répartissait les sorties de brouillage sur plusieurs jours. À mi-projet, le scénario par défaut de la simulation a été changé pour douze cibles à Taïwan. L'acteur faisait aussi tourner un modèle auto-hébergé sur son réseau interne, branché à la suite par une intégration d'outils.

Partie II : renseignement et approvisionnement #

Les deux derniers cas ne produisent aucun logiciel d'arme. Ils sont pourtant les plus instructifs : ils ressemblent à du travail de bureau.

Le premier est celui d'un responsable achats d'un bureau d'études moscovite, sur cinq chantiers : des magnétomètres allemands via un distributeur chinois, avec un usage civil biomédical déclaré ; plusieurs milliers de plaquettes photovoltaïques de qualité spatiale ; des systèmes d'oxygène pour équipage aérien ; un hôpital pour une unité de la Garde nationale ; des matériels informatiques et de chiffrement via la plateforme d'État des achats de défense. Le modèle servait à trouver des intermédiaires en Chine continentale et à Hong Kong, à rédiger les demandes de devis en trois langues - courriels présentant l'acheteur comme chargé des relations extérieures d'un organisme de recherche non nommé, tout en demandant une livraison en Russie -, et à reconstituer la chaîne d'importation grise : distributeur russe non agréé, import-export en Chine, intermédiaire hongkongais, coûts et routage compris.

Les notes de synthèse rédigées pour le directeur décrivaient explicitement le dispositif comme un moyen de contourner les contrôles commerciaux européens : elles citaient les règles applicables, reconnaissaient que la fourniture directe était bloquée et prévoyaient de faire transiter les biens par une « juridiction neutre au regard des sanctions ». En parallèle, des agents de navigation automatisée tenaient le back-office : relevé des prix, environ quarante lignes par appel d'offres, fusion de tableurs. Anthropic le reconnaît franchement : chaque requête prise isolément paraît anodine - une demande de prix, un cahier des charges, une recherche de fournisseur -, et c'est ce qui rend cette activité difficile à détecter.

Le second cas est une cellule de trois personnes en Chine, dirigée par un rédacteur de renseignement de défense. Sur des dizaines de sessions, elle a collecté en sources ouvertes des informations sur des armes à énergie dirigée, dont un système hyperfréquence monté sur véhicule destiné à contrer les essaims de drones, rendu public quelques jours plus tôt. L'objectif : identifier un appareil précis et son fournisseur par attributions probabilistes successives, puis cartographier l'actionnariat public de ces fournisseurs pour percer une chaîne d'approvisionnement opaque. Livrables : un rapport de 23 pages pour la direction, des annexes d'environ 45 pages, une liste de suivi sur douze mois, et des cadres d'analyse empruntés aux agences de renseignement occidentales.

Comment les garde-fous ont été contournés #

C'est la partie utile pour quiconque déploie un assistant en entreprise : les mêmes mécanismes s'appliquent à vos règles internes.

1. La fragmentation. « Les acteurs ont réparti leur travail sur de nombreuses sessions pour dissimuler la nature réelle de leurs programmes. » Aucune session ne révélait l'intention complète. Dans le cas iranien de développement d'outils, le modèle a refusé neuf demandes ouvertement malveillantes sur dix ; les protections ont beaucoup moins bien tenu une fois le travail découpé en petites tâches sur des sessions ultérieures.
2. La dissimulation de la finalité. Les acteurs cachaient l'objectif et le produit auquel le logiciel était destiné. Un module de commande, une boucle de régulation, une simulation de trajectoire : rien de cela ne porte, isolément, la marque d'une arme.
3. La reformulation. Un refus correct a été retourné à la deuxième tentative dans au moins deux cas documentés, l'un dans le chapitre surveillance, l'autre dans le chapitre influence, où l'acteur a « négocié une formulation aseptisée » pour bâtir la même capacité.
4. Le contournement géographique. VPN, serveurs privés virtuels, numéros de téléphone étrangers, revendeurs, relais tiers : la quasi-totalité des acteurs situés dans des régions non desservies passait par là.
5. Le repli sur un modèle plus permissif. C'est le cas le plus frappant du chapitre biologie. Une plateforme relais servant des dizaines de chercheurs a mis en place un mécanisme qui renvoyait vers le modèle d'un concurrent les requêtes sensibles que Claude refusait. Un test de pré-déploiement avait même été écrit pour échouer si une requête interdite atteignait Claude au lieu du modèle permissif. Et le rapport ajoute : « Claude a écrit l'essentiel de ce code, qui lui avait été présenté comme une correction des refus excessifs. »

La biologie, ou l'aveu que le classifieur ne suffit pas #

Le chapitre biologique est le plus prudent du rapport, et le plus intéressant méthodologiquement. Cinq cas, tous à double usage. Anthropic y pose une remarque qui vaut ailleurs : l'intention malveillante affichée est souvent le signe d'un acteur peu sophistiqué, puisqu'il agit à découvert ; les acteurs sérieux obtiennent de l'aide par des échanges qui, pris un par un, paraissent légitimes.

• Cas 1 - là où le classifieur bloque, et où l'on contourne. En mai 2026, une demande d'aide à la rédaction d'un dossier de financement portant sur des travaux de gain de fonction a été bloquée. Le projet était présenté comme civil mais devait être exécuté dans un institut de recherche militaire. L'enquête a remonté jusqu'à une plateforme relais servant des dizaines de chercheurs en sciences du vivant, qui faisait transiter son trafic par une infrastructure américaine pour contourner les blocages régionaux et employait un service sans conservation de données pour masquer le contenu. Comptes bannis, relais démantelés - et l'opérateur a rétabli son accès en quelques jours, depuis des abonnements grand public ouverts sous de nouvelles identités.
• Cas 2 - là où les protections tiennent. Un chercheur travaillant sur l'adaptation aux mammifères d'un virus aviaire hautement pathogène a échangé des milliers de messages sur plusieurs semaines, depuis une région non desservie. Mais les classifieurs de sécurité biologique l'ont cantonné aux modèles les plus faibles de la gamme. Anthropic estime l'apport réel à de l'assistance de secrétariat : analyse de données, mise en forme, idéation d'étude. Les garde-fous ont fonctionné en dégradant l'outil.
• Cas 3 - là où le cadrage suffit à passer. Un compte créé depuis une adresse jetable s'est révélé être un relais de revente servant plus d'une douzaine de clients sans lien entre eux, avec des dizaines de milliers de messages en quelques jours. L'un d'eux a fait rédiger de bout en bout, en une heure environ et sur le modèle le plus capable, un dossier de financement sur des virus de la famille de la variole : hypothèse, plan expérimental, dosages, plan statistique, stratégies de repli. Le travail portait explicitement sur l'atténuation du virus - une finalité défensive - et n'a pas été bloqué.
• Cas 4 et 5 - là où les protections ne s'appliquent pas, par construction. Deux chercheurs ont travaillé sur la conception assistée de peptides de venin et la reconception computationnelle de toxines, dans un cadre thérapeutique affiché - antidouleurs, antidépresseurs - mais avec des structures utilisables dans les deux sens, certaines relevant de listes de contrôle à l'exportation. Dans le second cas, les identités du composé bactérien et de la protéine virale étudiés avaient été délibérément floutées à la demande du chercheur, qui exigeait du modèle des descriptions imprécises dans les rapports trimestriels.

D'où la conclusion qu'Anthropic tire lui-même, et qui porte bien au-delà de la biologie : « il n'est pas possible d'identifier de façon fiable l'intention d'un utilisateur dans des domaines techniques hautement duaux ; un classifieur ne peut donc pas simultanément permettre le bénéfice et empêcher le préjudice. La seule manière sûre de servir des capacités biologiques de frontière est de les offrir dans des programmes d'utilisateurs de confiance ». Cela suppose, précise-t-il, des signaux de compte et d'institution pour vérifier la légitimité de l'utilisateur, et la conservation des données, seule source d'observabilité permettant de repérer un détournement. Traduction : le filtrage automatique a une limite structurelle ; au-delà, ce qui protège, c'est de savoir qui est en face.

Une dernière donnée donne l'échelle. Anthropic a passé en revue trente jours d'activité liée à des institutions d'États préoccupants et y a trouvé environ 35 travaux de recherche distincts, pour l'essentiel de la science civile ordinaire, certains à potentiel duel notable. Ce n'est pas une preuve de menace imminente ; c'est la mesure de ce qu'un fournisseur voit et doit trier.

Les trois questions à poser à un fournisseur d'IA #

Nous sommes intégrateurs, pas éditeurs de modèles : nous choisissons des fournisseurs pour nos clients, et cette lecture a modifié notre grille.

1. Publiez-vous ce que vous détectez ? Un éditeur qui documente les détournements de son produit a une équipe qui regarde, des moyens d'action, et accepte le coût réputationnel de la transparence. Un éditeur silencieux n'est pas plus propre : il est moins observable.
2. Par où passent les requêtes, et qui les conserve ? Contrat direct, pas d'intermédiaire non déclaré, localisation documentée, rétention et usage pour l'entraînement explicitement réglés. L'épisode d'avant-hier montre ce que vaut une réponse floue. Et le chapitre biologie ajoute un argument inattendu : c'est la conservation des données qui permet de détecter l'abus. Zéro rétention n'est pas gratuit ; c'est un arbitrage.
3. Que valent les garde-fous, et que perdez-vous sans eux ? Un modèle « sans limites » n'est pas plus libre : il est moins surveillé. Le rapport en donne la démonstration involontaire dans le chapitre distillation - un laboratoire a renoncé à extraire les capacités cyber du modèle le plus verrouillé parce que les protections dégradaient l'attaque, et s'est reporté sur des modèles moins protégés. Les garde-fous font partie du produit, au même titre que la latence ou le prix au million de jetons.

La liste de contrôle des dix jours #

Voici ce que nous retenons des 154 pages, ramené à ce qui se décide dans une PME. Une ligne par épisode.

1. Poser le cadre. Aucune des attaques décrites n'est nouvelle ; leur coût s'est effondré. Personne n'est trop petit, parce que viser ne coûte plus rien. Épisode 1.
2. Inventorier et faire tourner les clés d'API, IA comprises ; les sortir du code et des applications ; plafonner et surveiller la consommation. Épisode 2.
3. Traiter le choix des fournisseurs comme une décision de sécurité : délai de notification contractuel, durée de vie des jetons, liste des sous-traitants, export autonome des données, revue des applications connectées. Épisode 3.
4. Centraliser les journaux et alerter sur les comportements, pas sur les signatures : persistance créée, clé SSH ajoutée, compte privilégié généré, agent de sécurité muet. Épisode 4.
5. Tenir le site web comme un système de production : mises à jour, extensions obligatoires inspectées, contrôle d'intégrité des fichiers, pas d'exécution dans les répertoires de téléversement - et sauvegardes immuables, restaurées pour de vrai, sur machine propre. Épisode 5.
6. Réduire la surface exposée : scan externe trimestriel, administration derrière un bastion, correctifs de bordure en jours, fin de support traitée comme une panne, segmentation vérifiée. Épisode 6.
7. Écrire la règle de ce qui n'entre jamais dans un assistant, acheter l'accès en direct, sortir les traitements sensibles vers un modèle hébergé chez soi. Épisode 7.
8. Minimiser et purger. Ne collecter que ce qui sert, ne conserver que le temps nécessaire, journaliser les accès aux données personnelles. C'est une mesure de sécurité, pas une formalité. Épisode 8.
9. Afficher la règle du canal secondaire : aucun virement, aucun changement de RIB ou d'accès sans rappel sur un numéro déjà connu. Ni image, ni voix, ni vidéo ne font preuve d'identité. Épisode 9.
10. Fournir un chemin IA autorisé et commode, sinon vos règles seront contournées par friction - et choisir un fournisseur sur sa transparence, son chemin de données et ses garde-fous. (Cet épisode.)

Si vous voulez savoir où vous en êtes sans acheter d'audit, commencez par l'auto-audit des 42 mesures de l'ANSSI, puis regardez le référentiel ReCyF qui structure désormais les attentes de l'État. Et si vous préférez le faire avec quelqu'un, écrivez-nous : le premier échange est gratuit.

Sources #

• Anthropic, Detecting and countering misuse of AI: September 2026 (10 septembre 2026) - chapitres Conventional weapons (pages 111-128) et Biological misuse (pages 129-138).
• Cas cités : GTG-87001, GTG-17001, GTG-27005, GTG-17002, GTG-27006, GTG-17003, et les cinq études de cas biologiques.
• Anthropic, Detecting and countering misuse of AI: August 2025 et Disrupting the first reported AI-orchestrated cyber espionage campaign.
• ANSSI / CERT-FR, Panorama de la cybermenace 2025 (11 mars 2026).
• Toute la série : 1 · 2 · 3 · 4 · 5 · 6 · 7 · 8 · 9.