IA

IA : votre site a déjà dit oui. Une ligne de robots.txt permet enfin de dire non

Le 30 octobre, Google, Microsoft et OpenAI ont soutenu une même ligne du fichier robots.txt pour refuser que vos pages entraînent leurs IA. Sans elle, votre site a déjà répondu oui. Ce que dit la règle, le piège chez Google, et comment décider.

Dessin au trait fin : au centre, une feuille au coin replié faite de lignes sans texte ; un point corail marque une ligne nouvelle. À gauche, une loupe dont le pointillé atteint la feuille. À droite, un réseau de nœuds reliés : le pointillé qui part de la feuille s'arrête net devant une courte barre.Dessin au trait fin : au centre, une feuille au coin replié faite de lignes sans texte ; un point corail marque une ligne nouvelle. À gauche, une loupe dont le pointillé atteint la feuille. À droite, un réseau de nœuds reliés : le pointillé qui part de la feuille s'arrête net devant une courte barre.Dessin au trait fin : au centre, une feuille au coin replié faite de lignes sans texte ; un point corail marque une ligne nouvelle. À gauche, une loupe dont le pointillé atteint la feuille. À droite, un réseau de nœuds reliés : le pointillé qui part de la feuille s'arrête net devant une courte barre.
Sommaire (10 sections)
  1. Un fichier de 1994 qui parle aux robots
  2. Une seule ligne pour tous
  3. Ne rien écrire, c'est laisser faire
  4. Entraîner et répondre, deux choses différentes
  5. Ce que font déjà les grands sites
  6. Faut-il dire non ?
  7. Trois fichiers types à adapter
  8. Ce qu'il faut vérifier sur votre site
  9. Ce que cette règle dit de l'IA et du web
  10. Sources

Le 30 octobre, Google, Microsoft et OpenAI ont annoncé, le même jour, qu'ils allaient respecter une même ligne dans le fichier robots.txt des sites web. Cette ligne permet de refuser que vos pages servent à entraîner leurs intelligences artificielles. Le texte qui la décrit a été rédigé par un ingénieur d'Anthropic, l'éditeur de Claude. Quatre concurrents qui s'accordent sur une règle, c'est rare. Mais le détail le plus important tient en une phrase de ce texte : sans cette ligne, vous n'avez rien refusé. Voici ce que dit la règle, le piège qu'elle cache chez Google, ce que font déjà Le Monde, Le Figaro ou Leboncoin, et comment décider pour votre site.

Un fichier de 1994 qui parle aux robots #

Chaque site possède, à son adresse suivie de /robots.txt, un petit fichier texte. Les robots des moteurs de recherche le lisent avant de parcourir vos pages : il leur indique où ils peuvent aller et où ils ne doivent pas entrer. La convention date de 1994 et n'a été normalisée qu'en 2022. Elle a toujours reposé sur la bonne volonté : le fichier ne bloque rien, il demande.

Avec l'arrivée des IA génératives, chaque éditeur a ajouté son propre robot : GPTBot chez OpenAI, Google-Extended chez Google, ClaudeBot chez Anthropic, et bien d'autres. Pour refuser l'entraînement, il fallait connaître tous ces noms, les écrire un par un et guetter les nouveaux. Peu de sites l'ont fait, et beaucoup l'ont fait à moitié.

Une seule ligne pour tous #

Le texte déposé à l'IETF, l'organisme qui écrit les règles techniques d'internet, propose un nom commun que chaque éditeur s'engage à reconnaître. Il se place là où l'on met d'habitude le nom d'un robot et s'utilise avec les règles que robots.txt connaît déjà. Pour refuser l'entraînement sur tout le site, sauf l'espace presse par exemple, trois lignes suffisent.

robots.txt
User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

Le calendrier varie selon les éditeurs. Microsoft appliquera la ligne à partir du 1er février 2027 pour Bing. Google annonce une prise en charge dans le courant de 2027. OpenAI vise « les prochains mois » et garde ses règles actuelles d'ici là. Anthropic a commencé à l'intégrer. Le texte reste pour l'instant une proposition individuelle, pas encore une norme, et il peut évoluer avant d'être adopté.

Ne rien écrire, c'est laisser faire #

C'est le passage que peu de commentaires ont relevé. Le texte précise qu'un fichier robots.txt sans cette ligne n'exprime aucune préférence, et que c'est le cas de tous les fichiers publiés à ce jour. Microsoft l'écrit plus franchement : l'autorisation est la valeur par défaut. Autrement dit, si vous ne faites rien, votre site a déjà répondu oui.

Autre subtilité : la règle générale « User-Agent: * », celle que presque tous les sites utilisent, ne compte pas. Même un site qui a soigneusement réglé ses accès pour tous les robots n'a, au sens de ce texte, rien dit sur l'entraînement. Pour exprimer un choix, il faut l'écrire avec le nouveau nom.

Entraîner et répondre, deux choses différentes #

Cette confusion est au cœur du sujet. Entraîner, c'est utiliser vos textes pour fabriquer le modèle, une fois, sans vous citer. Répondre, c'est aller lire votre page au moment où quelqu'un pose une question, et souvent la citer avec un lien. Le premier ne vous rapporte rien de visible. Le second peut vous amener des clients.

Microsoft sépare clairement les deux : la ligne commune ne concerne que l'entraînement, et un autre réglage, page par page, décide si Copilot et Bing peuvent s'appuyer sur votre contenu pour répondre. Chez Google, les réponses générées dans la recherche, les AI Overviews et le mode IA, relèvent encore d'un autre réglage, dans la Search Console. Refuser l'entraînement ne vous retire donc pas des résultats de recherche. Mais chaque éditeur trace la frontière à un endroit différent, et c'est là que les erreurs se glissent.

Ce que font déjà les grands sites #

Les fichiers robots.txt sont publics : il suffit d'ajouter /robots.txt à l'adresse d'un site pour les lire. Nous avons relevé ceux de plusieurs grands sites français le 4 novembre 2026. Aucun n'utilise encore la ligne commune, publiée cinq jours plus tôt. Mais chacun a déjà fait un choix, et ces choix sont très différents.

Le Monde a choisi la liste. Son fichier nomme plus de 300 robots, un par un, et ferme la porte à ceux de Google, d'Anthropic, d'Apple ou de Mistral. Un nom manque à l'appel : GPTBot, le robot d'OpenAI. Le journal a signé en mars 2024 un accord pluriannuel qui permet à OpenAI d'utiliser ses articles. Ici, le robots.txt raconte un contrat.

lemonde.fr/robots.txt (extrait)
User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

Le Figaro sépare l'entraînement et la réponse. GPTBot, ClaudeBot et Google-Extended sont refusés partout. Mais OAI-SearchBot et ChatGPT-User, les robots qui vont lire une page quand quelqu'un pose une question à ChatGPT, ont accès à une sélection de rubriques : voyages, culture, mode, bons plans. Le journal accepte d'être cité dans les réponses, là où il le décide, sans nourrir les modèles.

lefigaro.fr/robots.txt (extraits)
User-agent: OAI-SearchBot
Allow: /voyages
Allow: /culture
Allow: /style
Allow: /beaute
Allow: /joaillerie
Allow: /mode-homme
Allow: /horlogerie
Allow: /bons-plans
Allow: /elections/resultats
Disallow: /

User-agent: GPTBot
Disallow: /

Leboncoin pousse la logique plus loin, avec des commentaires qui disent tout : un bloc pour les robots de recherche et de réponse des IA, un autre pour ceux de l'entraînement. Les annonces de voitures sont ouvertes aux premiers. Aucune annonce n'est ouverte aux seconds.

leboncoin.fr/robots.txt (extraits)
# LLMs / AI SEARCH / RETRIEVAL bots
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
# …
Allow: /ad/voitures/
Disallow: /ad/
Allow: /

# LLMs / AI TRAINING
User-agent: GPTBot
User-agent: ClaudeBot
# …
Disallow: /ad/
Allow: /

Trois sites, trois stratégies, et un point commun : chacun a dû nommer les robots un par un, et devra recommencer à chaque nouveau venu. C'est exactement ce que la ligne commune doit simplifier. Notez aussi que Le Monde et Le Figaro bloquent Google-Extended en entier : ils renoncent donc, du même coup, aux réponses de l'application Gemini.

Faut-il dire non ? #

Tout dépend de ce que votre site vend. Si vos textes sont votre produit, articles de presse, formations, études ou photos, refuser l'entraînement protège ce qui a de la valeur, et la ligne commune rend enfin ce refus simple. Si votre site sert d'abord à être trouvé, comme celui d'une PME, d'un cabinet ou d'un artisan, la réponse est moins évidente. Quand quelqu'un demande à un assistant quel prestataire choisir, l'IA ne peut citer que ce qu'elle connaît.

Entre les deux, la ligne permet des choix fins : refuser l'entraînement sur vos contenus payants et le laisser sur vos pages de présentation, ou l'inverse. L'essentiel est que ce soit un choix, et non le résultat d'un fichier que personne n'a relu depuis la création du site.

En Europe, ce choix pèse un peu plus qu'ailleurs. Google rappelle que la ligne est cohérente avec le code de bonnes pratiques de l'AI Act, qui reconnaît le robots.txt comme un moyen d'exprimer ses préférences de façon lisible par une machine. Écrire la ligne, c'est laisser une trace claire de votre décision. Reste une limite qui ne changera pas : seuls ceux qui s'y engagent la respectent.

Trois fichiers types à adapter #

Voici trois points de départ, à adapter à votre site. Le premier refuse l'entraînement partout, pour un site dont les contenus sont le produit.

robots.txt
User-Agent: __usage_ai-training
Disallow: /

Le deuxième refuse l'entraînement sur une partie du site seulement, par exemple vos contenus payants ou vos ressources, et le laisse sur le reste.

robots.txt
User-Agent: __usage_ai-training
Disallow: /ressources/
Allow: /

Le troisième refuse l'entraînement chez tous les éditeurs, sauf chez Google, pour rester dans les réponses de Gemini. Chez Google, on ne peut pas séparer les deux : rester dans Gemini, c'est aussi accepter que vos pages entraînent ses modèles.

robots.txt
User-Agent: __usage_ai-training
Disallow: /

User-Agent: Google-Extended
Allow: /

Dans les trois cas, gardez vos règles existantes à côté, notamment le bloc « User-Agent: * » : la nouvelle ligne s'ajoute, elle ne remplace rien.

Ce qu'il faut vérifier sur votre site #

Commencez par ouvrir l'adresse de votre site suivie de /robots.txt dans un navigateur. Vous y trouverez peut-être des règles anciennes, posées par un prestataire ou une extension, qui bloquent déjà certains robots d'IA sans que personne ne s'en souvienne. Vérifiez qu'elles correspondent à ce que vous voulez aujourd'hui.

Décidez ensuite, avec la personne qui s'occupe de votre visibilité, ce que vous acceptez pour l'entraînement d'une part, et pour les réponses des assistants d'autre part. Si Google compte pour vous, réglez Google-Extended explicitement plutôt que de laisser la ligne commune décider à votre place. Notez enfin les dates : la ligne n'aura d'effet chez Bing qu'à partir de février 2027, et chez Google dans le courant de l'année. Rien ne presse, mais rien ne se fera tout seul.

Ce que cette règle dit de l'IA et du web #

Pendant trente ans, robots.txt a servi à dire aux moteurs où ne pas aller. Il sert désormais à dire ce qu'on accepte qu'ils fassent de ce qu'ils lisent. La nouveauté n'est pas technique, elle est dans l'accord : pour la première fois, les grands éditeurs d'IA s'engagent à lire la même phrase. Encore faut-il l'écrire.

Pour les sites que nous réalisons, le fichier robots.txt fait partie de la mise en ligne, au même titre que le plan du site : nous l'écrivons avec vous et nous expliquons chaque ligne. La question de ce que les IA peuvent faire de vos contenus se pose aussi dans tout projet d'IA, et nous la traitons dès le cadrage de nos missions de conseil en IA.

Vous ne savez pas ce que dit le robots.txt de votre site, ni ce qu'il devrait dire ? Envoyez-nous son adresse : nous le relisons avec vous et nous vous disons, ligne par ligne, ce qu'il autorise et ce qu'il refuse.

Sources #

À propos
01/À lire ensuiteTrois articles

Articles liés

IA

Un auditeur IA qui doute de lui-même : ce que vaut la skill security-audit de Cloudflare

Cloudflare a publié la méthode qui a amorcé son système interne de recherche de failles : une skill qui transforme un agent de code en auditeur. Nous l'avons lue fichier par fichier. Ce qu'elle apporte vraiment, pourquoi la plupart de ses pistes resteront « à valider », et l'angle mort que les tutoriels ne montrent pas : le dépôt audité parle aussi à l'agent.

agents IAaudit de sécurité
IA

Pourquoi l'IA a révolutionné le développement : anatomie d'un virage à trois semaines

La révolution n'est pas que l'IA écrit du code plus vite. C'est que le coût du changement s'est effondré, et qu'un projet peut désormais changer de framework, de base de données et de front en trois semaines — à condition d'avoir payé d'avance en garde-fous. Démonstration datée sur la plateforme BuyStep.

iaméthode

Et maintenant

Intégrer l'IA là où elle sert vraiment ?

Cas d'usage, données, hébergement : un cadrage honnête avant tout développement.

Discuter de votre projet

Réponse sous 24 h ouvrées, par un fondateur. Ou par téléphone : 07 59 96 14 99 ou 07 59 68 44 74.