Retourner sur le Blog
Les robots des IA et le robots.txt

Les robots des IA et le robots.txt

SEO
Ecrit par
Julien Marie-Louise
June 5, 2026
7 min
Table des matières
Partager à un ami 

Pour que ChatGPT ou Perplexity puissent citer votre site, encore faut-il qu'ils puissent le lire. Et c'est là que beaucoup d'entreprises perdent la partie sans le savoir : leurs réglages bloquent les robots des IA. Voici qui sont ces robots, à quoi sert le fameux robots.txt, et comment le régler en quelques minutes.

Les robots des IA en bref : la définition

Les robots des IA (ou crawlers IA) sont des programmes qui parcourent le web pour permettre aux intelligences artificielles de lire et d'utiliser les contenus des sites. Les principaux : GPTBot et OAI-SearchBot (OpenAI/ChatGPT), ClaudeBot (Anthropic), PerplexityBot (Perplexity) et Google-Extended (les usages IA de Google).

À quoi servent-ils exactement ?

Chaque robot a un rôle précis : certains collectent des contenus pour entraîner les modèles, d'autres vont chercher des pages au moment où un utilisateur pose une question, pour citer des sources fraîches dans la réponse. Dans les deux cas, un site qui leur est fermé n'existe pas pour les IA.

Le robots.txt, c'est quoi ?

Le robots.txt est un petit fichier texte placé à la racine de votre site (votresite.fr/robots.txt) qui indique aux robots ce qu'ils ont le droit de lire. C'est le panneau d'entrée de votre site : tout robot sérieux le consulte avant de visiter vos pages.

Le réglage recommandé pour le GEO

Pour être visible dans les IA, autorisez explicitement les principaux robots :

User-agent: GPTBot — Allow: / · User-agent: OAI-SearchBot — Allow: / · User-agent: ClaudeBot — Allow: / · User-agent: PerplexityBot — Allow: / · User-agent: Google-Extended — Allow: /

Sur la plupart des CMS (Webflow, WordPress…), ce fichier se modifie dans les réglages du site, sans toucher au code.

Faut-il autoriser ou bloquer les robots des IA ?

Pour une TPE/PME : autoriser

Si votre objectif est de vous faire connaître et générer des prospects, bloquer les IA revient à refuser d'être recommandé. La visibilité gagnée vaut largement la réutilisation de vos contenus.

Le cas particulier des médias

Un site qui vit de la publicité affichée sur ses pages peut légitimement vouloir limiter la réutilisation de ses contenus. Ce n'est généralement pas le cas d'une entreprise de services.

Comment vérifier que les robots passent ?

  1. Ouvrez votresite.fr/robots.txt et vérifiez qu'aucune ligne ne bloque (Disallow) les robots cités plus haut.
  2. Demandez à ChatGPT de résumer une de vos pages : s'il y parvient fidèlement, il y a accès.
  3. Surveillez vos statistiques : les passages de GPTBot et consorts apparaissent dans les journaux de votre hébergeur.

Vos questions fréquentes

Autoriser les robots IA ralentit-il mon site ?

Non, leur passage est léger et espacé — comparable à celui du robot de Google que votre site accueille déjà.

Mon site est ouvert : pourquoi ne suis-je pas cité ?

L'accès est un prérequis, pas une garantie. Encore faut-il que vos contenus soient citables : c'est l'objet de la méthode C.I.T.E.™ et de notre guide optimiser un article pour ChatGPT.

Et le sitemap dans tout ça ?

Le sitemap (la liste de vos pages) aide tous les robots à découvrir vos contenus. Vérifiez qu'il est déclaré dans votre robots.txt — c'est généralement automatique sur les CMS modernes.

Envie de savoir où vous en êtes ?

Je vérifie gratuitement l'accès de votre site aux IA et je vous dis, en 30 minutes, ce qui vous empêche d'être cité. Sans engagement. Réserver mon audit gratuit (30 min). Pour comprendre l'enjeu global : qu'est-ce que le GEO ? et notre page dédiée.

Article rédigé par Julien Marie-Louise, consultant SEO/GEO et formateur, fondateur de Contenu Web Marketing. Plus de 600 heures de coaching et 120 audits menés auprès de TPE/PME francophones.