Vous venez de bloquer des crawlers IA de citation : quel effet ?

En bref

Votre robots.txt bloque désormais des crawlers IA de citation (OAI-SearchBot, PerplexityBot, Claude-SearchBot...) : ce sont eux qui permettent à ChatGPT search, Perplexity et Claude de consulter et citer vos pages. Il faut les retirer des règles Disallow si vous voulez rester citable.

AvertissementGEO — Visibilité IA

De quoi s'agit-il ?

Le robots.txt bloque désormais des crawlers IA de citation qui étaient autorisés.

Pourquoi c'est un problème pour le SEO et les IA

Les crawlers de citation (OAI-SearchBot et ChatGPT-User côté OpenAI, PerplexityBot et Perplexity-User côté Perplexity, Claude-SearchBot et Claude-User côté Anthropic) sont ceux qui permettent à ChatGPT search, Perplexity ou Claude de consulter et CITER vos pages. Les bloquer vous retire des réponses IA. À distinguer des crawlers d’entraînement (GPTBot, ClaudeBot, Google-Extended) dont le blocage n’affecte pas la citation.

Quand ce n'est PAS un problème

  • Vous avez décidé en connaissance de cause de sortir des moteurs de réponse IA : le blocage est une politique assumée.
  • Les bots concernés sont des crawlers d'entraînement (GPTBot, ClaudeBot, Google-Extended) : les bloquer n'affecte pas la citation, seulement l'entraînement des modèles.
  • Le blocage vise une zone privée ou payante qui n'a pas vocation à être citée : cohérent avec votre stratégie.
Avant
# robots.txt
User-agent: OAI-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /
Après
# robots.txt
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# On peut garder Disallow sur les bots d'entrainement si besoin
User-agent: GPTBot
Disallow: /

Les crawlers de citation (recherche/browse live) donnent accès aux réponses IA ; les crawlers d'entraînement, non. On distingue les deux.

Comment corriger

  1. Ouvrez votre robots.txt et repérez les nouvelles règles Disallow visant des crawlers de citation (OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User).
  2. Déterminez si ce blocage est voulu ou hérité d'une règle User-agent: * trop large.
  3. Retirez ces crawlers de citation des règles Disallow tout en gardant, si c'est votre politique, le blocage des bots d'entraînement.
  4. Redéployez le robots.txt puis recrawlez pour confirmer que les crawlers de citation sont de nouveau autorisés.

Ce scan vérifie les signaux lus par les IA : données structurées, llms.txt, auteur

Ce défaut est-il sur votre site ?

Un déploiement a-t-il bloqué les robots qui vous citent dans ChatGPT ou Perplexity ? Entrez une URL : Seogard lit votre robots.txt et distingue crawlers de citation et d'entraînement. Gratuit, sans carte bancaire.

En cliquant sur Analyser, je certifie être propriétaire du site ou disposer d'une autorisation pour le crawler.

  • Sans carte bancaire
  • Résultat en ~30 s

Ce que vous récupérez

Vos contenus redeviennent consultables et citables par les moteurs de réponse IA.

Seogard détecte cette régression automatiquement — via le monitoring GEO.

Questions fréquentes

Quelle différence entre un crawler de citation et un crawler d'entraînement ?

Le crawler de citation (OAI-SearchBot, PerplexityBot, Claude-SearchBot) consulte vos pages en direct pour répondre et vous citer ; le crawler d'entraînement (GPTBot, ClaudeBot) collecte du texte pour entraîner un modèle. Bloquer le second n'affecte pas la citation.

Bloquer ces crawlers a-t-il un effet immédiat ?

Oui, à leur prochaine tentative : un crawler bloqué ne peut plus lire vos pages, donc les moteurs de réponse IA cessent de pouvoir les consulter et les citer.

Règles sœurs

/llms.txt suppriméLe fichier /llms.txt a été supprimé. Fichier optionnel : aucun grand LLM ne confirme le consommer à ce jour (proposition non adoptée) — utile surtout pour la documentation et les agents, pas un facteur de citation. FAQ schema suppriméLe schema FAQPage a été supprimé. Google n'affiche plus de rich result FAQ en SERP : impact direct faible, mais la suppression peut signaler un composant retiré par erreur. Le contenu Q/R visible reste lisible par Google et les LLM. Auteur supprimé (JSON-LD)L'auteur a disparu des données structurées. Les IA citent moins les contenus anonymes — perte de crédibilité.

Cas connexe : Crawlers IA de citation bloqués (robots.txt)

Mis à jour le 10 juillet 2026