Crawlers IA de citation bloqués : vous sortez des réponses de ChatGPT et Perplexity

En bref

Bloquer les crawlers IA de CITATION (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-User) vous retire des réponses de ChatGPT search, Perplexity et Claude. Nuance clé : bloquer les crawlers d'ENTRAÎNEMENT (GPTBot, Google-Extended) n'affecte pas la citation, seulement l'usage de vos contenus pour entraîner les modèles.

AvertissementRecommandations GEO

De quoi s'agit-il ?

Le robots.txt bloque des crawlers IA de citation (OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User).

Pourquoi c'est un problème pour le SEO et les IA

Ces crawlers permettent aux moteurs de réponse (ChatGPT search, Perplexity, Claude) de consulter et citer vos pages : les bloquer vous retire de leurs réponses. Nuance importante : bloquer les crawlers d’ENTRAÎNEMENT (GPTBot, Google-Extended) n’affecte pas la citation — beaucoup d’outils confondent les deux, pas Seogard.

Quand ce n'est PAS un problème

  • Vous bloquez volontairement les crawlers d'entraînement (GPTBot, ClaudeBot, Google-Extended) mais laissez passer ceux de citation : Seogard ne vous alerte pas, c'est un choix légitime.
  • Le blocage vise une zone privée ou payante que vous ne voulez de toute façon pas voir citée (back-office, contenu sous paywall).
  • Votre stratégie assume de ne pas apparaître dans les moteurs de réponse IA : c'est un arbitrage, pas une erreur technique.
Avant
# robots.txt
User-agent: PerplexityBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /
Après
# robots.txt
# Crawlers de citation autorisés
User-agent: PerplexityBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Politique d'entraînement libre par ailleurs
User-agent: GPTBot
Disallow: /

Vous pouvez autoriser la citation tout en refusant l'entraînement : ce sont deux bots distincts avec deux politiques indépendantes.

Comment corriger

  1. Ouvrez votre robots.txt et repérez les directives Disallow visant OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot ou Claude-User.
  2. Décidez explicitement : voulez-vous être cité par les moteurs de réponse IA ? Si oui, autorisez ces crawlers.
  3. Distinguez-les des bots d'entraînement (GPTBot, Google-Extended) : votre politique sur ceux-là peut rester au blocage sans impact sur la citation.
  4. Déployez le robots.txt corrigé et vérifiez qu'il répond bien en /robots.txt sans le bloquer lui-même.

Ce scan vérifie les signaux lus par les IA : données structurées, llms.txt, auteur

Ce défaut est-il sur votre site ?

Bloquez-vous sans le vouloir les crawlers qui vous citent dans ChatGPT et Perplexity ? Entrez une URL : Seogard lit votre robots.txt et distingue citation et entraînement, là où beaucoup d'outils confondent les deux. Gratuit, sans carte bancaire.

En cliquant sur Analyser, je certifie être propriétaire du site ou disposer d'une autorisation pour le crawler.

  • Sans carte bancaire
  • Résultat en ~30 s

Ce que vous récupérez

Présence possible dans les réponses des moteurs IA — un canal de trafic en croissance.

Seogard détecte cette régression automatiquement — via le monitoring GEO.

Questions fréquentes

Faut-il bloquer GPTBot et PerplexityBot ?

Ce sont deux logiques différentes. GPTBot sert à l'entraînement des modèles ; PerplexityBot sert à la citation dans les réponses. Bloquer GPTBot n'affecte pas votre présence dans les réponses ; bloquer PerplexityBot vous en retire.

Quelle différence entre crawler d'entraînement et de citation ?

Le crawler d'entraînement collecte du texte pour améliorer un modèle. Le crawler de citation consulte votre page en direct pour répondre à un utilisateur et vous citer. Seul le second influence votre visibilité dans les réponses IA.

Règles sœurs

Contenu visible seulement après JavaScriptUne part majoritaire du corps de texte n'est présente qu'après exécution JavaScript (absente du HTML brut). Les robots d'IA (ChatGPT, Perplexity, Claude) lisent le HTML brut et ne verront probablement pas ce contenu. Title absent du HTML brut (rempli par JavaScript)Le <title> est absent du HTML brut envoyé par votre serveur mais rempli après chargement JavaScript. Google peut le voir avec délai et les LLM (ChatGPT, Perplexity, Claude) ne le voient probablement pas — ils lisent principalement le HTML brut. Solution : rendre le titre côté serveur (SSR). Meta description absente du HTML brut (remplie par JavaScript)La meta description est absente du HTML brut mais présente après chargement JavaScript. Google et les LLM lisent surtout le HTML brut — votre snippet de recherche et votre visibilité IA peuvent en pâtir. Solution : rendre la meta description côté serveur (SSR).

Cas connexe : Nouveau blocage de crawlers IA de citation

Mis à jour le 10 juillet 2026