Votre robots.txt bloque Googlebot : la désindexation qui arrive

En bref

Votre robots.txt bloque Googlebot sur une partie du site : c'est l'incident le plus radical possible, les sections bloquées ne sont plus crawlées, ne sont plus mises à jour dans l'index, puis se dégradent. Il faut retirer la règle Disallow immédiatement, sauf blocage volontaire et documenté.

CritiqueP0 — Désindexation

De quoi s'agit-il ?

Le robots.txt bloque Googlebot sur une partie du site.

Pourquoi c'est un problème pour le SEO et les IA

C’est l’incident le plus radical possible : les sections bloquées ne seront plus crawlées, donc plus mises à jour dans l’index, puis dégradées. Le « Disallow » de pré-prod poussé en production est un grand classique des pertes de trafic massives.

Quand ce n'est PAS un problème

  • Le blocage est volontaire et documenté sur une zone qui ne doit pas être indexée (back-office, panier, résultats de recherche interne).
  • Le chemin bloqué ne contient aucune page destinée au référencement : aucun trafic organique n'est en jeu.
  • Il s'agit d'un site de préproduction qui doit rester hors de l'index : le Disallow global y est justement souhaité.
Avant
# robots.txt (staging pousse en prod par erreur)
User-agent: *
Disallow: /
Après
# robots.txt
User-agent: *
Allow: /

# Bloquer uniquement ce qui n'a pas a etre indexe
Disallow: /panier
Disallow: /admin

« Disallow: / » sous User-agent: * coupe Google de tout le site : c'est la ligne à ne jamais laisser passer en production.

Comment corriger

  1. Ouvrez le robots.txt en production et repérez la règle Disallow qui s'applique à Googlebot (sous User-agent: Googlebot ou User-agent: *).
  2. Confirmez que ce blocage n'est pas voulu : dans la quasi-totalité des cas, un Disallow large sur Google est un accident (staging poussé en prod).
  3. Retirez ou restreignez la règle pour ne bloquer que les chemins réellement non indexables, puis redéployez immédiatement.
  4. Recrawlez et, dans la Search Console, testez le robots.txt pour confirmer que Googlebot a de nouveau accès aux pages à indexer.

Ce scan vérifie le statut HTTP, le noindex et le canonical de chaque page

Ce défaut est-il sur votre site ?

Votre robots.txt bloque-t-il Google sans que vous le sachiez ? Entrez une URL : Seogard lit votre robots.txt et vous alerte au premier Disallow qui coupe Googlebot. Gratuit, sans carte bancaire.

En cliquant sur Analyser, je certifie être propriétaire du site ou disposer d'une autorisation pour le crawler.

  • Sans carte bancaire
  • Résultat en ~30 s

Ce que vous récupérez

Google conserve l’accès à tout ce qui doit être indexé.

Seogard détecte cette régression automatiquement — via le monitoring de vos metas et canonicals.

Questions fréquentes

Combien de temps avant une désindexation si Googlebot est bloqué ?

Le crawl s'arrête tout de suite sur les chemins bloqués ; l'index cesse d'être rafraîchi, puis les pages se dégradent et finissent par sortir des résultats. Plus le blocage dure, plus la perte est profonde.

Bloquer dans robots.txt suffit-il à désindexer une page ?

Non, et c'est un piège : une page déjà indexée mais bloquée au crawl peut rester dans l'index sans que Google puisse voir un noindex. Pour désindexer proprement, il faut laisser Google crawler la page et lui servir un noindex.

Règles sœurs

Noindex ajoutéUne directive noindex a été ajoutée (balise meta robots/googlebot ou en-tête HTTP X-Robots-Tag). La page va disparaître des résultats Google sous quelques jours. Code HTTP modifiéLe code HTTP a changé (ex : 200 → 404 ou 301). Critical si erreur serveur (4xx/5xx), warning si redirection (3xx). Canonical manquantLa balise canonical a disparu. Risque de contenu dupliqué — Google ne sait plus quelle URL indexer.

Mis à jour le 10 juillet 2026