robots.txt modifié : une ligne peut bloquer tout votre crawl

En bref

robots.txt modifié signale que le fichier qui pilote le crawl de votre site a changé : une ligne comme Disallow: / poussée par erreur coupe l'indexation de sections entières. Relisez immédiatement le diff et confirmez chaque règle avant que Google ne le lise.

AvertissementP2 — CTR / SERP

De quoi s'agit-il ?

Le fichier robots.txt du site a changé.

Pourquoi c'est un problème pour le SEO et les IA

Une ligne de robots.txt peut couper le crawl de sections entières. La plupart des catastrophes SEO de déploiement (« Disallow: / » de pré-prod poussé en prod) passent par ce fichier. Tout changement mérite une relecture immédiate.

Quand ce n'est PAS un problème

  • Le changement est volontaire et relu : ajout d'un Sitemap, blocage assumé d'un répertoire technique.
  • La modification ne touche que des chemins déjà non indexés (paramètres de tri, panier, recherche interne).
  • Vous êtes au tout premier crawl du site : Seogard établit d'abord une référence du robots.txt.
Avant
# robots.txt poussé par erreur (config de pré-prod)
User-agent: *
Disallow: /
Après
# robots.txt de production
User-agent: *
Disallow: /panier
Disallow: /recherche
Sitemap: https://monsite.fr/sitemap.xml

Le Disallow: / bloque tout le site au crawl : c'est la catastrophe SEO de déploiement la plus classique, souvent un fichier de pré-prod poussé tel quel.

Comment corriger

  1. Ouvrez le robots.txt en production et comparez-le à la version attendue, ligne par ligne.
  2. Vérifiez en priorité l'absence de Disallow: / et de blocages sur vos sections importantes.
  3. Corrigez la source du fichier (souvent un template d'environnement) et redéployez.
  4. Recrawlez et confirmez que le robots.txt sert bien les règles voulues.

Ce scan vérifie le statut HTTP, le noindex et le canonical de chaque page

Ce défaut est-il sur votre site ?

Votre robots.txt a-t-il changé au dernier déploiement ? Entrez une URL : Seogard surveille le fichier à chaque crawl et vous alerte dès qu'une ligne bloque le crawl. Gratuit, sans carte bancaire.

En cliquant sur Analyser, je certifie être propriétaire du site ou disposer d'une autorisation pour le crawler.

  • Sans carte bancaire
  • Résultat en ~30 s

Ce que vous récupérez

Aucun blocage de crawl accidentel ne survit plus d’un crawl.

Seogard détecte cette régression automatiquement — via le monitoring de vos metas et canonicals.

Questions fréquentes

Un robots.txt peut-il désindexer mes pages ?

Un Disallow empêche le crawl mais pas toujours l'indexation. Combiné à une refonte, il peut faire disparaître le contenu de l'index car Google ne peut plus le revoir. Le risque est réel.

À quelle fréquence Google lit-il robots.txt ?

Google recharge le robots.txt régulièrement, souvent en cache jusqu'à 24 heures. Un mauvais fichier peut donc agir avec un léger délai, d'où l'intérêt de le corriger vite.

Règles sœurs

Redirection temporaire sur page retiréeUne page sortie du sitemap redirige en 302/307 (temporaire). Google garde l’ancienne URL indexée et consolide mal les signaux vers la cible. Si le retrait est définitif, une redirection 301 (permanente) transmet le jus proprement. Suppression sans 410 ni 301Une page sortie du sitemap renvoie un 404 nu. Ça fonctionne, mais le signal est ambigu : Google la re-crawle pendant des semaines. Suppression définitive → 410 (désindexation plus rapide) ; contenu déplacé → 301 (préserve le jus des backlinks). Page noindex déclarée au sitemapCette page est déclarée dans votre sitemap mais porte une directive noindex (balise meta ou en-tête X-Robots-Tag) : vous demandez à Google de l’indexer et de l’ignorer en même temps. Budget de crawl gaspillé et rapports d’indexation GSC pollués. Retirez-la du sitemap, ou retirez le noindex.

Mis à jour le 10 juillet 2026