.png)
Vous avez bloqué une section de votre site dans le robots.txt, et Google l'indexe quand même ? Ce n'est pas forcément un bug de Google. John Mueller, de Google, vient d'expliquer un piège classique du fichier robots.txt qui peut faire ignorer purement et simplement une partie de vos règles, sans message d'erreur ni avertissement. Voici le mécanisme exact et comment vous assurer que ça ne vous arrive pas.
Le cas concret qui a révélé le problème
Un utilisateur a signalé sur Reddit un problème de spam sur la barre de recherche d'une boutique Shopify gérée pour un client. Le principe du spam de barre de recherche est simple : des spammeurs utilisent le moteur de recherche interne du site avec des requêtes contenant un lien ou un nom de domaine, ce qui génère automatiquement une URL de résultats de recherche reprenant ce contenu indésirable.
Le client avait bien ajouté une règle disallow sur /search dans son robots.txt pour empêcher l'indexation de ces pages. Pourtant, Google continuait à indexer ces URLs générées par le spam, malgré la règle en place.
Le diagnostic de John Mueller
En examinant le fichier robots.txt du site en question, John Mueller a identifié la cause : le fichier contenait à la fois une section dédiée spécifiquement à "user-agent: Googlebot" et une section plus large pour "user-agent: " (tous les robots). Or les règles du robots.txt fonctionnent selon un principe de spécificité : dès qu'une section vise explicitement un user-agent donné, ce dernier n'applique que les règles de sa propre section, et ignore complètement celles du bloc générique "user-agent: ", même si elles contiennent les bonnes directives.
Autrement dit, la règle disallow sur /search se trouvait dans le bloc générique, mais comme Googlebot avait sa propre section dédiée ailleurs dans le fichier, il ignorait purement et simplement le bloc générique et n'appliquait que ses propres règles, incomplètes.
Ce comportement n'est pas un bug : il permet volontairement de cibler des robots spécifiques avec des règles différentes du reste. Mais il devient un piège dès qu'on ajoute une section spécifique à Googlebot sans y recopier toutes les règles prévues pour l'ensemble des robots.
Comment corriger et éviter ce piège
Deux solutions concrètes ressortent de l'explication de Google :
- Recopier toutes les règles nécessaires dans la section spécifique à Googlebot, si vous en avez une, plutôt que de compter sur le bloc générique pour s'appliquer automatiquement.
- Regrouper les user-agents qui doivent partager les mêmes règles dans un seul bloc, en listant chaque user-agent concerné l'un après l'autre avant les directives communes, plutôt que de dupliquer des sections séparées qui risquent de diverger.
Ce rappel technique simple évite l'un des pièges les plus sournois du robots.txt : une règle qui semble correcte à la lecture, mais qui n'est jamais appliquée à cause d'une section plus spécifique ailleurs dans le même fichier.
Robots.txt et noindex : deux outils, deux rôles différents
Ce cas rappelle aussi une confusion fréquente : le robots.txt contrôle le crawl, pas l'indexation. Une page peut être bloquée au crawl via robots.txt et rester malgré tout indexable si Google a déjà connaissance de son URL par un autre moyen, par exemple un lien externe.
Pour empêcher réellement l'indexation d'une page, la directive noindex placée directement dans le code de la page est plus fiable que le robots.txt, à condition que la page ne soit pas elle-même bloquée au crawl, sinon Google ne peut jamais lire la directive noindex.
Comment se prémunir du spam de barre de recherche
Au-delà du piège robots.txt, le cas initial pointe vers un problème plus large : la gestion du spam sur les moteurs de recherche internes des sites e-commerce.
Sur Shopify, il est possible d'ajouter automatiquement une directive noindex sur toutes les pages de résultats de recherche, en modifiant le fichier de mise en page du thème pour exclure le template de recherche, à condition de ne pas bloquer ces pages via robots.txt pour que la directive puisse être lue.
Sur WordPress, les extensions SEO les plus courantes (Yoast, Rank Math, AIOSEO) appliquent déjà un noindex par défaut sur les pages de résultats de recherche interne. Certains thèmes et constructeurs de pages empêchent également la génération de résultats de recherche contenant les termes spammés.
L'essentiel à retenir
- Une section robots.txt spécifique à un user-agent (comme Googlebot) fait ignorer complètement le bloc générique "user-agent: *" pour ce robot, même si ce dernier contient les bonnes règles.
- Pour éviter ce piège, recopiez les règles nécessaires dans chaque section spécifique, ou regroupez les user-agents partageant les mêmes directives.
- Robots.txt contrôle le crawl, pas l'indexation : une page bloquée au crawl peut encore être indexée si Google connaît déjà son URL par ailleurs.
- Pour bloquer réellement l'indexation, utilisez noindex directement sur la page plutôt que le robots.txt.
Vous voulez auditer la cohérence de votre robots.txt et de vos directives d'indexation ?
Demandez un audit technique SEO de votre site.
FAQ
Pourquoi Google ignore-t-il certaines règles de mon robots.txt ?
Si votre fichier contient une section spécifique à un user-agent (comme Googlebot) en plus du bloc générique "user-agent: *", ce robot n'appliquera que les règles de sa propre section, en ignorant complètement le bloc générique.
Robots.txt empêche-t-il l'indexation d'une page ?
Non, robots.txt contrôle uniquement le crawl. Une page peut rester indexable même bloquée au crawl, si Google a connaissance de son URL par un autre moyen. Pour empêcher l'indexation, il faut utiliser une directive noindex sur la page elle-même.
Comment éviter le spam de barre de recherche sur mon site ?
Sur Shopify, en ajoutant un noindex sur le template de recherche sans bloquer ces pages via robots.txt. Sur WordPress, les principales extensions SEO appliquent déjà un noindex par défaut sur les pages de résultats de recherche interne.
Comment vérifier que mon robots.txt ne contient pas ce piège ?
Vérifiez si votre fichier contient plusieurs sections user-agent distinctes. Si c'est le cas, assurez-vous que chaque section spécifique contient bien toutes les règles nécessaires, plutôt que de compter sur le bloc générique pour s'appliquer à tous les robots.
.png)
.png)