Deux fichiers, deux rôles opposés
La confusion est reine ici, alors posons-la clairement. Le robots.txt dit à Google où il n’a pas le droit d’aller explorer. Le sitemap.xml lui propose la liste des URLs à découvrir. L’un restreint, l’autre invite. Aucun des deux ne « désindexe » ni ne « force » quoi que ce soit : ce sont des panneaux de signalisation, pas des ordres d’indexation.
robots.txt : contrôler l’exploration
Placé à la racine, il indique aux robots les chemins à ne pas explorer (Disallow) et ceux autorisés (Allow). On y bloque typiquement les zones sans intérêt SEO : panier, compte, recherche interne, certains paramètres. Il peut aussi référencer le sitemap. Sa syntaxe est simple, mais une erreur — un Disallow: / oublié — bloque tout le site.
Disallow: / hérité d’une préproduction qui passe en production. Le site entier devient inexplorable. À vérifier systématiquement après chaque mise en ligne.Le piège : bloquer n’est pas désindexer
Erreur la plus répandue : croire qu’un Disallow retire une page de Google. En réalité, une URL bloquée au crawl mais déjà connue (via des liens) peut rester indexée, affichée sans description. Pire : comme Google ne peut plus l’explorer, il ne peut pas lire un éventuel noindex. Pour désindexer, il faut laisser Google explorer la page et y trouver un noindex — l’inverse d’un blocage.
sitemap.xml : guider la découverte
Le sitemap liste les URLs que vous voulez faire connaître à Google. Il est particulièrement utile sur les grands sites, les pages peu maillées ou récemment publiées. Il n’impose pas l’indexation : il accélère la découverte. Google décide ensuite, selon la qualité de chaque page.
Un sitemap propre, sinon rien
Un bon sitemap ne contient que des URLs :
- Canoniques — jamais de variantes ni de non-canoniques.
- Indexables — pas de pages en
noindex. - En 200 — ni redirections, ni 404.
- À jour — la fraîcheur du sitemap est un signal en soi.
Un sitemap rempli d’URLs incohérentes envoie des signaux contradictoires et perd son intérêt. La cohérence entre sitemap, canonicals et redirections est un marqueur de rigueur technique.
En résumé
Retenez la ligne de partage : robots.txt = exploration, sitemap = découverte, noindex = indexation. Trois leviers distincts, à ne jamais confondre. Bien réglés et cohérents entre eux, ils orientent efficacement le crawl vers les pages qui comptent.