Ce qu’est (vraiment) le budget de crawl
Le budget de crawl est le nombre d’URLs que Googlebot explore sur votre site sur une période donnée. Il résulte de deux facteurs : la limite de crawl (ce que votre serveur supporte sans ralentir) et la demande de crawl (l’intérêt de Google pour vos pages, selon leur popularité et leur fraîcheur). Ce n’est pas un quota fixe, mais un équilibre dynamique.
Qui est vraiment concerné
Un site vitrine ou un blog de quelques centaines de pages est exploré sans difficulté. Le budget de crawl devient un enjeu quand le nombre d’URLs explose : e-commerce à gros catalogue, marketplaces, sites à facettes générant des milliers de combinaisons, sites d’annonces. Là, chaque URL inutile explorée retarde la découverte des pages qui comptent.
Les gouffres à budget de crawl
Le budget se dilapide surtout sur des URLs sans valeur :
- Les combinaisons de filtres et paramètres de tri (couleur × taille × prix × tri…).
- Les doublons et variantes d’une même page mal canonicalisées.
- Les chaînes de redirections qui multiplient les requêtes.
- Les pages fines ou vides générées automatiquement.
Chaque requête passée sur ces URLs est une requête non consacrée à vos fiches produits, catégories et contenus stratégiques.
Mesurer avec les logs
La seule façon d’objectiver le budget de crawl est de regarder où Googlebot passe réellement. L’analyse de logs révèle la répartition des visites du robot : combien sur les pages utiles, combien sur le bruit. Le rapport d’exploration de la Search Console complète cette vue. Sans données, on optimise à l’aveugle.
Reconcentrer le budget
Une fois le gaspillage identifié, on agit sur plusieurs leviers :
- Maîtriser les facettes (blocage, canonical, ou non-liaison selon les cas).
- Résoudre la duplication par des canonicals cohérents.
- Aplatir les redirections et corriger les 404 massives.
- Consolider ou supprimer les pages fines.
- Renforcer le maillage et un sitemap propre vers les pages prioritaires.
En résumé
Le budget de crawl n’est pas une ressource qu’on augmente, mais qu’on réoriente. En réduisant le bruit et en guidant Googlebot vers vos pages à valeur, vous accélérez leur exploration, leur indexation et leur mise à jour. Sur un grand site, c’est l’un des leviers techniques les plus rentables.