Pourquoi les logs disent la vérité
La plupart des outils SEO estiment le crawl à partir de leur propre exploration. Les logs serveur, eux, enregistrent chaque requête réellement reçue. En isolant celles de Googlebot, on obtient une trace exacte — non échantillonnée — de ce que Google explore, quand, et avec quel résultat. Aucun autre outil n’offre cette précision.
Ce que contient une ligne de log
Chaque ligne enregistre l’essentiel : l’adresse IP du visiteur, la date, la méthode et l’URL demandées, le code de réponse (200, 301, 404, 500…) et le user-agent. En agrégeant ces lignes sur des semaines, on reconstitue le comportement complet de Googlebot sur le site.
Vérifier que c’est bien Googlebot
Le user-agent seul ne suffit pas : il peut être usurpé par des robots frauduleux. On confirme l’identité par résolution DNS inverse de l’IP (elle doit appartenir aux domaines de Google), ou en la comparant aux plages d’IP publiées par Google. Sans cette vérification, l’analyse mélange vrais et faux robots.
Ce qu’on détecte dans les logs
- Le gaspillage de budget de crawl sur les facettes, paramètres et doublons.
- Les pages stratégiques jamais ou rarement explorées.
- Les 404 et 500 rencontrées par Googlebot, invisibles autrement.
- Les chaînes de redirections qui consomment des requêtes.
- L’évolution du crawl après une migration : Google bascule-t-il bien vers les nouvelles URLs ?
Croiser logs et données SEO
La valeur explose quand on croise les logs avec d’autres sources : un sitemap (quelles URLs déclarées ne sont jamais crawlées ?), un crawl du site (quelles pages orphelines Google ignore ?), et les données de trafic (les pages crawlées sont-elles celles qui convertissent ?). Ces recoupements transforment des lignes de log en décisions concrètes.
Quand s’en servir
L’analyse de logs prend tout son sens sur les grands sites et lors des migrations. Pour un petit site bien exploré, l’apport est limité. Mais dès que le nombre d’URLs devient un enjeu — e-commerce, marketplace, site à facettes — c’est souvent le seul moyen d’objectiver ce que la Search Console ne montre que partiellement.
En résumé
Les logs sont le sismographe du SEO technique : ils montrent le site tel que Googlebot l’explore, sans interprétation. Sur un grand site, aucune optimisation de crawl ou d’indexation sérieuse ne se conçoit sans les avoir regardés.