Chaque fois que Googlebot passe sur ton site, il ne lit pas tout. Il explore un certain nombre de pages, puis il repart. Ce nombre, c'est ce qu'on appelle le budget de crawl : la quantité de pages que Google peut et veut explorer chez toi dans un laps de temps donné. Si Google passe son temps sur tes pages inutiles, il en reste moins pour tes pages qui comptent vraiment.
C'est quoi, au juste, le budget de crawl
Deux choses décident du budget que Google t'accorde.
La première, c'est la limite de débit. Google ne veut pas surcharger ton serveur. Si ton site répond vite et sans erreur, il se permet d'explorer plus de pages. S'il rame ou renvoie des erreurs, Google lève le pied pour ne pas t'achaler.
La deuxième, c'est la demande d'exploration. Google explore plus souvent les pages qu'il juge populaires et celles qui changent régulièrement. Une page que personne ne visite et qui n'a pas bougé depuis deux ans, il finit par la regarder de moins en moins.
Mets les deux ensemble et tu obtiens ton budget de crawl. Ce n'est pas un chiffre que tu contrôles directement, mais c'est un chiffre que tu peux influencer.
Pourquoi ça te concerne, même avec un petit site
On répète souvent que le budget de crawl est un problème de gros sites, ceux qui ont des dizaines de milliers de pages. C'est vrai que la panique est plus justifiée à cette échelle. Mais un petit site mal tenu peut quand même gaspiller le peu d'attention que Google lui donne.
Imagine un site de PME de 40 pages utiles, qui en génère 400 sans le vouloir : versions avec paramètres d'URL, pages de filtres, doublons d'impression, vieilles pages de test jamais supprimées. Google se retrouve à explorer 400 adresses pour 40 pages qui méritent d'être vues. Ton nouvel article peut alors attendre des jours avant d'être découvert, simplement parce que Google était occupé ailleurs.
Le vrai enjeu, ce n'est pas le budget en soi. C'est de t'assurer que ce budget serve tes bonnes pages.
Repérer où Google gaspille son temps
Le premier réflexe, c'est d'ouvrir la Google Search Console. Le rapport d'indexation des pages te montre ce que Google a exploré, ce qu'il a indexé, et ce qu'il a écarté. Regarde surtout les pages classées « explorées, actuellement non indexées » et « détectées, actuellement non indexées ». Ce sont souvent des signaux que Google trouve chez toi des pages qu'il ne juge pas dignes d'un traitement complet.
Pour aller plus loin, il y a l'analyse des fichiers logs de ton serveur. C'est plus technique, mais c'est le seul endroit où tu vois exactement quelles adresses Googlebot a visitées, et à quelle fréquence. Tu découvres parfois que Google passe la moitié de son temps sur des pages que tu croyais mortes.
Un audit régulier avec un outil comme Gridar te sort ces angles morts sans que tu aies à éplucher des lignes de log à la main. C'est le genre de vérification qu'il vaut mieux automatiser, parce que personne ne la fait de bon cœur le dimanche soir.
Les gestes qui font la différence
Voici les actions qui aident concrètement Google à mieux répartir son temps chez toi.
Bloque ou dé-indexe les pages sans valeur. Une page de résultats de recherche interne, une page de filtre qui génère cent variantes, une page de remerciement après un formulaire : tout ça n'a pas besoin d'être exploré. Un noindex sur les bonnes pages, ou une règle dans ton robots.txt, redirige l'attention de Google vers l'essentiel.
Règle tes contenus dupliqués avec la balise canonical. Quand plusieurs adresses affichent le même contenu, Google explore chacune d'elles avant de choisir laquelle garder. Une canonical claire lui dit tout de suite quelle version compte, et tu lui épargnes le travail en double.
Coupe les chaînes de redirection. Une redirection qui pointe vers une autre redirection qui pointe vers une troisième page, c'est trois requêtes pour atteindre une seule destination. Vise toujours une redirection directe, de l'ancienne adresse vers la finale.
Répare tes liens brisés. Chaque lien mort que Google suit est un aller-retour pour rien. Ce sont des miettes de budget perdues, et elles s'accumulent.
Garde ton site rapide. Un serveur qui répond vite laisse Google explorer plus de pages avant d'atteindre sa limite de débit. La vitesse ne sert pas juste à tes visiteurs, elle sert aussi au robot.
Tiens ton sitemap XML à jour. Ton sitemap, c'est la carte que tu remets à Google. S'il liste tes bonnes pages et rien d'autre, tu orientes l'exploration là où tu veux. S'il traîne des vieilles adresses supprimées, tu envoies Google dans le mur.
Deux mythes à ranger au placard
Premier mythe : bloquer Googlebot un peu partout pour « économiser » le budget. Mauvaise idée. Si tu bloques l'exploration de pages qui mènent à d'autres pages importantes, tu coupes des chemins que Google emprunterait pour découvrir ton contenu. Le budget de crawl se gère par le ménage, pas par les barricades.
Deuxième mythe : croire qu'un budget élevé fait mieux ranker. Non. Explorer une page et bien la classer, ce sont deux choses différentes. Le budget de crawl décide de la vitesse à laquelle Google découvre et rafraîchit tes pages. Le classement, lui, dépend de la qualité de ces pages une fois lues.
Ce qu'il faut retenir
Le budget de crawl, c'est une question d'hygiène plus que de technique avancée. Tu n'as pas à traquer le moindre octet. Tu as surtout à éviter que Google se perde dans un labyrinthe de pages inutiles pendant que ton meilleur contenu attend son tour.
Fais le ménage dans tes pages, garde ton site rapide, tiens ton sitemap propre, et laisse un outil comme Gridar surveiller les fuites à ta place. Google ira droit à l'essentiel, et tes nouvelles pages seront vues plus vite.