Il y a un petit fichier texte à la racine de ton site qui a le pouvoir de te faire disparaître de Google en une ligne mal placée. C'est le robots.txt. Bien utilisé, il dirige les robots vers ce qui compte. Mal utilisé, il bloque tes pages les plus importantes sans que tu comprennes pourquoi ton trafic s'effondre.
À quoi sert le robots.txt
Le robots.txt est un fichier que tu déposes à la racine de ton site, accessible à tondomaine.com/robots.txt. Quand un robot de moteur de recherche arrive sur ton site, c'est la première chose qu'il lit. Le fichier lui dit quelles parties du site il a le droit d'explorer et lesquelles il doit ignorer.
L'idée derrière ça, c'est le budget de crawl. Google ne passe pas un temps infini sur ton site, il alloue une certaine quantité d'exploration. Si ses robots gaspillent ce temps sur des pages inutiles, comme des pages de recherche interne ou des zones d'administration, il leur en reste moins pour tes vraies pages. Le robots.txt te laisse orienter cette attention là où elle sert.
La syntaxe, en quatre directives
Le fichier fonctionne avec des règles simples. Voici celles que tu vas vraiment utiliser.
User-agent désigne le robot concerné. « User-agent: * » veut dire « tous les robots ». Tu peux cibler un robot précis, mais dans la plupart des cas, l'étoile suffit.
Disallow bloque l'accès à un chemin. « Disallow: /wp-admin/ » empêche les robots d'explorer ton dossier d'administration WordPress. Une ligne « Disallow: / » toute seule bloque tout ton site, et c'est exactement l'erreur qui fait paniquer les gens.
Allow crée une exception dans un blocage. Tu peux bloquer un dossier entier mais autoriser un fichier précis à l'intérieur.
Sitemap indique où se trouve ton plan de site. Une ligne « Sitemap: https://tondomaine.com/sitemap.xml » aide tous les moteurs à trouver ta liste de pages.
Un exemple concret pour un site WordPress ressemble à ça :
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://tondomaine.com/sitemap.xml
Simple, lisible, efficace.
La nuance qui piège tout le monde
Voici le point le plus mal compris du SEO, et il vaut la peine de le lire deux fois. Le robots.txt contrôle l'exploration, pas l'indexation.
Bloquer une page dans le robots.txt dit à Google : « ne va pas lire cette page ». Ça ne dit pas : « ne la mets pas dans tes résultats ». Résultat paradoxal : une page bloquée par robots.txt peut quand même apparaître dans Google, avec un titre vide et la mention « Aucune information disponible pour cette page », si d'autres sites pointent vers elle.
Si ton but est d'empêcher une page d'apparaître dans les résultats, le robots.txt est le mauvais outil. Ce qu'il te faut, c'est la balise meta « noindex » sur la page elle-même. Et attention au piège : pour que Google voie ce « noindex », il doit pouvoir explorer la page. Donc tu ne bloques surtout pas cette page dans le robots.txt, sinon Google ne lira jamais l'instruction de ne pas l'indexer.
Retiens la règle : robots.txt pour gérer l'exploration, balise noindex pour gérer l'indexation. Les deux ne font pas le même travail.
L'erreur qui coûte cher
La faute la plus grave, et malheureusement pas si rare, c'est de laisser un site en ligne avec un robots.txt qui bloque tout. Ça arrive souvent après une refonte : le développeur bloque l'exploration pendant les travaux, avec un « Disallow: / », puis oublie de retirer la ligne au lancement.
Le site part en ligne, personne ne remarque rien pendant des semaines, et les positions s'effondrent tranquillement parce que Google n'explore plus rien. Quand tu comprends enfin, tu as perdu du terrain qui prendra des mois à récupérer.
La leçon : chaque fois que tu mets un site en ligne ou que tu fais une refonte, ta première vérification est de visiter tondomaine.com/robots.txt et de lire ce qu'il contient. Trente secondes qui peuvent t'éviter un désastre.
Tester avant de casser quelque chose
Ne modifie jamais ton robots.txt à l'aveugle. La Google Search Console offre un outil de test qui te dit si une URL donnée est bloquée ou autorisée par ton fichier actuel. Tu colles une adresse, l'outil te répond. Ça te permet de vérifier que ta nouvelle règle bloque bien ce que tu veux, et rien d'autre.
Prends aussi l'habitude de relire ton fichier après chaque changement de structure sur ton site. Un dossier renommé, une section retirée, et ta règle d'hier peut ne plus pointer au bon endroit.
Ce qu'il faut faire aujourd'hui
Si tu ne l'as jamais regardé, va voir ton robots.txt maintenant. Vérifie qu'il ne bloque rien d'important, qu'il pointe vers ton sitemap, et qu'il ne contient pas de « Disallow: / » oublié. Sur la plupart des sites, un robots.txt minimal et propre fait parfaitement le travail, tu n'as pas besoin de le compliquer.
Le robots.txt fait partie de ces fondations techniques discrètes que des outils comme Gridar surveillent pour toi, en même temps que ton sitemap et ton indexation. Mais que tu utilises un outil ou pas, comprendre ce que ce fichier fait vraiment t'évite la pire catégorie d'erreur SEO : celle qui te punit en silence.