Les sites Web sont visités à la fois par des humains et des robots (crawlers), y compris Google. En 1994, un système appelé robots.txt a été créé pour permettre aux propriétaires de sites Web de demander que les robots n’explorent pas leurs sites. WordPress, par exemple, génère un fichier robots.txt par défaut pour protéger les fichiers sensibles contre l’exploration par des robots.
Google indique les fichiers bloqués par robots.txt dans Google Search Console. Pour trouver le rapport, connectez-vous à Google Search Console et consultez le rapport Indexation des pages. Il est peu probable que les configurations WordPress standard rencontrent des problèmes, mais si des pages sont bloquées par robots.txt, vous verrez une ligne « Bloquée par le fichier robots.txt » dans le rapport.
Ce rapport présente un graphique avec le nombre de pages affectées au fil du temps, suivi d’une liste d’exemples de pages. Le graphique indique que ce site a récemment connu une augmentation du nombre de pages bloquées par robots.txt.
Sous le graphique, il y a une liste de pages bloquées par robots.txt. Tous les exemples de la liste sont des fichiers PDF.
En cliquant sur l’une des lignes, vous pouvez ouvrir une fenêtre contextuelle qui affiche le fichier robots.txt et met en évidence le code qui bloque l’accès à ce fichier. Dans ce cas, « Disallow : /*.pdf$ » bloque tous les fichiers se terminant par « .pdf ».
Dans le cas de seopress.org, nous voulons empêcher les robots d’explorer nos fichiers PDF, ce rapport ne contient, donc, aucune erreur. Vous pouvez toutefois voir dans cette liste des pages que vous préférez que Google indexe et classe dans les résultats de recherche. Si c’est le cas, il s’agit d’une erreur que vous voudriez corriger.
Vous pouvez également repérer un message « Indexée malgré le blocage par le fichier robots.txt » dans le rapport d’indexation des pages. Google dit que « Google respecte toujours le fichier robots.txt, mais si un autre site redirige vers la page, le blocage est contourné. Google ne demande pas et n’explore pas la page. Toutefois, nous pouvons tout de même l’indexer à l’aide des informations provenant de la page qui renvoie vers celle que vous avez bloquée ». Il poursuit en expliquant que l’utilisation de robots.txt n’est pas un bon moyen de demander à Google de ne pas indexer une page. Pour supprimer un fichier de l’index de Google, il ne faut pas bloquer par le fichier robots.txt, mais utiliser plutôt une balise Meta robot indiquant que la page est « noindex ». Vous pouvez faire ça avec SEOPress.
Correction des erreurs Bloquée par le fichier robots.txt sur WordPress
Dans la ressource Débloquer une page bloquée par le fichier robots.txt fournie par Google, il est suggéré d’utiliser un validateur de robots.txt externe pour vérifier les URL bloquées. Un outil comme le robots.txt Validator and Testing Tool de Dentsu par exemple.
Une fois que vous avez compris comment modifier le fichier robots.txt pour empêcher les fichiers d’être bloqués, consultez ce tutoriel sur la configuration et la modification du fichier robots.txt à l’aide de SEOPress.
Problème résolu ? Valider la correction
Si vous avez corrigé le fichier robots.txt et vous souhaitez vous assurer que l’indexation n’est plus bloquée, retournez au rapport et cliquez sur le bouton VALIDER LA CORRECTION. La validation peut prendre jusqu’à 2 semaines, alors soyez patient. La validation des correctifs n’est pas obligatoire, mais c’est un bon moyen de suivre les modifications apportées pour améliorer le référencement.
