Gérez le fichier Robots.txt de WordPress sans difficulté

Avez-vous déjà modifié votre fichier robots.txt, enregistré les changements, pour ensuite constater que Google Search Console s’obstine à prendre en compte l’ancienne version ? Vous n’êtes pas seul dans ce cas. Cette particularité de WordPress a laissé bien des propriétaires de sites perplexes, se demandant s’ils avaient cassé quelque chose ou si Google ignorait tout simplement leurs mises à jour. Voici ce qui se passe réellement : WordPress génère un fichier robots.txt « fantôme » capable de supplanter discrètement vos modifications. Ce fichier opère en arrière-plan — introuvable via SFTP ou dans votre gestionnaire de fichiers — et c’est pourtant celui que les moteurs de recherche prennent réellement en compte. Ainsi, alors que vous modifiez un fichier, WordPress peut en servir un tout autre. La bonne nouvelle, c’est qu’une fois que vous avez compris le fonctionnement de ce système à double entrée, le problème se règle en un rien de temps. Dans ce guide, nous allons expliquer pourquoi vos modifications disparaissent sans cesse et vous montrer comment les rendre définitives. C’est parti.

Qu’est-ce qu’un fichier robots.txt ?

Considérez le fichier robots.txt comme un cordon de sécurité à l’entrée de votre site web : il indique poliment aux robots d’exploration des moteurs de recherche quelles zones ils peuvent ou ne peuvent pas parcourir. Accessible à l’adresse example.com/robots.txt, ce simple fichier texte constitue votre premier point de contact avec des robots comme Googlebot avant qu’ils ne commencent à explorer votre site. Il est crucial de noter que le fichier robots.txt contrôle l’exploration, et non l’indexation. En d’autres termes, il indique aux robots où ils peuvent se rendre, mais ne détermine pas ce qui sera affiché dans les résultats de recherche.

Une page bloquée via robots.txt peut tout de même apparaître dans les résultats de Google si d’autres sites web y renvoient ; Google l’affichera alors avec des informations limitées, en précisant : « Aucune information n’est disponible pour cette page. »

💡 Conseil d’expert : pour garantir qu’une page reste totalement absente des résultats de recherche, vous devez inclure une balise meta « noindex » directement sur la page, et ne pas vous contenter d’une directive dans le fichier robots.txt. N’oubliez pas non plus que, pour tout contenu sensible, une authentification appropriée est indispensable pour empêcher tout accès ou toute indexation. Enfin, il est important de souligner que le fichier robots.txt n’est pas un outil de sécurité. Il s’apparente davantage à un panneau « Accès interdit » qu’à une porte verrouillée. Si les moteurs de recherche légitimes le respectent, les robots malveillants et les outils de « scraping » ignoreront totalement vos règles robots.txt pour accéder à ce qu’ils souhaitent. N’utilisez jamais le fichier robots.txt pour dissimuler des informations sensibles ; c’est à cela que servent la protection par mot de passe et les mesures de sécurité adéquates.

Le mystère du fichier robots.txt WordPress qui disparaît

C’est là que les choses se compliquent, et c’est pourquoi tant d’utilisateurs de WordPress s’arrachent les cheveux à cause du fichier robots.txt. En réalité, votre site possède deux fichiers robots.txt potentiels qui se disputent le contrôle :

Le fichier virtuel réside uniquement dans la mémoire de WordPress. Vous ne pouvez pas le voir via SFTP ou le gestionnaire de fichiers de votre hébergeur, car il n’existe pas physiquement sur votre serveur. C’est ce fichier « fantôme » que modifient généralement les extensions SEO comme SEOPress. WordPress le génère à la volée chaque fois qu’une personne consulte l’adresse example.com/robots.txt.
Le fichier physique est un véritable fichier texte situé à la racine de votre site (généralement dans le dossier public_html). Si vous avez déjà transféré un fichier robots.txt via SFTP ou en avez créé un depuis le panneau de contrôle de votre hébergement, c’est ce type de fichier que vous avez généré.

⚠️ Voici le conflit critique à l’origine de toute cette confusion : si un fichier robots.txt physique existe, il prévaudra toujours sur le fichier virtuel. Sans exception. Cette hiérarchie explique pourquoi les paramètres de votre plugin SEO, soigneusement configurés, semblent s’évaporer. Vous modifiez le fichier virtuel alors qu’un fichier physique prend silencieusement le dessus, rendant vos changements invisibles. Alors, où se trouve exactement le fichier robots.txt dans WordPress ? Il est soit virtuel (résidant en mémoire), soit physique (situé dans votre répertoire racine) – et le véritable défi consiste à déterminer lequel contrôle réellement votre site.

Comment vérifier quel fichier robots.txt votre site utilise

Résoudre le mystère de votre fichier robots.txt ne nécessite que quelques étapes simples. Commencez par cette vérification rapide : ouvrez votre navigateur et rendez-vous à l’adresse example.com/robots.txt (remplacez « example » par le nom de votre site réel). Ce qui s’affiche à l’écran correspond à la version réelle et définitive que voient les moteurs de recherche. C’est votre référence absolue, quelles que soient les informations indiquées par un plugin ou un gestionnaire de fichiers.

Ensuite, effectuez une comparaison :

Ouvrez l’éditeur de fichier robots.txt de votre extension SEO.
Comparez son contenu avec ce que vous avez vu dans votre navigateur.
S’ils ne correspondent pas, vous avez trouvé le coupable : un fichier physique supplante les paramètres de votre extension.

Pour une vérification fiable, utilisez l’outil d’inspection d’URL de Google afin de tester l’effet de votre fichier robots.txt en ligne pour une URL spécifique :

Connectez-vous à votre propriété Google Search Console.
Dans la barre de recherche située tout en haut, collez l’URL complète de la page que vous souhaitez vérifier (par ex. https://www.example.com/example-page).
Attendez que l’outil récupère les données de l’index Google, puis, dans la section « Indexation des pages », recherchez la mention « Exploration autorisée ». C’est la réponse définitive que vous cherchez :
- Si la mention est « Oui », cela signifie que Googlebot considère qu’il est autorisé à explorer cette URL selon les règles de votre fichier robots.txt.
- Si la mention est « Non » avec le motif « Bloqué par robots.txt », vous avez la confirmation absolue que votre fichier robots.txt en ligne empêche Google d’explorer cette page spécifique.

Pour plus de certitude, vous pouvez cliquer sur « Tester l’URL en ligne » pour voir ce que Google détecte en temps réel ; cette opération inclura également une vérification de votre fichier robots.txt dans son analyse. Grâce à des explications détaillées sur l’interprétation de ces avertissements, vous apprendrez exactement comment corriger l’erreur « Bloqué par robots.txt » sur WordPress.

Méthode 1 : La méthode simple par extension pour gérer votre fichier robots.txt WordPress

La plupart des extensions SEO proposent un éditeur de fichier robots.txt, mais elles partagent un défaut majeur : elles vous laissent modifier le contenu sans vous avertir qu’un fichier physique pourrait prendre le pas sur vos réglages. Vous risquez de passer des heures à peaufiner vos règles sans jamais réaliser que vos modifications sont totalement ignorées. SEOPress PRO rompt avec cette habitude grâce à une fonctionnalité de diagnostic unique.

Lorsque vous ouvrez son éditeur robots.txt, l’extension détecte automatiquement la présence d’un fichier physique et affiche un message d’avertissement clair. Fini les incertitudes et le temps perdu.

Prendre le contrôle avec SEOPress est d’une simplicité rafraîchissante :

Rendez-vous dans la section SEO → PRO → robots.txt de votre tableau de bord WordPress.
Si un fichier physique existe, vous en serez immédiatement informé par un avertissement.
Choisissez soit de supprimer ce fichier physique, soit de le modifier directement via SEOPress.
Effectuez vos modifications et enregistrez-les ; SEOPress veille à ce qu’elles soient bien prises en compte.

La fonction intégrée de détection des conflits vous épargne toute investigation technique fastidieuse. Vous savez instantanément quel fichier est actif et pouvez prendre des décisions éclairées sur la marche à suivre. Avec SEOPress, la gestion du fichier robots.txt devient ce qu’elle devrait être : une tâche simple qui ne prend que quelques minutes, et non des heures de dépannage.

Méthode 2 : Création manuelle du fichier robots.txt dans WordPress

Cette méthode s’adresse aux utilisateurs disposant d’un accès SFTP ou à un gestionnaire de fichiers et préférant gérer directement leurs fichiers. Toutefois, c’est aussi la principale source de confusion pour les utilisateurs, car elle crée un fichier « physique » susceptible de supplanter les paramètres de votre extension à votre insu. Voici comment créer manuellement un fichier robots.txt :

Créez le fichier : nommez-le exactement robots.txt (en minuscules uniquement, sans espaces). Utilisez n’importe quel éditeur de texte brut (Notepad++, TextEdit, VS Code, Sublime Text, etc).
. Veillez simplement à ce qu’il s’agisse de texte brut et non d’un document Word ou d’un fichier au format texte enrichi.
Ajoutez vos règles personnalisées : en voici un exemple :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml

Décomposition du code :

Le caractère * dans User-agent: * indique que la règle s’applique à tous les robots ou crawlers.
Disallow: /wp-admin/ empêche les robots d’accéder à la zone du tableau de bord d’administration.
Allow: /wp-admin/admin-ajax.php autorise explicitement les robots à accéder au fichier admin-ajax.php, essentiel pour gérer les requêtes AJAX (Asynchronous JavaScript and XML) côté client pour de nombreux thèmes et extensions.
La directive Sitemap indique aux robots l’emplacement de votre plan de site, ce qui facilite l’indexation correcte de votre site.

Enregistrez le fichier : assurez-vous de l’enregistrer au format texte brut avec le nom exact robots.txt.
Connectez-vous via SFTP : utilisez un client SFTP comme FileZilla pour vous connecter à votre serveur d’hébergement. Accédez au répertoire racine de votre site web (généralement nommé public_html, www ou htdocs).
Téléversez le fichier robots.txt : glissez-déposez ou téléversez le fichier dans votre répertoire racine. Il doit se trouver au même niveau que vos dossiers wp-admin et wp-content.
Définissez les permissions : si nécessaire, réglez les permissions du fichier sur 644. Cela le rend lisible par tous, mais modifiable uniquement par vous. La plupart des hébergeurs gèrent cela automatiquement, mais il est préférable de le vérifier.

⚠️ C’est la source du conflit !

En suivant les étapes ci-dessus, vous créez un fichier robots.txt physique. Comme nous l’avons expliqué précédemment, ce fichier physique prévaudra toujours sur le fichier virtuel géré par WordPress et les extensions de SEO. Si ce fichier est présent sur votre serveur, toutes les modifications que vous effectuerez dans l’éditeur de SEOPress (ou de toute autre extension) seront totalement ignorées.

C’est la raison numéro un pour laquelle les utilisateurs sont frustrés.

Ils passeront du temps à peaufiner leurs règles robots.txt dans leur extension SEO favorite, enregistreront les modifications, vérifieront leur site et se demanderont pourquoi rien n’a changé. C’est que le fichier physique l’emportait silencieusement sur la configuration de l’extension depuis le début.

Bien que la méthode manuelle offre un contrôle direct, elle nécessite un accès technique et expose au risque de conflit de priorité. Vous devrez penser à mettre à jour directement le fichier physique à chaque modification, renonçant ainsi à la simplicité offerte par le tableau de bord WordPress.

Pour une gestion fiable et sans tracas directement depuis votre tableau de bord, la méthode par extension est bien plus sûre. La capacité de SEOPress à détecter les conflits liés au fichier physique et à vous en avertir en fait le choix idéal pour la plupart des utilisateurs de WordPress souhaitant éviter cet écueil fréquent.

Modèle de robots.txt recommandé pour WordPress

Cessez de copier ces modèles de fichiers robots.txt surchargés qui circulent sur Internet. La plupart sont des vestiges obsolètes datant des débuts de WordPress, truffés de règles qui font plus de mal que de bien. Les sites WordPress modernes nécessitent des directives minimales et ciblées, et non des pages entières de restrictions.

Comme le montre la méthode 2, la grande majorité des sites WordPress n’ont réellement besoin que de ces quatre lignes :

User-agent: * 
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml

Ces quatre lignes couvrent la sécurité, l’efficacité du crawl et l’accès au sitemap – ni plus, ni moins.

Règles néfastes à supprimer immédiatement

Cessez de saboter votre SEO avec ces erreurs courantes :

⚠️ Disallow: /wp-content/uploads/ – Cette règle catastrophique empêche Google de voir vos images. Dites adieu au trafic issu de la recherche d’images.
⚠️ Disallow: /wp-content/plugins/ – Bloquer ce dossier peut nuire à la manière dont Googlebot restitue votre site. Les extensions modernes y chargent souvent des ressources CSS et JavaScript critiques. Si vous le bloquez, Google risque de voir une version dégradée de vos pages.
⚠️ Crawl-delay: 10 – Google ne prend plus en charge cette directive depuis 2019. L’inclure ne fait qu’encombrer votre fichier d’instructions inutiles. C’est comme crier des indications dans une langue que personne ne parle.

💡 Conseil d’expert : SEOPress garde une longueur d’avance grâce à ses dernières améliorations, notamment la possibilité de bloquer rapidement les nouveaux robots d’exploration d’IA, comme DeepSeek, directement depuis votre fichier robots.txt. Face à la prolifération des robots de scraping basés sur l’IA, disposer d’un tel contrôle s’avère de plus en plus précieux pour protéger vos contenus.

Prenez définitivement le contrôle de votre fichier robots.txt

Le mystère est résolu : la confusion entourant votre fichier robots.txt sur WordPress provient d’un conflit entre le fichier virtuel et le fichier physique. Pendant que vous en modifiiez une version, une autre contrôlait en coulisses ce que voyaient les moteurs de recherche. Cette lutte invisible explique pourquoi vos modifications disparaissent et pourquoi différents outils affichent des contenus différents. Vous disposez désormais des connaissances nécessaires pour diagnostiquer et résoudre ce problème vous-même.

Mais pourquoi vous débattre avec des complexités techniques alors qu’il existe une solution plus simple ? SEOPress PRO élimine les incertitudes en détectant automatiquement les conflits de fichiers et en vous alertant avant que vous ne perdiez du temps sur des modifications sans effet.

Ne laissez plus des fichiers invisibles dicter votre stratégie SEO. Grâce à la détection intelligente des conflits de SEOPress PRO, vous saurez toujours exactement quel fichier robots.txt est actif et pourrez effectuer des modifications réellement efficaces.

Prenez enfin le contrôle de vos directives d’exploration. Prêt à gérer votre fichier robots.txt en toute simplicité ?

Découvrez SEOPress PRO et rejoignez les milliers d’utilisateurs WordPress qui ont déjà simplifié leur gestion du SEO.

Par Benjamin Denis

CEO of SEOPress. 15 years of experience with WordPress. Co-organizer of WordCamp Biarritz 2023 & WP BootCamp. WordPress Core Contributor.