Erreur 403 pour les bots comme Ahrefs et Semrush sous cPanel avec sécurités WordPress Toolkit
Vous avez peut-être eu la mauvaise surprise de constater que les robots d’exploration de vos outils SEO, tels que Ahrefs (AhrefsBot/7.0) ou Semrush (SemrushBot/7.0), sont systématiquement bloqués avec une erreur HTTP 403 « Forbidden » lorsque vous demandez un audit / crawl de votre site.
Vous avez probablement déjà effectué les vérifications suivantes sans succès :
- Désactivation de votre plugin de sécurité comme Wordfence (incluant la désactivation de wordfence-waf.php)
- Désactivation de votre CDN (Cloudflare…)
- Passage sur un fichier .htaccess WordPress par défaut
- Désactivation de tous vos plugins
- Passage sur un thème WordPress par défaut (Twenty Twenty-Five…)
Après tous ces tests infructueux, vous commencez à penser que le blocage provient de la configuration du serveur web, et donc du firewall…
Si votre hébergeur utilise, comme EasyHoster, Imunify360, sachez que les IPs des bots des services les plus connus comme Google, Ahrefs, Semrush, Moz, etc, sont déjà en liste blanche par défaut. Découvrez la liste complète des IPs qu’Imunify ne bloque jamais ici : https://files.imunify360.com/static/whitelist/v2/
Avez-vous activé des mesures de sécurité dans WordPress Toolkit ?
Si vous avez écarté toutes les pistes liées à votre site WordPress lui-même, le blocage provient très probablement d’une mesure de sécurité activée dans le WordPress Toolkit de cPanel.
Il s’agit de l’option « Enable bot protection » (Activer la protection contre les bots).
Comme vous pouvez le voir sur la capture d’écran ci-dessus, cette mesure de sécurité est décrite comme ceci :
This measure protects your website from useless, malicious or otherwise harmful bots. It blocks bots that scan your website for vulnerabilities and overload your website with unwanted requests, causing resource overuse. Note that you might want to temporarily disable this mesure if you’re planning to use an online service to scan your website for vulnerabilities, since these services might also use such bots.
WordPress Toolkit
Ce qui signifie en français :
Cette mesure protège votre site web contre les bots inutiles, malveillants ou nuisibles. Elle bloque les bots qui analysent votre site à la recherche de vulnérabilités ou qui surchargent votre site avec des requêtes indésirables, entraînant une surconsommation des ressources. Notez que vous pourriez vouloir désactiver temporairement cette mesure si vous envisagez d’utiliser un service en ligne pour analyser les vulnérabilités de votre site, car ces services peuvent également utiliser ce type de bots.
WordPress Toolkit
En activant cette option, vous demandez explicitement à WordPress Toolkit de bloquer un certain nombre de robots d’exploration qui peuvent affecter les ressources de votre hébergement en envoyant du trafic non-humain.
Bien que cette fonction soit utile pour se prémunir contre des bots malveillants ou agressifs, elle peut parfois inclure dans sa liste de blocage des robots légitimes comme ceux d’Ahrefs et de Semrush, essentiels pour votre suivi SEO.
Si vous n’utilisez pas d’outils SEO et que vous souhaitez économiser les ressources de votre plan d’hébergement, vous pouvez tout à fait laisser cette option active.
Désactiver « Enable bot protection » de WordPress Toolkit
Pour ne plus avoir de 403 lors des visites des bots Ahrefs et Semrush, et bien, la solution consiste à tout simplement désactiver cette mesure de sécurité spécifique pour le site concerné via votre compte cPanel.
- Connectez-vous à votre compte cPanel
- Cliquez sur WordPress Management (il s’agit de WordPress Toolkit) dans la barre latérale gauche
- Sur la fiche du site Web concerné, cliquez sur « Appliquer les règles de sécurité critiques »
- Cherchez la mesure nommée « Enable bots protection »
- Désactivez cette option
Une fois la modification appliquée, les robots d’Ahrefs et de Semrush devraient pouvoir à nouveau accéder à votre site et recevoir un code de réponse HTTP 200, indiquant que l’exploration est réussie.
N’hésitez pas à contacter le support technique afin que nous vérifions cela ensemble.
