Title remplacé par “One moment, please…” dans SEObserver & Majestic SEO
Pour surveiller votre référencement Google et mesurer vos métriques SEO, vous utilisez Majestic ou un outil comme SEObserver, dont les données sont collectées par le bot MJ12bot ?
De manière aléatoire, les Titles de vos pages sont remplacés dans ces outils par la mention « One moment, please… », comme illustré ci-dessous ?
Sachez qu’il s’agit d’un problème connu, indépendant de notre volonté et qui ne peut être résolu sans la bonne volonté de Majestic… on vous dit tout !
Imunify360, le meilleur allié de votre sécurité…
EasyHoster, comme de nombreux hébergeurs sécurisés, a fait le choix d’utiliser le pare-feu premium Imunify360, pour la sécurité de ses utilisateurs et la stabilité des comptes d’hébergement.
Puisque Imunify360 est l’une des références en matière de sécurité Web, c’est aussi le choix de nombreux acteurs importants dans l’industrie de l’Hébergement Web, comme Hostinger, pour ne citer que lui.
En effet, Imunify360 est la « Suite de Sécurité » développée par CloudLinux, la célèbre distribution premium à destination des fournisseurs d’hébergement mutualisé.
i360 est une solution robuste et fiable qui permet à ses utilisateurs d’être protégés contre les tentatives d’intrusion et le piratage par malware, même en cas de négligence ou de faille de sécurité présente sur le site (par exemple, sous WordPress).
C’est grâce à lui que les sites piratés sur l’infrastructure EasyHoster sont aussi rares et que nous pouvons proposer des services de nettoyage de malware, sans frais supplémentaires.
C’est aussi un outil indispensable pour que les ressources des comptes d’hébergement soient réservées aux utilisateurs et robots légitimes, et non gaspillées pour accueillir du trafic majoritairement malicieux.
En effet, même un site WordPress fraîchement installé, sans contenu et sans popularité fait l’objet de nombreuses tentatives d’attaques (Bute Force, etc), dès lors que son URL a été découverte par les pirates, uniquement à cause de sa présence sur le Web.
Mais ce n’est pas tout, car Imunify360 est aussi une solution très vigilante sur la détection de « Faux positifs », car leurs développeurs font un travail colossal pour éviter que du trafic légitime, comme des utilisateurs ou des robots, ne soit bloqué ou ralenti sans raison valable. C’est l’une des valeurs ajoutées d’i360, par rapport à une solution telle que « OWASP » qui bloque régulièrement de vrais utilisateurs.
Les équipes d’i360 maintiennent rigoureusement une Liste blanche « Cloud » ➚ contenant une multitude de robots légitimes, incluant les Crawlers des principaux Outils SEO tels que Semrush, Ahrefs et Moz !
Tous les hébergeurs sérieux utilisent un challenge de type « Êtes-vous un robot ? » pour protéger leurs utilisateurs et leurs ressources.
Par exemple, vous êtes peut-être déjà tombé sur une page de type « Test de sécurité » venant d’un site hébergé chez un concurrent utilisant une protection « Anti-bot » comparable à celle d’Imunify360, ou même un site protégé par Cloudflare, l’un des services de pare-feu de référence.
Est-ce que ce genre de page vous est familière… ?
Voici un autre exemple de vérification « anti bad bot » chez nos confrères de chez o2switch…
One moment please… Please wait while your request is being verified…
Lorsqu’un visiteur ou robot a une adresse IP ayant une très mauvaise réputation (par exemple, car elle est listée dans des RBL comme Spamhaus), une page de « Challenge Anti-bot » peut parfois afficher le message “One moment please… Please wait while your request is being verified”, et ce, un court instant, le temps pour Imunify360 de vérifier que le navigateur de l’utilisateur est légitime.
Il s’agit d’un cas extrêmement rare, qui n’apparait que lorsque l’adresse IP a déjà été marquée comme suspecte par les différents organismes (RBL…), suite à un mauvais comportement. Cela arrive principalement lors d’une connexion suspecte issue d’un Réseau TOR ou d’un VPN un peu trop laxiste sur l’utilisation faite de ses IPs.
Les robots légitimes comme Googlebot ne voient jamais d’Anti-bot Challenge
Vous vous demandez peut-être si une protection Anti-bot telle que celle d’Imunify360 peut avoir un impact négatif sur votre Référencement Google ?
Nous comprenons votre inquiétude quant à la possibilité que des robots légitimes comme Googlebot puissent être bloqués ou ralentis en visitant les sites hébergés par EasyHoster. Mais sachez qu’il n’en est rien, car tous les robots connus et importants pour le référencement ou le confort de visite sont Whitelistés à la racine de notre infrastructure, ou de manière décentralisée (cloud) par nos partenaires en cybersécurité.
EasyHoster ne bloque en aucun cas les robots légitimes.
Nous sommes également très réactifs pour la mise en liste blanche de nouvelles adresses IPs issues de services moins populaires, mais néanmoins légitimes. En tout cas, lorsque le service nous en donne les moyens en dévoilant la ou les adresses IPs à Whitelister, ce qui n’est pas le cas de Majestic, comme vous allez le découvrir ci-dessous.
Voici un extrait des Outils SEO et Bots qui étaient déjà mis en liste blanche par Imunify360 en mai-2023, lors de la publication initiale de ce billet :
Pour retrouver la Whitelist d’Imunify360, mise à jour en temps réel, par les équipes de CloudLinux, rendez-vous à cette adresse :
Comme vous pouvez le constater, on y retrouve nos moteurs de recherche préférés, Google & Bing, ainsi que de sérieux Outils SEO, concurrents de Majestic, à savoir Moz, Ahrefs et Semrush !
Google figure au top de nos listes blanches et les équipes d’Imunify360 sont très vigilantes à son sujet, pour ne jamais le bloquer ni le ralentir. L’anti-bot d’Imunfi360 n’endommagera donc pas votre SEO.
Pourquoi Majestic peut-être considéré comme illégitime par i360 ou d’autres firewall ?
« One moment please… » n’est pas systématiquement visible dans vos outils, car le bot MJ12bot de Majestic utilise parfois une IP légitime qui n’est pas bloquée et parfois une IP dont la réputation est douteuse.
Chez EasyHoster, nous vous assurons qu’en dehors des rares périodes d’attaques DDoS, notre firewall est configuré de manière très souple pour accepter immédiatement sans challenge, un large panel d’adresses IPs (même “exotiques”) et un grand nombre de connexions simultanées.
Si le robot de Majestic se retrouve à enregistrer une page de vérification au lieu du site Web, c’est qu’il utilise une IP ayant une mauvaise réputation, a priori listée dans une ou plusieurs RBL suite à un mauvais comportement.
Exemple avec l’une des adresses IP “communautaire” utilisée par le MJ12Bot…
Tout comme un administrateur de Serveur Mail doit veiller à la réputation de ses IPs, c’est le travail de Majestic de retirer ses adresses IPs des listes Anti-spam (RBL).
Tous les organismes sont soumis aux mêmes contraintes : les fournisseurs d’adresses emails (dont EasyHoster fait partie), les fournisseurs d’Email Marketing (comme Mailchimp), les Hébergeurs Web… tous doivent s’assurer de la bonne réputation de leurs IPs.
Pourquoi Majestic et son MJ12bot ne sont pas mis en liste blanche ?
Chez EasyHoster, lorsqu’un client nous demande de mettre en liste blanche l’un de ses outils et qu’il nous transmet la liste des IPs de celui-ci, en nous fournissant une preuve que ces adresses IPs sont bien associées au service mentionné, nous l’ajoutons dans notre liste avec plaisir.
Par exemple, nous mettons en liste blanche des Plateformes de Netlinking Francophones ayant besoin de vérifier la présence de Backlinks suite à la Vente de liens !
Une preuve valide que l’adresse IP appartient bien à l’outil mentionné, est par exemple, la présence d’une page de type « Notre liste d’IPs à whitelister » publiée sur le site officiel de l’outil, comme le font Semrush ➚ ou Ahrefs ➚. Vous pourrez constater en suivant les liens précédents que ces 2 Tools SEO sont très transparents sur leurs adresses IP.
Hélas, Majestic ne peut être ajouté à la liste blanche publique d’Imunify360, tout simplement car il ne lui est pas possible techniquement de communiquer la liste de ses adresses IPs, pour une raison très particulière que nous détaillons ci-dessous.
Majestic étant un outil très populaire, nous serions heureux de l’ajouter à nos whitelists. Cependant, la mise en liste blanche ne peut se faire que sur base de l’adresse IP et non sur base du User-Agent qui peut être falsifié par les pirates, comme nous allons le voir ci-dessous.
Pourquoi ne pas traquer les visites du User-Agent « MJ12Bot » pour en récolter les adresses IPs ?
Traquer et mettre en liste blanche les IPs du User-Agent « MJ12Bot » aurait pu être une bonne idée…
Malheureusement, il ne s’agit pas d’un moyen fiable permettant de s’assurer que ces demandent de Crawl appartiennent bien à MJ12Bot.
En effet, il faut savoir que le « User-Agent » est très facilement falsifiable.
Si un outil premium largement utilisé comme Imunify360 a décidé de se baser sur une Whitelist d’IPs, c’est qu’il doit s’agir de la meilleure façon de procéder ?
En effet, des pirates peuvent se faire passer pour n’importe quel User-Agent en vue de lancer des Attaques DDoS ou d’autres actions malicieuses, qui ne seraient alors pas mitigées ni bloquées, à cause d’une mise en liste blanche maladroite.
N’importe quel script PHP “fais maison” peut se faire passer pour n’importe quel bot en falsifiant le User-Agent.
Mettre en liste blanche un User-Agent reviendrait donc à désactiver complètement notre Firewall, puisque n’importe quel pirate pourrait se faire passer pour MJ12Bot ou tout autre agent.
Hélas, EasyHoster ainsi qu’i360 sont dans l’incapacité de trouver la liste officielle des IPs de Majestic et de son bot MJ12Bot, ce qui a pourtant pu être trouvé par i360 pour des outils concurrents tels que Semrush, Ahrefs ou Moz.
Pourquoi ne pas fouiller nos logs serveur à la recherche d’IPs semblant appartenir au MJ12Bot ?
Par exemple, nous pourrions récolter aléatoirement des adresses IPs en fouillant les logs de sites WordPress. Cependant, rien ne prouve que dans ces IPs n’appartiennent pas à des robots usurpant l’identité de MJ12bot.
Nous ne pourrions pas nous assurer à 100% de la légitimité des IPs qui seraient récoltées, ni du fait que le bot MJ12 se comportera normalement. D’ailleurs, rien ne dit que cela solutionnerait le problème des titles remplacés par « One moment, please… » dans les outils, car la liste d’IPs récoltée ne serait probablement pas exhaustive, encore une fois, avec un haut taux de probabilité que ces IPs finissent par changer dans le temps, à cause du mode de fonctionnement atypique du MJ12Bot
Il faut savoir qu’une liste d’adresses IPs non légitimes mise en liste blanche (en nous basant maladroitement sur des logs mentionnant un User-Agent) serait capable de lancer une attaque DDoS qui pourrait surcharger et faire tomber un serveur au complet. De ce fait, dans le cadre d’une infrastructure mutualisée, nous ne pouvons pas nous permettre de mettre en place ce type de “bricolage” et risquer de générer une surcharge sur le serveur entier.
Vous l’avez compris, c’est parce que le User-Agent est falsifiable qu’une liste d’IPs officielle est requise pour pouvoir Whitelister un Crawler.
Bien sûr, à vous de nous croire sur parole, en tant qu’Hébergeur Web qui a priori a des notions de cybersécurité, et/ou de croire Imunify360, qui est une Suite de Sécurité développée par l’un des acteurs les plus importants de l’industrie de l’Hébergement mutualisé, à savoir, Cloudlinux.
Ou vous pouvez vous fier aux propos de Majestic, qui n’est pas tendre avec les hébergeurs…
Majestic accuse les hébergeurs lui imposant un Challenge Anti-bot d’être mal configurés et vous conseille de changer d’hébergeur web – Motif : ils ne sont pas aussi bien financés que certains concurrents !
Vous découvrirez plus loin que Majestic admet utiliser un Crawler Communautaire et n’est pas apte à utiliser ses propres IPs fixes, par manque de financement !
Majestic publie un site qui décrit le fonctionnement de son robot d’exploration, MJ12Bot, disponible à cette adresse :
On y découvre plusieurs informations intéressantes que nous relayons ici en français.
En guise d’introduction, Majestic affirme que si MJ12Bot est bloqué, c’est que votre Firewall est mal configuré…
On vous avoue qu’en tant qu’Hébergeur Web et spécialistes en cybersécurité, ces affirmations ne font pas plaisir à lire, d’autant plus qu’avec Imunify360, nous sommes les premiers à Whitelister les Crawlers légitimes lorsque cela nous est possible.
Si vous avez bien suivi les explications précédentes relatives à la Falsification du User-Agent, vous avez compris que Majestic ne nous donnait pas les moyens de mettre en liste blanche son robot d’exploration.
Et concernant ce point, la raison est bien expliquée par Majestic un peu plus bas sur son site MJ12Bot.com…
Autrement dit…
Majestic ne peut fournir de liste d’adresses IPs fixes pour des raisons de Budget et d’un Système basé sur de nombreux Serveurs tiers / Aléatoires (Communautaires), mais accuse les hébergeurs qui le bloquent d’avoir mal configuré leur pare-feu !
En complément, nous avons pu lire plusieurs témoignages de personnes se plaignant de surcharges serveur créées par un crawl non régulé (trop rapide) de la part de ce bot. Ce qui n’est pas non plus très rassurant.
Faites-vous votre propre avis sur base de ça… 😉
Comme les autres outils SEO, Majestic devrait selon nous collaborer avec les organismes de sécurité en maintenant une Liste dynamique d’IPs accessible via un fichier .txt ou .json qui se mettrait à jour constamment, comme le fait par exemple KeyCDN dans l’exemple illustré ci-dessous.
Ce type de fichier permet aux Firewalls Cloud de constamment mettre à jour leur Whitelist de Tools SEO sur base de listes dynamiques d’IPs. Par exemple, comme le font Semrush et Ahrefs avec leurs ranges d’IPs publiées et maintenues publiques à ces adresses :
- https://www.semrush.com/kb/950-troubleshooting-content-analyzer#whitelist-the-bots
- https://help.ahrefs.com/en/-articles/78658-what-is-the-list-of-your-ip-ranges
Une solution pour éviter « One moment, please… » dans les outils SEO ?
Imunify360 est ouvert à la possibilité d’ajouter Majestic à leur liste de crawlers légitimes. EasyHoster est également prêt à l’ajouter directement au coeur de son infrastructure.
Mais puisque Majestic ne semble pas disposer, lui, à adapter son mode de fonctionnement pour pouvoir communiquer ses IPs, peut-être serait-il intéressant d’interpeller Majestic, SEObserver ou les autres Outils SEO basés sur MJ12Bot, afin de collaborer avec un très grand nombre d’hébergeurs utilisant Imunify360 pour sécuriser leurs hébergements.
Une idée de solution pouvant être implémentée par votre Tool SEO… ?
Majestic indique sur son site MJ12Bot.com qu’il ne met pas en cache les données : « MJ12Bot does not currently cache web content ».
Puisque le problème se pose de façon aléatoire lorsque MJ12bot explore le site depuis une IP jugée suspecte, une solution potentielle pourrait être trouvée par les services tiers tels que SEObserver qui utilisent les données de Majestic ? Par exemple, en ajoutant une « Condition » qui ne mettrait pas le contenu en cache, lorsque MJ12Bot renvoie une balise Title dont la valeur serait “One moment, please…” et la page contiendrait une occurrence de “Please wait while your request is being verified” ?
Hélas, ce genre de mesure n’est pas possible du côté d’EasyHoster et devrait être implémentée par les développeurs respectifs des outils fournissant actuellement une information biaisée. Nous encourageons donc les utilisateurs à se tourner vers le support de leur outil SEO pour leur en faire la demande.
De même, pour pallier aux informations biaisées générées par son mode de fonctionnement basé sur des serveurs tiers hétéroclites, Majestic a aussi le pouvoir d’ajouter quelques conditions détectant les pages de challenges des firewall les plus populaires afin d’invalider les analyses qui proviennent des pages « anti-bot ».
Il serait cependant nécessaire que cette proposition leur soit remontée par l’un de leurs clients.
En tant qu’Hébergeur Web, EasyHoster ne peut rogner ni sur la Sécurité, ni la Stabilité, mais reste ouvert…
Comme vous pouvez sans doute le comprendre, EasyHoster ne va pas abandonner Imunify360 ou créer une faille dans son Firewall, uniquement parce que Majestic ne désire pas ou ne peut pas se conformer aux pratiques courantes auxquelles les autres acteurs se conforment. Encore une fois, face à la recrudescence d’attaques et de tentatives de piratage, un bon Firewall logiciel est indispensable et Imunify360 est la solution nous permettant d’offrir une infrastructure d’hébergement très stable et bien sécurisée, en évitant un maximum de faux positif.
La Stabilité de l’infrastructure et la Sécurité de nos hébergés font partie des piliers faisant le succès d’EasyHoster et seront toujours des priorités supérieures aux statistiques d’outils externes qui manquent de transparence (et de courtoisie) avec les autres acteurs de l’industrie.
Nous vous assurons que s’il était judicieux de simplement mettre quelques IPs en liste blanche pour satisfaire tous nos hébergés et éviter cette situation, nous le ferions sans hésiter.
Néanmoins, le manque de collaboration de Majestic à ce sujet ne nous aide pas à établir une relation de confiance avec son outil, ce qui est très dommage.
Nous cherchons toujours à trouver des solutions avec nos clients tout en conservant la stabilité de notre infrastructure. Cependant, nous ne sommes pas en mesure de solutionner les problèmes qui sont indépendants de notre volonté, surtout lorsque le responsable renvoie la responsabilité sur l’hébergeur, pourtant contraint d’utiliser un pare-feu et n’ayant pas la main sur la méthode d’exploration des sites Web.
Nous restons néanmoins Ouverts à la discussion avec les acteurs concernés pour mettre en place, ensemble, une solution permettant d’allier Stabilité, Sécurité et Outils d’analyses SEO.
