Guide de l’Indexation de sites et pages sur Google : Principe & définition, Temps avant d’être indexé, Fonctionnement de la Search Console…

Qu’est-ce que l’indexation Google et comment faire indexer toutes ses pages par le célèbre moteur de recherche ? C’est ce que nous vous proposons d’apprendre dans cet article suivi de 2 guides SEO complets ↓ grâce auxquels vous saurez tout sur l’indexation Google !

Commençons par (re)voir les basiques de l’indexation Google, indispensables si vous êtes Débutant en SEO…

Définition : Qu’est-ce que l’indexation sur Google et les autres moteurs de recherche ?

L’indexation sur Google et autres moteurs est le processus où les robots d’exploration (Crawlers) recherchent, analysent et répertorient les contenus des sites Web dans leur « index », avant même de classer leurs pages pour les afficher dans les “SERPs” (Search Engine Result Pages, c’est-à-dire, les Résultats de recherche).

L’indexation est donc une étape indispensable au référencement naturel sur Google et les autres moteurs, avant même d’espérer obtenir un bon positionnement du site et des contenus dans les résultats de recherche.

Pour être correctement indexé, il faut avant tout vérifier que le site n’a aucun facteur pouvant bloquer l’indexation. Ensuite, pour favoriser l’indexation, il faut optimiser tout ce qui peut l’être techniquement et gagner la confiance de Google en produisant des contenus utiles aux internautes.

Comment fonctionne l’indexation Google ?

Pour indexer les pages d’un site Internet et offrir des résultats pertinents aux utilisateurs, Google demande à son robot d’exploration « Googlebot » de parcourir le Web en suivant les liens vers chaque contenu pour les analyser, les indexer (éventuellement), les répertorier et les classer en plus ou moins bonne position.

Le moteur de recherche alloue un « budget de crawl » à chaque site, en fonction de divers critères tels que la qualité du contenu, la fréquence de mise à jour du site, la profondeur des pages, la performance du serveur, la confiance ou l’autorité du site, ainsi que d’autres critères aussi secrets que la recette du Coca-Cola.

Le budget de crawl alloué par Google pour chaque site permet l’exploration et l’indexation d’un certain nombre de pages pour un délai donné (chaque jour, chaque semaine ou chaque mois). Si le budget de crawl se retrouve épuisé, par exemple lorsqu’un site a publié massivement un très grand nombre de pages ne présentant aucun intérêt pour Google, le robot d’exploration peut décider d’arrêter de naviguer sur le site pour y revenir plus tard, lorsqu’un nouveau “crawl budget” lui est alloué.

Ci-dessous, nous vous présentons les basiques de l’indexation Google, mais gardez à l’esprit qu’il existe des dizaines de critères aussi subtiles les uns que les autres, pour déterminer quels contenus seront explorés / indexés et sous quel délai.

Comment demander à Google d’explorer une ou plusieurs URLs ?

Si votre site a pu gagner la confiance de Google en démontrant une certaine autorité dans sa thématique et en publiant régulièrement de bons contenus, l’indexation de vos pages devrait se faire d’elle-même, sans intervention de votre part, grâce au passage de Googlebot qui parcourt régulièrement vos liens internes.

1. Les Pings envoyés automatiquement à Google (lent, mais automatique)

Lorsqu’on utilise un CMS moderne comme WordPress ou une plateforme de blogging telle que Blogger par exemple, les contenus sont supposés être envoyés à Google pour indexation grâce à un système de « Ping ». Pour comprendre le principe des Pings, voyez ci-dessous notre test de Pingomatic ➚ 
Les services de Ping ont pour but d’informer les moteurs de recherche comme Google de la publication de nouveaux contenus.

Pour compléter votre liste de services de ping sous WordPress, n’hésitez pas à copier-coller la liste de services de ping publiée ci-dessous ➚

Intégrer des services de ping à votre site WordPress peut aider à accélérer l’indexation de vos nouveaux contenus. Cependant, puisque Google reçoit de très nombreux Pings de tous les utilisateurs de WordPress, entre autres, ce système n’est pas toujours de la méthode la plus rapide et fiable d’informer Google de la publication ou de la modification d’un contenu. Il peut donc être nécessaire de demander à Google d’explorer ou ré-explorer votre page ou vos pages en utilisant l’une des méthodes présentées ci-dessous.

2. L’outil d’inspection d’URLs de la Google Search Console (environ 10 pages par heure)

Pour demander l’exploration d’URL individuelles, la méthode la plus efficace est sans doute l’outil d’inspection d’URL de Google.

Bien sûr, cet outil ne fonctionne que pour vos propres contenus hébergés sur vos propres sites, car pour y accéder, il vous sera nécessaire d’enregistrer votre nom de domaine dans la Search Console, depuis votre compte Google.

À noter que cet outil permet de demander l’indexation ou la mise à jour que d’environ 10 pages sur une courte période (environ 10 pages chaque heure). Pour faire découvrir un grand nombre de pages à Google, il sera nécessaire d’utiliser la méthode suivante, qui consiste à lui envoyer un fichier « Sitemap ». C’est-à-dire, un « Plan du site » au format XML.

3. L’envoi d’un Sitemap / Plan de site XML dans la Search Console (importation d’URLs en masse)

Pour faciliter l’indexation de tout site Web, Google recommande de lui soumettre un Sitemap XML, ce qui s’avère particulièrement utile si votre site dispose d’un grand nombre de contenus qui doivent être indexés.

Les Plans de site XML sont des fichiers importants pour votre SEO, puisqu’ils permettent à Google de gagner un temps considérable pour la découverte et l’exploration de vos contenus, anciens comme nouveaux.

Sous WordPress par exemple, vous disposez automatiquement d’un Sitemap XML basique accessible depuis l’URL example.com/sitemap.xml.
Pour bénéficier d’un Sitemap avancé et mieux optimisé, vous pouvez installer un plugin SEO tel que Yoast ou autre.

Ensuite, pour envoyer votre Sitemap dans la Google Search Console, rendez-vous dans l’onglet Sitemaps et renseignez l’URI de votre plan de site XML… généralement « sitemap.xml », comme illustré ci-dessous.

Les Sitemaps XML sont utiles de dans très nombreux cas, comme celui d’une migration de sites ou d’un changement massif du format d’URLs pour lequel des redirections devrait être rapidement prises en compte.

Comme évoqué ci-dessus, certains plugins comme Yoast SEO pour WordPress peuvent également inclure dans le Sitemap, des métadonnées supplémentaires comme la langue de la page, la priorité de la page, le nombre d’images incluses, la date de publication ou de mise à jour, ainsi que toute autre information utile pour l’indexation de contenus sur Google Images, Google Vidéos, Google Actualités et bien sûr, Google Search.

4. La création de liens internes ou externes (la base du référencement naturel)

Le robot de Google examine régulièrement les pages des sites présents dans son index, en vue de maintenir sa base de données à jour, ainsi que découvrir de nouveaux contenus à indexer.

Pour cela, Googlebot suit les liens présents dans les contenus qu’il explore. Il peut s’agir de liens externes, pointant d’un site A vers un site B (sans oublier les liens issus des réseaux sociaux : Twitter, LinkedIn, Pinterest, etc).
Mais il peut aussi s’agir de liens internes entre des pages d’un même site qui auraient des sujets connexes. On parle alors de « maillage interne ».

Ce maillage est indispensable pour faire indexer ses nouveaux contenus par Google, puisque le principe du robot d’exploration (Googlebot) est de parcourir le Web à la recherche de nouveaux liens à explorer. Autrement dit, même si votre contenu est repris dans votre Sitemap XML, un contenu qui ne reçoit pas de liens internes sera plus difficile à faire indexer par Google qu’une page qui reçoit de nombreux liens naturels vers elle.

Combien de temps et quel délai patienter avant l’indexation d’un contenu sur Google ?

L’exploration de nouveaux contenus peut prendre plusieurs jours, voire plusieurs semaines, surtout pour les contenus de faible qualité et/ou les sites n’ayant pas encore réussi à gagner la confiance de Google (Trust Rank).

Pour enfin voir une page récalcitrante finalement indexée par Google, il suffit souvent d’être suffisamment patient, tout en continuant à partager son contenu autour de soi. Cependant, si après plus de 4 semaines, l’un de vos contenus n’est toujours pas présent sur Google, il peut être nécessaire de l’améliorer (modifier et ajouter du contenu), ainsi que créer de Nouveaux Liens vers lui, depuis des contenus connexes présents sur votre site, et si possible, depuis des sites externes.

L’indexation Google est-elle garantie pour tous les contenus ?

Google est formel à ce sujet… il n’existe aucune garantie qu’un site Web et/ou qu’un contenu sera effectivement indexé dans son moteur de recherche.

Plus que jamais pour l’indexation dans ses résultats, Google favorise les contenus originaux et utiles, issus de sources fiables. C’est pourquoi il est important de veiller à la qualité de vos contenus, ainsi qu’à la réputation de votre site afin de maximiser vos chances d’être indexé.

En effet, il est maintenant très fréquent que de nombreux contenus d’un site ne soient jamais indexés. Par exemple, cela est fréquent lorsque le site a perdu la confiance de Google suite à la publication de nombreux contenus inutiles ou de mauvaise qualité ; lorsqu’il y a un taux d’engagement trop faible avec les contenus ; ou lorsqu’il y a un manque de « Maillage interne » vers les contenus concernés.

Si votre site et vos contenus sont réellement dignes d’intérêt, il est de votre devoir de le faire savoir à Google en continuant à les promouvoir via du « Maillage interne » et des « Liens externes », sans oublier les partages sur les réseaux, les partages par email, etc. De même, il reste nécessaire de continuer à améliorer votre site et à l’alimenter de nouveaux contenus et de mises à jour régulières.

Comment vérifier l’indexation d’un site et d’un contenu sur Google ?

1. La commande « site: »

Pour afficher la liste des pages d’un site qui sont indexées sur Google, l’une des méthodes consiste à utiliser la commande « site: » suivie du nom de domaine du site concerné.

Par exemple, pour découvrir la liste des pages indexées pour le nom de domaine « EasyHoster.com », suivez ce lien qui ouvrira une recherche Google avec la recherche site:easyhoster.com ➚

2. Le Google Search Console

La seconde méthode consiste à vérifier l’indexation de la page en l’inspectant via l’Outil d’inspection d’URL présent dans la Google Search Console.

Pour vérifier l’indexation d’une page via la Search Console, connectez-vous à votre compte Google et rendez-vous sur https://search.google.com/search-console ➚

S’il s’agit de votre première connexion, il vous faudra valider la propriété du nom de domaine que vous souhaitez analyser. Pour cela, dans la console, cliquez sur la liste déroulante (Sélecteur de propriétés situé en haut à gauche) > Ajouter la propriété, ce qui vous conduira sur une page où vous pourrez saisir votre nom de domaine.

Une fois le nom de domaine saisi, Google Search Console propose plusieurs méthodes de vérification, telles que la vérification par balise HTML, le téléchargement de fichiers HTML, la liaison à votre propriété Google Analytics ou encore l’ajout d’un enregistrement de zone DNS.

Une fois la méthode choisie et mise en place sur le site en vue de prouver à Google que vous êtes bien le propriétaire du site, vous pourrez accéder à toutes les fonctionnalités de la Search Console de Google associées à ce domaine, y compris la vérification de l’indexation Google via l’onglet d’indexation des pages, ainsi que l’outil d’inspection d’URLs.

En effet, via Indexation > Pages, vous pourrez voir toutes les pages qui ont été indexées par Google, ainsi que les pages Détectées via un Sitemap ou les pages Explorées, mais actuellement non indexées.
De même, vous pourrez utiliser la barre de recherche supérieure pour analyser n’importe quelle URL de votre site pour vérifier rapidement si la page est considérée comme indexée par Google, et le cas échéant, obtenir des informations sur la non-indexation du page (comme l’exclusion pas balises robots=noindex ou le fichier robots.txt).

Résoudre les problèmes d’indexation les plus courants

Avant de vous lancer dans des actions d’optimisation très avancées, il est d’abord nécessaire de vérifier que vous n’avez pas configuré de balise ou de paramètres pouvant bloquer l’indexation.

1. Vérifier la balise robots à la recherche du noindex

L’outil d’inspection d’URL, vous donne de nombreuses indications sur l’indexaibilité de vos pages, comme « L’Exploration Autorisée » et « L’Indexation Autorisée ».

Ces informations sont capitales, car vos pages pourraient ne pas être explorables ni indexables à cause de la présence d’un paramètre du fichier robots.txt ou la balise robots configurée sur noindex.

2. Vérifier la non présence d’un X-Robots-Tag: noindex dans votre entête HTTP

Lorsqu’une page semble impossible à indexer, il est aussi important de vérifier vos « En-têtes HTTP » pour vous assurer qu’il n’y ait pas de balise « X-Robots-Tag » empêchant l’indexation via le header de votre site. Cela peut être vérifié sur un outil en ligne d’analyse du Header HTTP tel que HttpStatus.io. Dans le cas où un en-tête X-Robots-Tag: noindex, il faudra en trouver la source et la supprimer pour autoriser Google à indexer la page.

3. Vérifier la balise canonical à la recherche d’une mauvaise URL

La balise canonique « rel=canonical » permet aux éditeurs de sites de signaler à Google s’il s’agit de l’URL principale de la page à indexer, ou au contraire, si une autre adresse URL « favorite » devrait être privilégiée.

Si la page ne possède pas de balise canonique ou que celle-ci correspond à votre URL, Googlebot devrait indexer votre page normalement.

Cependant, si par erreur, vous avez signalé une mauvaise URL dans la balise rel=canonical, Google risque fort d’éviter l’indexation de votre page, en faveur de l’URL renseignée dans la balise canonique.

4. Vérifier le fichier robots.txt à la recherche d’un blocage d’URL

Le fichier robots.txt donne des directives aux Crawlers comme ceux des moteurs de recherche, dont Googlebot (ou encore Bingbot, le robot d’exploration de Microsoft).

Le « robots.txt » peut mentionner une liste d’URLs pouvant être explorées ou non, par tel ou tel robot d’exploration. Par exemple, vous pouvez demander explicitement à Googlebot de ne pas explorer un ensemble d’URL précis, tout en autorisant les autres robots à les explorer. Cela peut par exemple être utile pour économiser votre « Crawl Budget », afin que votre quota d’exploration Google quotidien et mensuel ne soit pas gaspillé dans l’analyse de pages secondaires.

Dans, comme vous l’aurez compris, une erreur dans les directives renseignées dans le fichier robots.txt peut clairement empêcher l’exploration et donc l’indexation de certaines pages par Google. Il s’agit donc d’un point central à vérifier pour permettre l’exploration de vos contenus par Googlebot.

5. Créer des liens internes et externes vers vos contenus

Les robots de Google ont pour but de parcourir le Web en suivant les Liens Hypertextes.
Les liens internes et externes permettent donc au Googlebot de trouver et d’indexer des contenus dans son index, à condition que Google juge votre site comme étant de confiance et vos contenus de qualité.

En créant toujours plus de liens pertinents vers vos pages web qui sont les plus importantes, à la fois depuis votre nom de domaine (liens internes) et depuis d’autres noms de domaine (liens externes), vous allez aider Googlebot à découvrir, explorer et éventuellement indexer vos contenus, ainsi qu’à comprendre quels contenus sont importants, ou non.
En effet, plus un contenu est important à vos yeux, plus il devrait recevoir de liens (internes et/ou externes), issus de vos pages importantes, comme votre page d’accueil, vos articles les plus populaires ou en tout cas, nécessitant moins de 3 clics depuis votre homepage.
Par la même occasion, grâce à ces liens, les utilisateurs comme les robots pourront plus facilement découvrir vos contenus. En particulier les plus importants. C’est pourquoi la création de liens reste un bon signal pour faire comprendre à Google qu’un contenu doit impérativement être indexé.

D’ailleurs, l’existence de plusieurs liens entrants vers vos contenus devrait aussi contribuer à améliorer leur classement dans les résultats (SERPs), puisque les liens font toujours partie des critères de classement de l’algorithme de Google… à condition qu’il s’agisse de liens pertinents ayant du sens pour les utilisateurs.

6. Corriger ses contenus et/ou ajouter des informations utiles

Si après 4 semaines, l’une de vos pages n’a toujours pas été indexée par Google, il est important de prendre du recul et de réévaluer votre contenu. Il peut s’avérer nécessaire de vérifier que le contenu ne comporte pas de fautes de grammaire, d’orthographe, de portions de texte de faible qualité ; et que toutes les informations fournies sont pertinentes et utiles pour le lecteur.

De même, chaque page devrait intégrer une quantité de contenu suffisante pour répondre aux besoins des utilisateurs.

En outre, il se peut que vous deviez ajouter plus d’informations utiles et actuelles qui rendront votre page encore plus précieuse pour les lecteurs.

Une fois que vous aurez réévalué et révisé votre contenu, essayez de le soumettre à nouveau à Google via sa Search Console et patientez encore jusqu’à 4 semaines supplémentaires pour voir s’il est indexé par Google.

7. Corriger les erreurs techniques de son site

Obtenir de bons résultats sur PageSpeed Insights permet d’assurer qu’un site est correctement optimisé et moins susceptible de rencontrer des problèmes d’indexation Google, comme les pages Détectées, actuellement non indexées, qui prouve que Google connaît vos URLs, mais ne désire actuellement pas les explorer (cf. Predictive Crawling).

Il est important de s’assurer que tous les scores se situent dans le  Vert  sur PageSpeed Insights… et pas seulement le score de Performances, mais aussi les scores d’Accessibilité, Bonnes pratiques et SEO, car cela prouvera à Google que vous prenez soin de votre site.

Si votre site rencontre trop de problèmes techniques, comme un long temps de chargement avec un score  Rouge  sur mobile, Google pourrait considérablement ralentir la fréquence d’exploration de son Crawler Googlebot, ainsi qu’éviter l’indexation de vos pages.

D’après notre expérience, le respect des meilleures pratiques en matière d’optimisation a un impact significatif sur la résolution des problèmes d’indexation Google, ainsi que l’Expérience Utilisateur. Ce qui se traduit par un meilleur référencement naturel sur l’ensemble du site.

Comment ne pas être indexé par Google ?

Pour interdire l’indexation de certains contenus à Google, par exemple, pour économiser votre Crawl Budget, ou éviter que des visiteurs atterrissent sur des contenus privés et confidentiels, il vous suffit d’appliquer l’inverse des principes vus précédemment. C’est-à-dire, utiliser par exemple une balise meta robots=noindex, un entête HTTP X-Robots-Tag:noindex, utiliser judicieusement les balises rel=canonical, ainsi que le fichier robots.txt avec l’instruction Disallow: suivie de l’URI pour laquelle l’exploration devrait être interdite.

Pour empêcher l’indexation d’un site WordPress complet par Google, votre CMS dispose d’un paramètre facile à activer depuis votre Tableau de bord > Réglages > Lecture, comme illustré ci-dessous.

Tableau résumé des bonnes pratiques de l’indexation Google

Résumons très brièvement les principes vus dans cet article sur l’indexation Google sous forme de tableau de conseils SEO.

Principe d’indexation Google	Conseils SEO
Exploration	Googlebot explore le web en suivant les liens pour découvrir de nouvelles pages et les mettre à jour.
Plan de site / Sitemap XML	Créer un plan de site XML et le soumettre à Google via la Search Console facilite la vie de Googlebot et permet d’améliorer l’indexation Google.
Les Pings (depuis WordPress, etc)	Lorsque vous publiez un nouveau contenu ou mettez à jour une page, votre CMS peut envoyer un « ping » pour le signaler à Google.
Search Console	Google met à disposition des webmasters une interface leur permettant d’envoyer les URLs de leur site à l’indexation.
Indexation	Une fois les pages explorées, Google les stocke sur ses serveurs d’index et les positionne plus ou moins bien dans les résultats (SERPs) en fonction de leur contenu et de leurs mots-clés.
Référencement	Le référencement consiste notamment à optimiser les pages web pour qu’elles soient mieux positionnées dans les résultats de recherche.
Contenu de qualité	L’optimisation du contenu consiste à améliorer les informations données pour que les pages soient mieux positionnées dans les résultats de recherche.
Liens entrants	Les liens entrants pertinents / backlinks provenant de sites de qualité améliorent la réputation et l’indexation d’un site.
Accessibilité	Un site accessible, bien structuré et compatible avec les appareils mobiles facilite l’indexation par Google (à vérifier via PageSpeed Insights).
Vitesse de chargement	Une vitesse de chargement rapide améliore l’expérience utilisateur et favorise une meilleure indexation (à vérifier via PageSpeed Insights).
Hébergeur Web	Choisir une solution d’Hébergement Web ayant un faible taux de disponibilité (Uptime) et créant régulièrement des erreurs, peut pousser Googlebot à explorer et indexer moins de pages.
Mises à jour régulières	Mettre à jour régulièrement le contenu d’un site permet de conserver une bonne fréquence d’exploration, un bon taux d’indexation Google, ainsi que sa visibilité sur le moteur.
Temps avant indexation	Le délai d’indexation peut varier (entre 6h et 4 semaines) en fonction de l’optimisation de votre site, la confiance que Google lui accorde, ainsi que la qualité moyenne de vos précédents contenus.
Vérifier l’indexation	La commande « site: » ainsi que la Google Search Console sont les outils les plus fiables pour vérifier si une page est indexée sur Google.
Éviter l’indexation Google	Pour empêcher Google d’indexer un contenu, il est possible d’utiliser la balise robots=noindex, l’entête X-Robots-Tag:noindex, la balise rel=canonical et/ou le fichier robots.txt. WordPress propose un réglage dans sa catégorie « Lecture » pour décourager les moteurs d’indexer un site.

FAQ sur l’indexation Google

Répondons enfin aux questions plus fréquentes reçues par nos utilisateurs au sujet de l’indexation Google.

Pourquoi l’indexation Google est devenue si lente ou difficile, et comment la forcer en 18 étapes ?

Pour des raisons écologiques et depuis fin-2020, Google a changé ses habitudes d’exploration et donc, ses délais d’indexation avec la volonté de réduire son empreinte carbone.

Pour cela, il a instauré un nouvel algorithme de « prédiction » destiné à « deviner » quelles pages méritent d’être explorées, puis indexées… ou pas. Il s’agit du « Predictive Crawling ».

Ce nouveau fonctionnement de l’indexation Google a créé son petit ras de marée au sein de la communauté SEO en 2021 et requiert aujourd’hui d’avoir un site parfaitement optimisé (PageSpeed, etc), du contenu de haute qualité (cf. Helpful Content), ainsi que d’économiser son « Crawl Budget » en évitant l’exploration de pages inutiles.

Pour en savoir plus sur le « Predictive Crawling » et trouver des solutions aux problèmes d’indexation, ne manquez pas ces 2 articles dédiés :