Qu'est-ce qu'un crawler web (robot d'indexation) et à quoi sert-il ?

Dans l'immensité de l'écosystème du web, les contenus des pages internet sont triés afin d'être proposés aux utilisateurs. Pour apparaître dans les pages des résultats des moteurs de recherche, ils sont analysés de fond en comble par des « crawlers web ». Ces petits robots sont programmés pour parcourir les divers documents présents sur la toile et les collecter pour former une base de données.

Comprendre le fonctionnement des crawlers est essentiel pour les stratégies SEO. Voici donc ce qu'il y a à savoir sur les robots d'indexation.

À quoi sert un crawler ?

Les moteurs de recherche ont été créés pour apporter une réponse à une problématique de l'internaute, selon une requête tapée. Ils regroupent ainsi un grand nombre de sites web, à l'image d'une bibliothèque virtuelle. Ils ne nécessitent aucune intervention humaine pour être enrichis régulièrement, c'est automatisé. Telle des documentalistes, les robots d'indexation vont donc scanner tous les sites et les contenus existants.

L'objectif principal d'un crawler est alors la collecte d'informations dans l'objectif de créer un index, autrement dit une base de données. Pour ce faire, les robots examinent le web à la recherche de contenus pour proposer des résultats aux internautes. Ils parcourent automatiquement les liens hypertextes des pages et reviennent visiter celles déjà explorées pour vérifier si elles ont fait l'objet de modifications. 

Un crawler permet d'indexer les pages web selon la qualité des contenus proposés, pour aider les moteurs de recherche à établir un classement dans les résultats de recherche (SERP). Il participe à apporter les réponses les plus pertinentes aux internautes selon leur requête. 

Ils se basent sur différents critères pour déterminer la qualité des pages. En constante évolution, ces facteurs concernent les mots-clés, le contenu, la structure du site, le maillage interne et externe, la navigation générale du site et bien d'autres. Pour aider les crawlers à explorer le site, il est nécessaire d'avoir une bonne arborescence et une navigation simplifiée, ainsi qu'un sitemap.

La mission d'un bot consiste donc à assurer la pertinence des contenus des sites et à exclure les pages web inutiles dans l'index. Il est indispensable dans les stratégies SEO, aussi bien pour positionner les pages dans les SERP, que pour auditer un site en vue d'optimisation. Il va permettre de faire ressortir les éléments structurels à réviser pour améliorer le positionnement.

Les différents types de crawlers

Il existe plusieurs catégories de spider, ayant des objectifs un peu différents des uns et des autres.

Tout d'abord, il y a le crawler d'indexation. Celui-ci est le plus ancien. Il est utilisé par les moteurs de recherche et permet de classer les pages sur internet. Il est important, car il détermine l'apparition dans les résultats de recherche. Le plus populaire est celui du géant des moteurs de recherche : le Googlebot. 

Dans le cas où un site bloquerait l'exploration de crawlers, il perd toutes les chances d'être visible dans les pages de résultats, car il ne sera pas indexé. Selon la stratégie de référencement naturel, il peut être judicieux de ne pas indexer certains contenus au sein d'un site. 

Ensuite, il existe le crawler de diagnostic. Il s'agit d'un outil analytique qui est utilisé pour aider au référencement naturel (SEO). Il permet d'effectuer un audit SEO complet en mettant en lumière les défauts et les points à améliorer. Il analyse ainsi la structure du site, l'accès aux pages, le nombre de liens des URL, la durée de chargement, le maillage interne, les codes sources, la présence de duplicate content, et tous les éventuels problèmes qu'il a pu rencontrer. Il est utilisé en vue d'apporter des optimisations à un site. C'est une procédure indispensable pour assurer la santé d'un site internet et améliorer son référencement naturel.

Il y a également le crawler de veille, qui permet de suivre l'évolution d'un marché. Comme son nom l'indique, il permet d'effectuer des veilles concurrentielles et de récupérer des données relatives à des prix de produits (datamining).

Dans certains domaines, les spiders sont également utilisés pour collecter des adresses e-mail ou postales d'entreprises.

Comment fonctionne un crawler ?

Tout d'abord, il faut savoir qu'un crawler est constitué d'un code avec des scripts et des algorithmes. Il répond donc à des tâches précises qui lui sont attribuées. Les robots d'indexation ratissent de manière automatique, 24h sur 24h, les pages web et les liens hypertextes. 

Son fonctionnement est simple : il trouve une page, l'explore, l'enregistre, suit les liens qu'il détecte pour trouver d'autres pages, les sauvegarde, suit les nouveaux liens et ainsi de suite. Il commence toujours son exploration par des URL connues. 

Lorsqu'un robot arrive sur un site web, il effectue dans un premier temps une phase de crawl. C'est la toute première étape dans le processus de positionnement dans les SERP. Il va alors analyser tous les éléments constituant une page web pour renseigner le contenu proposé. Il collecte aussi bien le texte, les images, les liens, les balises et les titres ; d'où l'importance de bien les indiquer pour le positionnement SEO. 

Le spider vérifie également s'il connaît déjà cette page. S'il l'a parcouru dans le passé, il inspecte les changements afin d'examiner s'il s'agit d'une version plus récente. Si c'est le cas, la page est alors mise à jour automatiquement dans l'index. 

Suite à cette étape de crawl, la page est indexée par le moteur de recherche. Elle pourra donc être proposée aux internautes selon leur requête.

Dans le cas où le contenu d'une page n'a pas à être indexé, une balise meta « noindex » peut être placée dans le code HTML. Cela empêche les bots de parcourir la page et de l'indexer dans les résultats de recherche.

Pour aller plus loin, découvrez comment créer des contenus parfaitement optimisés pour les moteurs de recherche en téléchargeant la checklist de rédaction SEO, ou découvrez l'outil SEO de HubSpot.