Phase de crawl : comment l'optimiser pour booster le référencement naturel

Optimiser la phase de crawl, voilà une étape qui passe souvent à la trappe quand il s'agit de SEO. Souvent oubliée ou négligée sur de nombreux sites web, elle constitue pourtant l'une des premières optimisations à réaliser – avant même les autres critères on-page et off-page.

Au travers de quelques conseils simples, mais efficaces, découvrez dans cet article comment optimiser la phase de crawl de votre site web pour améliorer son référencement et votre présence sur les SERP.

La phase de crawl : de quoi s'agit-il ?

Avant toute chose, il convient de bien définir le crawl et la phase de crawl. Le crawl désigne la première étape du processus de positionnement des pages du site web sur les SERP (Search Engine Result Page soit, Page de résultat du moteur de recherche).

Le principe : le moteur de recherche utilise ses robots d'indexation, appelés spiders, pour visiter entièrement votre site web. Lors de ce passage, les robots d'indexation (comme Googlebot) examinent tous les éléments qui constituent la page web : texte bien sûr, mais aussi images, liens, balises, titres. Puis ils enregistrent la page dans son intégralité.

Après cette phase d'exploration vient la phase d'indexation : cette dernière permet d'indexer la page dans les résultats et à partir de ce moment-là, les internautes sont en mesure de trouver cette page via une requête sur laquelle est positionné son contenu SEO.

Les différentes étapes qui permettent à une page web d'être trouvée sur les SERP.

Une fois que le robot a terminé d'explorer la page web, il se dirige vers une autre page web de votre site : pour cela, il va utiliser en priorité les liens naturels qu'il trouve sur la page. À ce titre, il se comporte donc de la même manière que le ferait un internaute.

Pourquoi optimiser la phase de crawl ?

Vous l'avez compris : la phase de crawl fait partie intégrante du processus d'indexation et de positionnement sur les SERPs. À ce titre, l'amélioration du référencement de votre site passe donc aussi par l'optimisation de cette phase de crawl.

Un autre critère entre en compte dans cette démarche : le temps. Car bien que les investissements soient chaque année plus importants pour les moteurs de recherche, ces derniers ne disposent pas de ressources illimitées : un moteur de recherche ne peut donc pas scanner l'intégralité d'un site web à chaque fois que l'un de ses spiders passe dessus.

De ce fait, un crédit-temps est alloué à tous les sites web : il s'agit du crawl budget ou budget de crawl. Le crawler exploite au maximum le crawl budget qui lui est alloué. Mais quoi qu'il advienne, lorsque ce crédit-temps s'épuise, le robot quitte le site web pour aller scanner un autre site web.

Dès lors, tout le travail du SEO quant à l'optimisation de la phase de crawl consiste à améliorer son crawl budget et à favoriser le passage efficace des robots d'indexation sur toutes les pages du site.

L'objectif à atteindre pour votre site web ? Faire en sorte que les robots d'indexation scannent un maximum de ses pages web en un minimum de temps.

Les bénéfices pour votre site web et son référencement naturel sont de taille :

• Un meilleur crawl budget est synonyme de réactivité : dans le meilleur des cas, un contenu qui vient juste d'être mis en ligne est immédiatement recensé et proposé comme résultat sur les SERP.
• Si les contenus arrivent plus vite sur les SERP, votre site web a donc toutes les chances de gagner rapidement des places sur lesdites SERP, tout particulièrement sur de nouveaux sujets. Pour rappel : chaque jour, pas moins de 500 millions de nouvelles requêtes voient le jour sur Google. (source : 109 c)
  
  

Rédaction SEO : la checklist ultime

Téléchargez ce modèle gratuit et découvrez les 44 critères SEO pour optimiser sa rédaction.

• 5 critères URL
• 6 critères balises Hn
• 4 critères maillage
• Et plus encore

Télécharger En savoir plus Télécharger

Télécharger

Tous les champs sont obligatoires.

Merci d'avoir soumis le formulaire

Cliquez sur le lien pour accéder au contenu en tout temps

Télécharger

Conseils pour optimiser la phase de crawl et améliorer le référencement naturel

Cette démarche devra mobiliser 2 leviers d'amélioration :

• Utiliser du mieux possible le crawl budget alloué à votre site.
• Réussir à augmenter ce crawl budget.

Optimiser le budget de crawl, pour une meilleure efficacité

Les robots ne doivent pas perdre de temps et scanner un maximum de pages dans le temps imparti. C'est pourquoi ces optimisations se concentrent sur la rapidité de chargement et sur la navigation interne.

Favoriser la bonne navigation des robots d'indexation sur le site grâce à un maillage interne efficace

Comme pour la navigation de l'internaute, les liens sont des passerelles qui relient les pages web entre elles. En dehors de l'optimisation SEO consacrée au transfert de PageRank, un bon netlinking aide les internautes autant que les robots à bien naviguer sur votre site web.

Dès lors, des problèmes d'explorabilité graves - comme les pages orphelines (qui ne sont pas reliées à aucune autre page) - sont à proscrire : car dans ce cas, les robots d'indexation n'ont d'autre choix que d'utiliser le fichier sitemap pour se rendre sur la page orpheline. Or la plupart du temps, ce fichier est tout simplement ignoré par les moteurs de recherche comme Google. Une page orpheline a donc toutes les chances de ne jamais être scannée par un robot d'exploration et donc, de ne jamais être visible sur les SERP : c'est une page qui n'apportera aucun trafic.

Pour évaluer la qualité de votre phase de crawl, pourquoi ne pas procéder à un crawl du site web grâce à un logiciel prévu à cet effet ? Il est possible d'utiliser par exemple Semrush et son outil Audit de site, qui répertorie, entre autres, la liste des pages web du site ainsi que le nombre de liens qui les raccorde les unes aux autres.

Le rapport Audit de Site de Semrush dispose d'un dashboard entièrement dédié au gaspillage de budget de crawl, appelé ici « Budget d'exploration »

Améliorer la vitesse de chargement des pages web pour ne plus perdre de temps

Lorsque les robots d'indexation atterrissent sur le site web, une course contre-la-montre s'engage.

Votre budget de crawl ne s'exprime pas en « nombre de pages » que les robots peuvent scanner, mais en « temps imparti » pour ce scan : ce dernier se compte en secondes, parfois en minutes selon les sites.

L'enjeu est donc d'offrir aux crawlers (et aux internautes) un site web qui charge rapidement. Haro sur les temps de chargement longs. Le plus souvent, des derniers sont liés à des images trop lourdes pour être chargées rapidement :

- Compresser ces images est un bon début pour réduire ce temps de chargement.

- L'installation d'un plug-in de mise en cache efficace est aussi pertinente.

Il est possible de soumettre son site web à l'outil de test de rapidité des pages web de Google.

Augmenter son crawl budget pour se rendre plus visible sur les SERP

Pour améliorer la phase de crawl, il est également possible d'influer sur le budget de crawl alloué par les moteurs de recherche. Pour cette approche, c'est le contenu qui va être un point prioritaire.

Établir une stratégie de contenu qui mise sur les sujets chauds

Traiter des sujets d'actualité, c'est-à-dire qui génèrent beaucoup de requêtes sur un temps donné, améliore le crawl budget. Ces sujets chauds sont souvent les plus changeants, et il est normal qu'un site légitime pour s'exprimer sur le sujet en question puisse le faire avec toute la réactivité possible.

Les sites web axés sur du contenu éditorial et qui sont légitimes pour traiter d'un sujet chaud ont donc tout intérêt à le faire : les robots d'explorations détectent qu'un sujet devient chaud et scannent plus souvent le site à la recherche de nouveaux contenus ou de mises à jour d'anciens contenus.

Publier plus régulièrement pour habituer les moteurs à revenir plus souvent

Dans la logique du point précédent, la fréquence de publication du contenu est un autre facteur déterminant pour les moteurs de recherche quand il s'agit de déterminer le crawl budget alloué à un site web.

En effet, plus un site web propose des contenus nouveaux ou mis à jour régulièrement, plus les robots d'indexation procèdent fréquemment à son crawl.

Pour ce faire, il convient de procéder à des mises à jour importantes et qui apportent de la valeur ajoutée : mettre en ligne un nouveau contenu ou mettre à jour un ancien contenu ne sera comptabilisé que si l'information supplémentaire est jugée intéressante par le moteur.

C'est pourquoi il est important d'être bien vigilant sur ces contenus qui abordent des sujets d'actualité et pour lesquels le site sera considéré comme légitime pour le faire.

La régularité est très importante pour cette optimisation : elle incite les moteurs de recherche à attribuer plus de budget de crawl au site.

Bonne pratique SEO et édito : établir un rendez-vous régulier avec vos lecteurs. Par exemple, un article mis en ligne toutes les semaines fidélisera vos visiteurs et adressera un signal aux robots de moteur de recherche pour venir crawler plus souvent votre site.

Pour un site web, optimiser la phase de crawl signifie avant tout offrir les meilleures conditions aux moteurs pour un crawl efficace. Il s'agit d'une optimisation assez simple à mettre en place, mais qui n'en reste pas moins cruciale et souvent négligée par les sites web : un atout à investir donc pour se démarquer.

Les moteurs de recherche comptabilisent de très nombreux critères de pertinence pour déterminer la qualité et la pertinence des pages. Dans ce processus, la phase de crawl doit être vue comme la phase préalable à la prise en compte de tous les autres critères : c'est donc une optimisation à ne pas négliger.

Pour aller plus loin, découvrez comment créer des contenus parfaitement optimisés pour les moteurs de recherche en téléchargeant la checklist de rédaction SEO, ou découvrez l'outil SEO de HubSpot.