Pour savoir où on va, il faut savoir d'où l'on vient

Vous avez
une question ?
Un projet ?

Contactez nous !
 

Contactez-nous

Vous avez une question ? un projet ? 
Vous souhaitez plus d'informations sur un produit ? sur notre offre ? 
Contactez-nous, on vous répond sous 4H.

retour

Les limites du Crawler

Les limites du Crawler

Le minimum requis pour que toutes les pages d’un site soient référencées est qu’il soit crawlable, c’est-à-dire qu’il ne présente pas d’impasse pour le fonctionnement du crawler.

Il faut donc bien comprendre ce que le crawler peut et ne peut pas faire.

Il suit très facilement les liens hypertextes standards (balise <a>). Le crawler ne suit pas les liens qui résultent de l’exécution d’instructions Javascript. Et encore moins les liens inclus dans un programme Flash.

Le crawler ne peut franchir aucun formulaire, même très simple. Aussitôt que le visiteur doit saisir un champ ou bien sélectionner dans une liste, le crawler ne passera pas. Il arrive que ce soit souhaité : certains utilisent un petit formulaire simple, par exemple une liste déroulante, pour bloquer l’indexation de certaines pages, bien qu’il existe des méthodes plus élégantes, comme nous le verrons plus loin. Mais à l’inverse, certains sites mettent en place sans le vouloir une navigation qui bloque tout référencement.

Au strict minimum, un site doit pouvoir être visité de manière complète par le crawler.

Pour cela, il faut privilégier les liens Html naturels, interdire les liens résultant de javascript ou de Flash, et interdire les formulaires qui seraient le point de passage obligé vers certaines branches du site.