Pour savoir où on va, il faut savoir d'où l'on vient

Vous avez
une question ?
Un projet ?

Contactez nous !
 

Contactez-nous

Vous avez une question ? un projet ? 
Vous souhaitez plus d'informations sur un produit ? sur notre offre ? 
Contactez-nous, on vous répond sous 4H.

eZHumanCAPTCHACode reload
retour

Le Crawler

Le Crawler

A la base du référencement il y a le robot d’indexation, appelé encore Crawler (« celui qui avance en rampant »). C’est un petit programme, qui se comporte comme un internaute qui suivrait tous les liens qu’il rencontre. Il lit une page, analyse le contenu et indexe les mots rencontrés, puis suit tous les liens de cette page pour lire d’autres pages. Et ainsi de suite.

Normalement, le crawler devrait découvrir ainsi pratiquement tous les sites, puisqu’il suffit d’un lien vers une page de votre site pour qu’il « entre » et parcoure alors l’ensemble des pages en suivant ainsi tous les liens.

 

Mais si votre site est tout neuf, aucun autre site n’a encore de lien vers le vôtre. Il est toujours possible de signaler explicitement l’existence d’un nouveau site. Le moteur ne garantit pas qu’il viendra le visiter et l’indexer rapidement, mais sous quelques semaines il le fera. C’est donc bien sûr la première étape pour indexer un site que de signaler son existence aux principaux moteurs de recherche du web.

Certains recommandent plutôt, pour cette étape, de faire enregistrer le site de manière indirecte, par exemple en proposant la nouvelle adresse sur un site déjà référencé. Une fois le site enregistré par les principaux moteurs, un ajout manuel complémentaire peut alors être réalisé.

La fréquence de visite du crawler n’obéit pas à des règles publiées. Elle dépend du moins du taux de mise à jour du site : si le crawler voit que les contenus du site sont modifiés fréquemment, il revient fréquemment. La fréquence de visite dépend certainement aussi du Page Rank, de la notoriété du site : le site de Microsoft sera indexé plus fréquemment que celui des pêcheurs de la Marne. Pour autant, il serait tout à fait inutile de chercher à être indexé plus souvent, puisque cela ne donnerait en rien un meilleur référencement.