robot bot moteur de recherche

Que sont les bots dans l’univers du Web?

Un bot est un terme anglais signifiant robot. Comme dans certaines œuvres de science fiction (Romans ,Films, etc…) où les robots peuvent effectuer des tâches de manière indépendante, on pense surtout à Isaac Asimov et son cycle des Robots. Dans le domaine du Web, un bot est un programme informatique qui va se connecter automatiquement au serveur comme un être humain .
Le bot va collecter les éléments de nos pages web (code source ,vidéo ,image ) et les exploiter de manière différente

Les Crawlers du Web : il en existe des centaines

Il existe différent bot dans l’univers web. Pour la grande majorité, ils se baladent de page en page sur la toile par le biais des hyperliens. Le rôle d’un moteur de recherche est de fournir rapidement une information de qualité à son utilisateur. Cependant, il existe des milliards de sites. Le plus connu des bots est le Googlebot qui va sans cesse crawler vos pages et  les indexer dans son moteur de recherche selon leur pertinence et leur qualité. De la même société située à Mountain View en Californie, il existe aussi le Googlebot-Image qui référence les images que l’on retrouve dans sa catégorie Image. Le Googlebot-Image s’appuie notamment sur  « attribut alt » pour son référencement. Mais les autres moteurs de recherche utilisent aussi des bots comme MSN Bot pour Bing. Il y a aussi Qwantify pour le moteur de recherche Made in France Qwant.

D’autres outils, et notamment les outils d’analyses comme Majectic SEO ou Ahref utilisent des bots pour analyser les backlinks. Tous ces petits robots sympathiques, parfois parasites aussi, peuvent se gérer dans le fichier qui suit :

Le fichier Robots.txt qui gère les bots du Web

Afin d’éviter l’indexation de certaines pages de nos sites, on peut recourir à un fichier texte nommé Robot.txt qui doit être placé à la racine du site.
Ce qui permettra au moteurs de recherche notamment de ne pas indexer les pages en travaux .
Le fichier texte doit contenir les lignes comme si dessous.

exemple-bot-web

User-agent est la ligne où l’on spécifie quel bot peut accéder au site.
Tandis que le terme  Disallow sont les pages inaccessibles par les bots.
Dans cette exemple ci dessous, tous les bots n’auront pas accès au site sauf pour Google .

exemple robot.txt bot

Toutefois,  ce fichier texte ne constitue pas un élément de sécurité à nos sites : il informe les bots bienveillants de ce qu’ils doivent faire mais cependant il n’empêche pas les bots malveillants d’agir .

Les bots Sociaux, une autre forme de fonctionnement

Aussi appelés les Chabots, ils sont similaires à un serviteur virtuel, le Chabot est capable d’entretenir une conversation écrite ou orale avec son utilisateur et de répondre à ses besoins divers.
Ils sont présents sur les Messageries instantanées tel que Skype ou Facebook Messenger et certains OS comme Cortana pour Microsoft ou bien Siri pour Apple .
Plusieurs sociétés tel que la SNCF ou CNN ont lancé leurs chabots sur Facebook Messenger .
Le chabot permet d’apporter les informations désirées par l’utilisateur tel que les tickets et horaires de train ou alors l’actualité des journaux. Les utilisateurs pourront aussi par l’intermédiaire des chabots être conseillés et commander des produits au sein d’une messagerie instantanée . Cependant le chabot a ses limites, il se base sur des réponses prédéfinies. Il peut parfois nous donner des réponses erronées.

Enregistrer

24

Pas de commentaire

Ecrire une réponse