Le fichier Robots.txt célèbre sa vingtième année

Il y a déjà vingt ans que le fichier robots.txt, ce protocole d’exclusion des robots adopté en 1994, qui permet de donner des indications aux moteurs de recherche, notamment pour empêcher les robots d'indexation (web crawlers) d'accéder à toute ou une partie d'un site web, a été adopté.

Pour rappel, voici un exemple de contenu du fichier :

L'instruction User-agent: * signifie que la ou les instruction(s) qui suivent s'appliquent pour tous les robots. L'instruction Disallow: signifie que le moteur peut parcourir l'ensemble des répertoires et des pages du site. Note : cela revient au même que de ne pas mettre de robots.txt sur le site.

Google a donc décidé de célébrer les vingt ans de ce protocole sur une pointe d’humour. Pour mieux vous faire profiter de la blague, nous ferons un petit rappel. Ceux qui ont regardé la saga Terminator ont probablement entendu parler des T-1000 et T-800, deux Terminator créés par le super ordinateur militaire Skynet. Le T-800, modèle le plus ancien des deux, est un humanoïde aux capacités de régénération et de mimétisme. Le second, T-1000, est constitué d’un alliage « poly mimétique » dont les propriétés lui permettent de se liquéfier et de se reformer à une très grande vitesse.


Les instructions ont donc été données aux robots T-1000 et T-800 qui ont pour ordre de ne pas s’attaquer aux deux co-fondateurs de Google.

Du côté du spécialiste en SEO Forecheck, l’entreprise fait un petit clin d’œil à Matt Cutts, chargé de la communication sur le référencement/SEO, mais également de l'équipe Webspam chez Google qui a décidé de prendre un long congé de quelques mois pour des raisons personnelles mais également pour se rapprocher de sa femme.



Sources : blog Matt Cutts, Forecheck (fichier Robots.txt), Google (fichier Robots.txt), Nike (fichier Robots.txt)

Et vous ?

Quelles sont les trouvailles que vous avez faites sur le sujet ? Laquelle/lesquelles préférez-vous ?

Partagez vos interprétations des fichiers Robots.txt ...