Pour rappel, voici un exemple de contenu du fichier :
Code : | Sélectionner tout |
1 2 | User-agent: * Disallow: |
Google a donc décidé de célébrer les vingt ans de ce protocole sur une pointe d’humour. Pour mieux vous faire profiter de la blague, nous ferons un petit rappel. Ceux qui ont regardé la saga Terminator ont probablement entendu parler des T-1000 et T-800, deux Terminator créés par le super ordinateur militaire Skynet. Le T-800, modèle le plus ancien des deux, est un humanoïde aux capacités de régénération et de mimétisme. Le second, T-1000, est constitué d’un alliage « poly mimétique » dont les propriétés lui permettent de se liquéfier et de se reformer à une très grande vitesse.
Les instructions ont donc été données aux robots T-1000 et T-800 qui ont pour ordre de ne pas s’attaquer aux deux co-fondateurs de Google.
Du côté du spécialiste en SEO Forecheck, l’entreprise fait un petit clin d’œil à Matt Cutts, chargé de la communication sur le référencement/SEO, mais également de l'équipe Webspam chez Google qui a décidé de prendre un long congé de quelques mois pour des raisons personnelles mais également pour se rapprocher de sa femme.
Sources : blog Matt Cutts, Forecheck (fichier Robots.txt), Google (fichier Robots.txt), Nike (fichier Robots.txt)
Et vous ?
Quelles sont les trouvailles que vous avez faites sur le sujet ? Laquelle/lesquelles préférez-vous ?
Partagez vos interprétations des fichiers Robots.txt ...