Google a officiellement annoncé que GoogleBot n'obéirait plus à une directive Robots.txt relative à l'indexation. Les éditeurs qui s’appuient sur la directive robots.txt noindex ont jusqu'au 1er septembre 2019 pour la supprimer et commencer à utiliser une alternative.

Robots.txt Noindex Unofficial

La directive noindex robots.txt ne sera pas prise en charge car elle n’est pas une directive officielle.

Dans le passé, Google avait soutenu cette directive robots.txt, mais ce ne sera plus le cas. Prenez-en bonne note et réglez-vous en conséquence.

Google principalement utilisé pour obéir à la directive Noindex

StoneTemple a publié un article notant que Google a pour la plupart obéi à la directive robots.txt noindex.

Leur conclusion à l'époque était:

«Au final, la directive NoIndex dans Robots.txt est assez efficace. Cela a fonctionné dans 11 des 12 cas que nous avons testés. Cela peut fonctionner pour votre site. En raison de la manière dont il a été mis en œuvre, il vous permet d’empêcher l’exploration d’une page ET de la supprimer de l’index.

C’est très utile dans le concept. Cependant, nos tests n’ont pas montré un succès de 100%, donc cela ne fonctionne pas toujours. « 

Ce n’est plus le cas. La directive noindex robots.txt n'est plus prise en charge.

Ceci est le tweet officiel de Google:

«Aujourd’hui, nous disons au revoir aux règles non documentées et non prises en charge dans robots.txt.

Si vous vous basiez sur ces règles, découvrez vos options dans notre article de blog. « 

Voici la partie pertinente de l'annonce:

«Dans l’intérêt de maintenir un écosystème sain et de préparer de futures versions open source potentielles, nous supprimons tout code qui traite des règles non prises en charge et non publiées (telles que noindex) le 1er septembre 2019.«

Comment contrôler ramper?

Le blog officiel de Google a répertorié cinq moyens de contrôler l’indexation:

  1. Noindex dans les balises META robots
  2. Codes d'état HTTP 404 et 410
  3. Mot de passe de protection
  4. Interdire dans le fichier robots.txt
  5. Outil de suppression d'URL de la console de recherche

Lisez l'annonce officielle de Google ici:
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

Lire le tweet officiel de Google ici
https://twitter.com/googlewmc/status/1145950977067016192



Source link