Gary Illyes, de Google, a mis à jour son article original sur le budget d'analyse en précisant les URL interdites.
Le document contient maintenant les informations suivantes:
«Q: Les URL que je n'autorise pas via le fichier robots.txt ont-elles une incidence sur mon budget d'analyse?
R: Non, les URL non autorisées n'affectent pas le budget d'analyse. «
La question fait référence au protocole «User-agent: * Disallow: /» du fichier robots.txt qui bloque les robots d'exploration de sites Web.
Il peut soit être utilisé pour empêcher l’exploration d’un site entier, soit pour empêcher l’exploration d’URL spécifiques.
Selon la mise à jour d'Illyes, le blocage d'URL spécifiques n'aura pas d'incidence sur le budget de l'analyse sur le reste du site.
Les pages ne seront pas explorées plus fréquemment car d'autres pages du site ne sont pas autorisées à l'exploration.
Il n’ya pas non plus d’inconvénient à interdire les URL lorsqu’il s’agit d’analyser le budget.
Les informations mises à jour apparaissent au bas de cette article, qui est un blog du Webmaster Central de 2017.
Illyes a déclaré sur Twitter qu'il était prévu de transformer la publication du blog en un article officiel du centre d'aide.