Gary Illyes de Google a déclaré sur LinkedIn qu’il devrait vérifier si un site peut prolonger en toute sécurité une date unavailable_after. Sa première lecture, qu’il a qualifiée d’intuition, était que repousser la date était une bonne chose, mais il a laissé ouverte la question de savoir si la balise pouvait être fiable pour les pages qui expirent puis sont renouvelées.
Ce qui a été demandé
Consultant SEO Javier Lorente Murillo a contacté l’équipe de recherche de Google pour lui poser une question sur un site de petites annonces qui dispose d’un noyau constant d’environ 5 000 URL indexées et ajoute environ 10 000 nouvelles annonces chaque mois. La plupart de ces annonces restent en ligne pendant 24 à 72 heures.
Il prévoyait d’utiliser unavailable_after sur les pages éphémères pour éviter les erreurs 404 et gérer le budget d’exploration. Étant donné que les utilisateurs peuvent renouveler les annonces, son système mettrait à jour dynamiquement la date d’expiration. Il a demandé si Googlebot allait commencer à ignorer une date qui ne cesse de changer à chaque renouvellement.
Ce qu’Illyes a dit
Illyes a commencé en disant qu’il ne savait pas :
« C’est une excellente question… Je n’en ai aucune idée, je dois vérifier. »
Il a ajouté :
« Mon intuition est que c’est bien d’avancer la date unavailable_after MAIS vous devez garder à l’esprit que nous devrons explorer à nouveau la page pour « voir » la nouvelle date. Cela n’a d’implication que sur la sélection d’index, où il agit comme un signal « vous pouvez laisser tomber ceci maintenant ». «
Dans un réponse ultérieure à un autre commentaire sur le même article, il a déclaré que Google récupérerait la page au lieu de la vérifier à moindre coût :
« Nous voyons rarement les requêtes HEAD, nous téléchargeons donc toujours le contenu. »
Ce que dit la documentation de Google
Google documentation des balises méta des robots explique « unavailable_after » comme règle indiquant à Google de ne pas afficher une page dans les résultats de recherche après une date et une heure spécifiées. La même page indique que Googlebot explorera cette URL beaucoup moins souvent après cette date.
La page parle également du point de réexploration mentionné par Illyes, soulignant que les balises méta Robots et les en-têtes X-Robots-Tag sont détectés lorsqu’une URL est explorée. Cela signifie qu’une date modifiée n’apparaîtra que lors de la prochaine récupération.
Cette partie de sa réponse fait écho à ce que Google déclare déjà. L’affirmation selon laquelle la règle ne touche rien au-delà de la sélection d’index est la sienne et elle n’apparaît pas dans la documentation.
Pourquoi c’est important
Illyes n’a pas précisé ce qui se passerait si la dernière date vue par Google passait avant de revenir à la page. C’est le cas, il a dit qu’il devrait vérifier.
Le dossier de renouvellement restant sans réponse, Google n’a rien à prévoir. Ce qui décide du résultat, c’est la fréquence à laquelle Google explore la page, et le propriétaire du site ne peut pas contrôler cela.
Regarder vers l’avenir
Au moment de la publication, Google documentation ne couvre pas une date d’expiration qui change à chaque renouvellement.
Le premier appel est ce que vous demandez à la balise unavailable_after de faire. Laisser une page disparaître des résultats de recherche après une date définie est la raison pour laquelle Google la documente. Garder une page vivante tout en s’appuyant sur la balise pour gérer le crawl est une affaire encore ouverte.
Image en vedette : ESB Essentials/Shutterstock