John Mueller, analyste des tendances pour les webmasters chez Google, a récemment expliqué comment Googlebot détecte les sites sans liens pointant vers eux.
Ce sujet a été abordé dans un Reddit fil, qui Mueller a répondu à. Le fil demande:
« Comment Googlebot trouve-t-il un site si personne ne s'y connecte et que celui-ci n'a pas été soumis à Search Console? »
En réponse, Mueller déclare qu’il est «difficile» de déterminer exactement comment ces sites sont trouvés.
Certaines possibilités incluent:
- Les tiers qui suivent les enregistrements de domaine (avec des liens)
- Backlinks accidentels causés par des fautes de frappe dans l'URL
- Barres d'outils qui renvoient au contenu associé
- Le CMS peut avoir généré un plan du site ou un flux RSS / Atom.
Si vous ne voulez absolument pas qu'un site soit trouvé, Mueller recommande d'utiliser la balise noindex. Ne présumez pas que les moteurs de recherche ne trouveront pas un site simplement parce qu’il n’a pas été promu ni associé.
Mueller a également formulé des recommandations pour les propriétaires de sites souhaitant faire le contraire en lançant un nouveau site ayant un impact maximal:
« Si vous souhaitez lancer quelque chose de nouveau avec un bang (en supposant que c'est ce que vous essayez de faire avec un nouveau domaine inconnu), une idée pourrait être d'utiliser l'outil de suppression de site pour masquer le site à la recherche, puis d'annuler cette requête lorsque vous la transmettez en direct, ce qui permet à Google d'explorer et d'indexer le contenu à l'avance, mais l'empêche de s'afficher dans les résultats de recherche. «
La méthode ci-dessus est plus rapide que de passer de noindex à un contenu indexable pour la recherche, mais rien ne garantit qu’il ne sera pas trouvé par les moteurs de recherche autres que Google.
Votre seule option pour garantir qu’un site ne sera pas trouvé par les robots d'exploration consiste à utiliser une balise noindex.