Supprimez vos pages et obtenez un meilleur classement dans la recherche – Indexation et optimisation technique 2019

jeSi vous recherchez un moyen d'optimiser votre site pour le référencement technique et d'améliorer votre classement, envisagez de supprimer vos pages.

Je sais, fou, non? Mais écoute-moi.

Nous savons tous que Google peut être lent à indexer le contenu, en particulier sur les nouveaux sites Web. Mais parfois, il peut indexer de manière agressive tout ce qui peut être mis sous la main de son robot, que vous le vouliez ou non. Cela peut entraîner de terribles maux de tête, des heures de nettoyage et une maintenance ultérieure, en particulier sur les grands sites et / ou les sites de commerce électronique.

En tant qu'experts en optimisation de moteur de recherche, notre travail consiste à faire en sorte que Google et les autres moteurs de recherche puissent d'abord trouver notre contenu afin de le comprendre, de l'indexer et de le classer correctement. Lorsque nous avons trop de pages indexées, nous ne savons pas exactement comment nous voulons que les moteurs de recherche traitent nos pages. En conséquence, ils prennent les mesures qu'ils jugent les meilleures, ce qui se traduit parfois par l'indexation de plus de pages que nécessaire.

Avant de vous en rendre compte, vous avez affaire à un gonflement de l’index.

Quel est le gonflement de l'index?

En termes simples, l'indexation est quand vous avez trop de pages de mauvaise qualité sur votre site indexées dans les moteurs de recherche. Semblable au ballonnement dans le système digestif humain (avertissement: je ne suis pas médecin), le traitement de cet excès de contenu est visible dans les index des moteurs de recherche lorsque le processus de récupération des informations devient moins efficace.

Le gonflement de l'index peut même vous rendre la vie difficile sans que vous le sachiez. Dans cette situation bouffante et inconfortable, Google doit parcourir beaucoup plus de contenu que nécessaire (la plupart du temps, un contenu dupliqué de faible qualité et interne) avant de pouvoir accéder aux pages que vous souhaitez indexer.

Pensez-y de cette façon: Google visite votre sitemap XML pour trouver 5 000 pages, puis explore toutes vos pages et en trouve encore plus via des liens internes, puis décide d'indexer 30 000 URL. Cela correspond à un excès d’indexation d’environ 500%, voire plus.

Mais ne vous inquiétez pas, diagnostiquer votre taux d’indexation à comparer avec le gonflement de l’indice peut être une vérification très simple et directe. Vous devez simplement faire des références croisées sur les pages que vous souhaitez indexer par rapport à celles indexées par Google (pour plus d'informations à ce sujet plus tard).

L'objectif est de trouver cette disparité et de prendre les mesures les plus appropriées. Nous avons deux options:

1. Le contenu est de bonne qualité = garder l'indexabilité
2. Le contenu est de mauvaise qualité (mince, dupliqué ou paginé) = noindex

Vous constaterez que la plupart du temps, index gonflant entraîne la suppression d'un nombre relativement important de pages de l'index en ajoutant une balise méta «NOINDEX». Cependant, grâce à cette analyse d'indexation, il est également possible de rechercher les pages manquées lors de la création de votre ou vos sitemap (s) XML. Elles peuvent ensuite être ajoutées à votre / vos sitemap pour une meilleure indexation.

Pourquoi index gonfler nuit-il au référencement

Le gonflement d'Index peut ralentir le temps de traitement, consommer plus de ressources et ouvrir des voies hors de votre contrôle dans lesquelles les moteurs de recherche peuvent rester bloqués. L'un des objectifs du référencement est d'éliminer les obstacles qui empêchent un contenu de qualité de figurer dans les moteurs de recherche, qui sont souvent de nature technique. Par exemple, des vitesses de chargement réduites, en utilisant des balises méta noindex ou nofollow où vous ne devriez pas, sans stratégies de liaison internes appropriées, et d’autres implémentations de ce type.

Idéalement, votre taux d'indexation serait de 100%. Cela signifie que chaque page de qualité sur votre site serait indexée – pas de pollution, pas de matériel indésirable, pas de ballonnement. Mais pour les besoins de cette analyse, considérons tout ce qui dépasse 100%. L'indexation oblige les moteurs de recherche à dépenser plus de ressources (limitées) que nécessaire pour traiter les pages de leur base de données.

Au mieux, le gonflement de l'index entraîne une analyse et une indexation inefficaces, ce qui nuit à votre capacité de classement. Dans le pire des cas, l'indexation peut conduire à une cannibalisation des mots clés sur plusieurs pages de votre site, ce qui limite votre capacité à occuper les premières positions et peut avoir un impact sur l'expérience utilisateur en envoyant les internautes sur des pages de mauvaise qualité.

Pour résumer, index bloat pose les problèmes suivants:

1. Épuise les ressources limitées allouées par Google pour un site donné
2. Crée un contenu orphelin (envoi de Googlebot aux impasses)
3. Impact négatif sur la capacité de classement du site Web
4. Diminue l'évaluation de la qualité du domaine aux yeux des moteurs de recherche

Sources de gonflement de l'index

1. Contenu dupliqué interne

Le contenu dupliqué non intentionnel est l’une des sources les plus courantes d’indexation. En effet, la plupart des sources de contenu interne en double sont liées à des erreurs techniques générant un grand nombre de combinaisons d'URL indexées. Par exemple, utiliser des paramètres d'URL pour contrôler le contenu de votre site sans la canoniser correctement.

La navigation à facettes a également été l'un des «défis de référencement les plus épineux» pour les grands sites de commerce électronique, comme le décrit Portent, et a le potentiel de générer des milliards de pages de contenu en double en ignorant une simple fonctionnalité.

2. contenu mince

Il est important de mentionner un problème introduit par la version 7.0 du plug-in Yoast SEO autour des pages de pièces jointes. Ce bogue du plugin WordPress a conduit à des «problèmes de type Panda» en mars 2018, ce qui a entraîné de lourdes baisses de classement pour les sites concernés, Google estimant que la qualité globale de ces sites était inférieure à celles fournies aux internautes. En résumé, le plug-in Yoast contient un paramètre permettant de supprimer les pages de pièces jointes dans WordPress – une page créée pour inclure chaque image de votre bibliothèque avec un contenu minimal – l'incarnation du contenu fin pour la plupart des sites. Pour certains utilisateurs, la mise à jour vers la version la plus récente (7.0 à l'époque) entraînait le remplacement par le plug-in de la sélection précédente pour supprimer ces pages et l'indexation par défaut de toutes les pages de pièces jointes.

Cela signifiait alors qu'avoir cinq images par article de blog augmenterait de 5 fois le nombre de pages indexées avec 16% de contenu de qualité réelle par URL, entraînant une chute massive de la valeur du domaine.

3. pagination

La pagination fait référence au concept de division du contenu en une série de pages pour rendre le contenu plus accessible et améliorer l'expérience utilisateur. Cela signifie que si vous avez 30 articles de blog sur votre site, vous pouvez en avoir 10 par page sur une profondeur de trois pages. Ainsi:

• https://www.example.com/blog/
• https://www.example.com/blog/page/2/
• https://www.example.com/blog/page/3/

Vous le verrez souvent sur les pages d'achat, les communiqués de presse et les sites d'informations, entre autres.

Dans le cadre du référencement, les pages au-delà de la première de la série contiendront très souvent le même titre de page et la même méta-description, ainsi qu'un contenu corporel très similaire (presque dupliqué), introduisant la cannibalisation des mots clés dans l'ensemble. De plus, le but de ces pages est d’améliorer la navigation des utilisateurs déjà présents sur votre site. Il n’a donc aucun sens de renvoyer les visiteurs des moteurs de recherche sur la troisième page de votre blog.

4. Contenu sous-performant

Si le contenu de votre site ne génère pas de trafic, n’a généré aucune conversion et n’a pas de lien retour, vous pouvez envisager de modifier votre stratégie. La réutilisation du contenu est un excellent moyen de maximiser toute valeur pouvant être récupérée à partir de pages peu performantes pour créer des pages plus fortes et plus fiables.

N'oubliez pas qu'en tant qu'experts en référencement, notre travail consiste à accroître la qualité et la valeur globales d'un domaine. L'amélioration du contenu est l'un des meilleurs moyens de le faire. Pour cela, vous aurez besoin d’un audit de contenu afin d’évaluer votre situation personnelle et de déterminer le meilleur plan d’action.

Même une page 404 entraînant un code d'état 200 Live HTTP est une page mince et de mauvaise qualité qui ne doit pas être indexée.

Problèmes courants liés à l'index

L'une des premières choses que je fais lors de l'audit d'un site consiste à extraire leur sitemap XML. S'ils se trouvent sur un site WordPress utilisant un plugin tel que Yoast SEO ou All in One SEO, vous pouvez très rapidement trouver des types de page qui n'ont pas besoin d'être indexés. Vérifiez les éléments suivants:

• Types de messages personnalisés
• Pages de témoignages
• Pages d'étude de cas
• Pages d'équipe
• Pages d'auteur
• Pages de catégories de blogs
• Pages de balises de blog
• Merci pages
• Pages de test

Pour déterminer si les pages de votre plan Sitemap XML sont de mauvaise qualité et doivent être supprimées de la recherche, cela dépend vraiment de l'objectif qu'elles servent sur votre site. Par exemple, les sites n'utilisent pas les pages d'auteurs dans leur blog, mais ils ont néanmoins les pages d'auteurs en direct, ce qui n'est pas nécessaire. Les pages de remerciement ne doivent absolument pas être indexées, car cela pourrait entraîner des anomalies de suivi des conversions. Les pages de test signifient généralement qu’il existe un duplicata ailleurs. De même, certains plugins ou développeurs créent des fonctionnalités personnalisées sur des versions Web et créent de nombreuses pages qui n'ont pas besoin d'être indexées. Par exemple, si vous trouvez un sitemap XML comme celui ci-dessous, il n’est probablement pas nécessaire de l’indexer:

• https://www.example.com/tcb_symbols_tax-sitemap.xml

Différentes méthodes pour diagnostiquer le gonflement de l'index

N'oubliez pas que notre objectif ici est de trouver les meilleurs contributeurs de pages de qualité médiocre qui gonflent l'indice avec un contenu de qualité médiocre. La plupart du temps, il est très facile de trouver ces pages à grande échelle car beaucoup de pages de contenu fin suivent un motif.

Il s'agit d'une analyse quantitative de votre contenu, qui recherche les écarts de volume en fonction du nombre de pages que vous avez, du nombre de pages vers lesquelles vous créez un lien et du nombre de pages indexées par Google. Toute disparité entre ces chiffres laisse une marge d’optimisation technique, ce qui entraîne souvent une augmentation des classements organiques une fois résolus. Vous voulez que ces ensembles de nombres soient aussi semblables que possible.

Au fil des différentes méthodes de diagnostic du gonflement de l'index ci-dessous, recherchez les modèles d'URL en procédant comme suit:

• URL qui ont / dev /
• URL qui ont « test »
• Sous-domaines qui ne doivent pas être indexés
• Sous-répertoires qui ne doivent pas être indexés
• Un grand nombre de fichiers PDF ne devant pas être indexés

Ensuite, je vais vous expliquer quelques étapes simples que vous pouvez prendre vous-même en utilisant certains des outils les plus fondamentaux disponibles pour le référencement. Voici les outils dont vous aurez besoin:

• Grenouille hurlante payée
• Console de recherche Google vérifiée
• Plan du site XML de votre site Web
• Accès de l'éditeur à votre système de gestion de contenu (CMS)
• Google.com

Lorsque vous commencez à rechercher des anomalies, commencez à les ajouter à une feuille de calcul afin de pouvoir les examiner manuellement pour en vérifier la qualité.

1. Screaming Frog crawl

Sous Configuration> Spider> Notions de base, configurez Screaming Frog pour qu'il analyse (cochez les cases « analyser tous les sous-domaines » et « en dehors du dossier de démarrage », ajoutez manuellement votre ou vos sitemap (s) XML si vous en avez) pour votre site afin d'exécuter une analyse. analyse approfondie des pages de votre site. Une fois l’analyse terminée, notez toutes les pages indexables répertoriées. Vous pouvez le trouver dans le rapport «Auto-référencement» sous l'onglet Canonicals.

Regardez le nombre que vous voyez. Êtes-vous surpris? Avez-vous plus ou moins de pages que vous pensiez? Prenez note du numéro. Nous y reviendrons.

2. Console de recherche de Google

Ouvrez votre propriété GSC (Google Search Console) et accédez au rapport Index> Couverture. Regardez les pages valides. Dans ce rapport, Google vous indique le nombre total d'URL qu'il a trouvées sur votre site. Consultez également les autres rapports. GSC peut être un excellent outil pour évaluer les résultats de Googlebot lors de la visite de votre site.

Combien de pages Google dit-il indexer? Prenez note du numéro.

3. Vos sitemaps XML

Celui-ci est un simple chèque. Visitez votre sitemap XML et comptez le nombre d'URL incluses. Le numéro est-il éteint? Y a-t-il des pages inutiles? N'y a-t-il pas assez de pages?

Effectuez une analyse avec Screaming Frog, ajoutez votre sitemap XML à la configuration et exécutez une analyse. Une fois cela fait, vous pouvez visiter l’onglet Sitemaps pour voir quelles pages spécifiques sont incluses dans votre sitemap XML et lesquelles ne le sont pas.

Notez le nombre de pages indexables.

4. Votre propre système de gestion de contenu (CMS)

Celui-ci est aussi un chèque simple, n’y pensez pas trop. Combien de pages avez-vous sur votre site? Combien de billets de blog avez-vous? Ajoutez-les. Nous recherchons un contenu de qualité qui apporte de la valeur, mais plus quantitativement. Il n’est pas nécessaire que ce soit exact car la qualité réelle d’un contenu peut être mesurée via un audit de contenu.

Notez le nombre que vous voyez.

5. Google

Nous arrivons enfin à la dernière vérification de notre série. Parfois, Google vous lance un numéro et vous n’avez aucune idée de son origine, mais essayez d’être aussi objectif que possible. Effectuez une recherche «site: domain.com» sur Google et vérifiez le nombre de résultats fournis par Google à partir de son index. N'oubliez pas qu'il s'agit d'une valeur purement numérique qui ne détermine pas réellement la qualité de vos pages.

Notez le nombre que vous voyez et comparez-le aux autres numéros que vous avez trouvés. Toute anomalie constatée indique les symptômes d’une indexation inefficace. Effectuer une analyse quantitative simple vous aidera à vous diriger vers des domaines qui ne répondent peut-être pas aux critères qualitatifs minimaux. En d'autres termes, comparer les valeurs numériques de plusieurs sources vous aidera à trouver les pages de votre site contenant une valeur faible.

Les critères de qualité que nous évaluons se trouvent dans les consignes du Google Webmaster.

Comment résoudre le gonflement de l'index

La résolution du problème de gonflement de l'index est un processus lent et fastidieux, mais vous devez faire confiance aux optimisations que vous effectuez sur le site et être patient pendant le processus, car les résultats risquent d'être lents à devenir perceptibles.

1. Suppression de pages (idéal)

Dans un scénario idéal, les pages de mauvaise qualité n'existeraient pas sur votre site et ne consommeraient donc aucune ressource limitée des moteurs de recherche. Si vous utilisez un grand nombre de pages obsolètes que vous n'utilisez plus, les supprimer (effacer) peut souvent avoir d'autres avantages, comme moins de redirections et de 404 pages, moins de pages à contenu fin, moins de risque d'erreur et d'interprétation erronée de la part des moteurs de recherche. nommer quelques-uns.

Moins vous accordez de contrôle aux moteurs de recherche en limitant les options d'action à prendre, plus vous aurez de contrôle sur votre site et sur votre référencement.

Bien sûr, ce n’est pas toujours réaliste. Alors, voici quelques alternatives.

2. Utilisation de Noindex (Alternative)

Lorsque vous utilisez cette méthode au niveau de la page, n’ajoutez pas d’indication noindex à l’échelle du site (cela se produit plus souvent que nous le souhaiterions), ou dans un ensemble de pages, c’est probablement la plus efficace, car elle peut être complétée très rapidement la plupart des plates-formes.

• Utilisez-vous toutes ces pages de témoignages sur votre site?
• Avez-vous une balise de blog / catégorie appropriée en place, ou est-ce qu'ils ne font que gonfler l'index?
• Est-il judicieux pour votre entreprise d’indexer toutes les pages d’auteurs de blogs?

Tout ce qui précède peut être annulé et supprimé de votre plan Sitemap XML en quelques clics sur WordPress si vous utilisez Yoast SEO ou All in One SEO.

3. Utilisation de Robots.txt (Alternative)

L'utilisation du fichier robots.txt pour interdire les sections ou les pages de votre site n'est pas recommandée pour la plupart des sites Web, à moins que cela ait été explicitement recommandé par un expert en référencement après l'audit de votre site Web. Il est extrêmement important d’examiner l’environnement spécifique de votre site et de déterminer de quelle manière une non-autorisation de certaines pages aurait une incidence sur l’indexation du reste du site. Faire un changement imprudent ici peut avoir des conséquences inattendues.

Maintenant que cette clause de non-responsabilité a été supprimée, le fait de ne pas autoriser certaines zones de votre site signifie que vous empêchez les moteurs de recherche de lire ces pages. Cela signifie que si vous ajoutez un noindex et que vous le refusez, Google ne pourra même pas lire le tag noindex sur votre page, ni suivre votre directive, car vous ne pourrez plus y accéder. L’ordre des opérations, dans ce cas, est absolument crucial pour que Google puisse suivre vos directives.

4. Utilisation de l’outil de suppression manuelle de Google Search Console (Temporary)

En dernier recours, une action ne nécessitant pas de ressources pour les développeurs utilise l'outil de suppression manuelle de l'ancienne console de recherche Google. L'utilisation de cette méthode pour supprimer des pages, des sous-répertoires entiers et des sous-domaines entiers de Google Search n'est que temporaire. Cela peut être fait très rapidement, il suffit de quelques clics. Faites attention à ce que vous demandez à Google de désindexer.

Une demande de suppression réussie ne dure qu'environ 90 jours, mais elle peut être révoquée manuellement. Cette option peut également être associée à une balise méta noindex pour extraire les URL de l'index dès que possible.

Conclusion

Les moteurs de recherche méprisent le contenu restreint et s'efforcent de filtrer tous les spams sur le Web, d'où les mises à jour interminables de la qualité de la recherche, effectuées presque quotidiennement. Pour apaiser les moteurs de recherche et leur montrer tout le contenu incroyable que nous avons passé tant de temps à créer, les webmasters doivent s’assurer que leur référencement technique a été optimisé le plus tôt possible dans la vie du site, avant que la surenchère d’index ne devienne un cauchemar.

L'utilisation des différentes méthodes décrites ci-dessus peut vous aider à diagnostiquer toute surcharge d'index affectant votre site afin que vous puissiez déterminer les pages à supprimer. Cela vous aidera à optimiser l'évaluation de la qualité globale de votre site dans les moteurs de recherche, à améliorer votre classement et à obtenir un index plus propre, ce qui permettra à Google de rechercher les pages que vous essayez de classer rapidement et efficacement.

Pablo Villalpando est un stratège bilingue en référencement chez Victorious. Il peut être trouvé sur Twitter