Google a récemment procédé à une mise à jour majeure de sa documentation concernant les robots d’exploration et les récupérateurs déclenchés par l’utilisateur. Cette refonte vise à offrir une information plus détaillée sur la manière dont chaque robot affecte divers produits et services Google. La documentation actualisée, publiée sur le site Google Search Central, constitue une étape importante dans les efforts continus de Google pour améliorer la transparence et aider les webmasters à gérer les préférences d’exploration de leurs sites.
Changements clés dans la documentation
La documentation a subi plusieurs modifications significatives pour la rendre plus accessible et compréhensible:
- Réorganisation: Les informations précédemment consolidées ont été réparties sur plusieurs pages pour faciliter la navigation et la compréhension.
- Impact produit: Chaque robot dispose désormais d’une section dédiée expliquant quels produits Google sont affectés par les préférences d’exploration adressées à cet agent utilisateur spécifique.
- Exemples de robots.txt: Google a ajouté des extraits de robots.txt pour chaque robot, démontrant comment utiliser les tokens d’agent utilisateur de manière efficace.
- Support de l’encodage du contenu: La documentation inclut maintenant des informations sur les encodages de contenu (compressions) supportés par les robots d’exploration et les récupérateurs déclenchés par l’utilisateur de Google.
- Mise à jour de la chaîne d’agent utilisateur: L’URL dans la chaîne d’agent utilisateur HTTP de GoogleProducer a été mise à jour pour correspondre à la valeur utilisée par le récupérateur réel.
Effets notables des robots d’exploration
Chaque robot d’exploration de Google a des impacts spécifiques sur différents produits :
- Googlebot: Affecte Google Search, Discover, Google Images, Google Video, et Google News.
- Googlebot Image: Impacte Google Images, Discover, Google Video, et les fonctionnalités liées aux images dans Google Search.
- Googlebot News: Influence toutes les surfaces de Google News, y compris l’onglet News dans Google Search et l’application Google News.
- Google StoreBot: Affecte toutes les surfaces de Google Shopping, y compris l’onglet Shopping dans Google Search.
- Google-InspectionTool: Impacte les outils de test de recherche comme le Rich Result Test et l’inspection d’URL dans Search Console.
- Google-Extended: Un nouveau token de produit autonome pour gérer la participation des sites à l’amélioration des applications Gemini et des API génératives de Vertex AI.
La documentation couvre également des robots d’exploration spécifiques comme AdsBot et AdSense, qui ont des rôles précis dans la vérification de la qualité des annonces et la diffusion d’annonces pertinentes.
Transparence et aide aux webmasters
Google souligne que ces changements concerne principalement la documentation et ne reflètent aucune modification du comportement des robots d’exploration. Selon Google, « Il n’y a eu aucun changement significatif du contenu en dehors de ceux mentionnés. » Cette mise à jour est particulièrement pertinente pour les professionnels du SEO, les webmasters et les développeurs qui doivent gérer la manière dont les robots d’exploration de Google interagissent avec leurs sites web. En fournissant une information plus détaillée sur l’impact de chaque robot, Google vise à aider les propriétaires de sites à prendre des décisions éclairées sur leurs préférences d’exploration et à optimiser leurs sites pour divers produits Google.
La documentation révisée est désormais disponible sur le site Google Search Central. Les webmasters et les professionnels du SEO sont encouragés à consulter ces informations mises à jour pour s’assurer que leurs sites sont configurés de manière optimale pour les différents robots d’exploration et les récupérateurs déclenchés par l’utilisateur de Google.
Faits saillants
- Date de l’annonce: 16 septembre 2024
- Lieu de la documentation: Google Search Central
- Principaux changements: Réorganisation, détails sur l’impact produit, exemples de robots.txt
- Nouvelle fonctionnalité: Agent utilisateur Google-Extended pour les améliorations AI et API génératives
- Absence de changements de comportement: Aucun changement réel au comportement des robots d’exploration
