Budget de crawl Shopify : comment aider Google à explorer les bonnes pages ?

Le budget de crawl revient dans quasiment tous les guides SEO génériques, présenté comme un chantier à traiter d’office. Sur Shopify, la réalité est plus nuancée : la plateforme bloque déjà par défaut une bonne partie du gaspillage. La vraie question n’est pas « comment optimiser mon budget de crawl » mais « ma boutique en a-t-elle seulement besoin, et si oui, où est la fuite que Shopify ne couvre pas ».

Le budget de crawl, en clair

Google définit le budget de crawl comme la combinaison de deux éléments : la limite de capacité d’exploration (ce que votre serveur peut encaisser sans ralentir) et le besoin d’exploration (l’intérêt de Google à revenir, fonction de la popularité et de la fraîcheur du contenu). Un site avec un serveur rapide et stable voit sa limite de capacité augmenter automatiquement ; un site truffé de doublons ou de pages obsolètes voit son besoin d’exploration baisser, indépendamment de sa taille.

Point de repère utile publié par Google lui-même : le sujet concerne avant tout les sites de plus de 10 000 pages mis à jour quotidiennement, ou plus d’un million de pages mises à jour chaque semaine. Une boutique Shopify avec un catalogue de quelques centaines de références et un thème propre n’est structurellement pas concernée par un problème de budget de crawl, même si les guides génériques laissent penser le contraire.

Ce que Shopify bloque déjà par défaut

C’est le point que la plupart des articles sur le sujet oublient de mentionner, alors qu’il change tout le diagnostic : le fichier robots.txt standard de Shopify n’est pas vide, il exclut déjà de l’exploration les pages qui gaspillent le plus de budget sur les autres CMS.

Le vrai seuil : quand le budget de crawl compte réellement sur Shopify

Croiser les deux points précédents donne un seuil de décision concret, que ni la documentation Google (généraliste, tous CMS confondus) ni les guides Shopify sur la navigation à facettes ne posent explicitement. S’occuper du budget de crawl sur Shopify devient pertinent quand AU MOINS deux de ces trois conditions sont réunies : un catalogue de plusieurs milliers de références avec de nombreuses variantes (couleur, taille), une app de recherche ou de filtrage tierce installée (qui génère des patterns d’URL non couverts par le robots.txt natif), et un volume de pages en statut « Détectée, actuellement non indexée » ou « Explorée, actuellement non indexée » qui grossit dans Search Console.

En dessous de ce seuil, le temps est mieux investi ailleurs : structure de contenu, maillage interne, vitesse. Un audit technique complet permet de trancher rapidement si votre boutique est réellement concernée ; c’est un des points vérifiés dans un audit d’optimisation technique plutôt qu’un chantier à lancer par principe.

Les trois fuites que le robots.txt par défaut ne couvre pas

1. La recherche interne fournie par une application tierce

De nombreuses boutiques remplacent la recherche native par une app (recherche prédictive, recherche avec synonymes). Cette app génère souvent sa propre URL de résultats (par exemple /pages/search ou un sous-domaine dédié), que la règle par défaut Disallow: /search ne couvre pas. Chaque requête tapée par un visiteur peut alors devenir une URL explorable.

2. Le tri des produits

Les paramètres de tri (prix croissant, nouveautés, popularité) créent des URLs paramétrées qui affichent le même contenu que la page de collection d’origine, simplement réordonné. Google les explore comme des pages distinctes tant qu’aucune règle ne les exclut ni ne les canonicalise vers l’URL de collection propre.

3. Les facettes d’une app de filtrage tierce

Les facettes ajoutées par une app de filtrage (au-delà de la navigation native Shopify) génèrent leurs propres paramètres, avec des combinaisons qui montent vite en centaines, voire en milliers d’URLs pour un catalogue de taille moyenne. C’est exactement le mécanisme qui, mal contrôlé, produit le volume de pages fantômes à l’origine des désindexations à traiter décrites dans l’article sur la désindexation de pages, produits et collections Shopify.

Éditer robots.txt.liquid pour combler ces fuites

Shopify permet depuis plusieurs années de personnaliser ce fichier via un template robots.txt.liquid dans l’éditeur de code du thème. La structure d’une règle ajoutée ressemble à un bloc conditionnel sur le user-agent, suivi de la ligne Disallow visant le chemin à exclure. La procédure complète, avec les erreurs qui cassent l’indexation si le fichier est mal formé, est détaillée dans l’article dédié à la modification du robots.txt.liquid sans risque : ce guide budget de crawl s’appuie dessus pour la partie technique et se concentre ici sur QUOI bloquer et POURQUOI.

Les signaux serveur qui influencent aussi le budget

Shopify héberge l’infrastructure et affiche généralement de bons temps de réponse, ce qui limite les problèmes de capacité côté serveur. Le point qui reste sous votre contrôle : les chaînes de redirection. Chaque redirection ajoute une requête avant que Google n’atteigne le contenu réel, et une chaîne de plusieurs redirections consécutives (fréquente après plusieurs changements de structure d’URL ou de thème) consomme plusieurs requêtes pour une seule page utile. Un audit des redirections en cascade dans l’admin Shopify (section URL Redirects) permet de les raccourcir à un seul saut.

Comment vérifier l’effet sur le crawl réel

Le rapport « Statistiques sur l’exploration »

Le rapport « Statistiques sur l’exploration » de Search Console (dans les paramètres du site) montre la répartition des requêtes par type de fichier et par code de réponse, et permet de confirmer qu’une partie croissante du crawl part effectivement vers les pages produit et collection plutôt que vers des URLs paramétrées. La configuration initiale de cet outil pour une boutique Shopify est couverte dans le guide de configuration Search Console.

Le rapport Pages

En complément, le rapport Pages permet de suivre l’évolution du volume de pages « Explorée, actuellement non indexée » ; si ce volume ne baisse pas après vos corrections, la méthode de diagnostic est détaillée dans l’article dédié à ce statut.

Le sitemap XML

Le sitemap XML doit lui aussi rester cohérent avec vos choix de blocage, cf. le guide sitemap Shopify.

En résumé

Le budget de crawl n’est pas un chantier universel sur Shopify : la plateforme bloque déjà nativement la majorité des sources de gaspillage courantes ailleurs. Le sujet devient pertinent seulement à partir d’un certain volume de catalogue combiné à l’usage d’apps tierces de recherche ou de filtrage, qui créent des patterns d’URL que le robots.txt par défaut ne couvre pas. Diagnostiquer d’abord si vous êtes concerné évite d’investir du temps sur un problème que vous n’avez pas.