Quels robots d’IA visitent une boutique PrestaShop ?
Réponse courte : ceux des grands éditeurs d’IA, qui se déclarent par leur user-agent. Certains collectent des pages pour entraîner des modèles ; d’autres les lisent pour répondre à un utilisateur ou alimenter un moteur de recherche IA.
| Robot (jeton) | Éditeur | Rôle | Respecte robots.txt (selon l’éditeur) | Liste d’IP publiée |
|---|---|---|---|---|
GPTBot | OpenAI | Collecte pour entraîner les modèles | Oui | Oui |
OAI-SearchBot | OpenAI | Recherche de ChatGPT (sites cités dans les réponses) | Oui | Oui |
ChatGPT-User | OpenAI | Ouvre une page à la demande d’un utilisateur | « peut ne pas s’appliquer » | Oui |
ClaudeBot | Anthropic | Collecte pour entraîner les modèles | Oui (et Crawl-delay) | Oui (liste commune) |
Claude-SearchBot / Claude-User | Anthropic | Recherche / page ouverte pour un utilisateur | Oui | Oui (liste commune) |
PerplexityBot | Perplexity | Résultats de recherche Perplexity, pas d’entraînement | Oui | Oui |
Perplexity-User | Perplexity | Page ouverte pour un utilisateur | En général non | Oui |
CCBot | Common Crawl | Archive ouverte du web, réutilisable par des tiers | Bloc robots.txt documenté | Oui |
Bytespider | ByteDance | Robot de collecte | Non vérifié | Pas de liste officielle trouvée |
Google-Extended | Jeton robots.txt seulement (usage par Gemini), pas de robot distinct | C’est un jeton robots.txt | Sans objet |
Les informations de ce tableau viennent de la documentation de chaque éditeur (liens en fin de page), consultée en novembre 2026. Pour Bytespider, nous n’avons pas trouvé de documentation officielle à jour : traitez-le comme un robot qui peut ignorer robots.txt.
Bloquer les robots d’IA nuit-il au référencement Google ?
Réponse courte : non, tant que vous laissez passer Googlebot. Google indique que Google-Extended n’a pas d’effet sur l’inclusion d’un site dans Google Search ni sur son classement. GPTBot, ClaudeBot et CCBot n’ont aucun lien avec Google.
L’enjeu est ailleurs : la visibilité dans les assistants IA. OpenAI précise que les sites qui refusent OAI-SearchBot n’apparaissent pas dans les réponses de recherche de ChatGPT. Anthropic indique que bloquer Claude-SearchBot ou Claude-User peut réduire votre visibilité dans les recherches faites avec Claude.
| Votre objectif | À bloquer | À laisser passer |
|---|---|---|
| Ne pas servir à l’entraînement des IA, rester visible partout | GPTBot, ClaudeBot, CCBot, Bytespider, jeton Google-Extended | Googlebot, Bingbot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User |
| Économiser le serveur au maximum, sans visibilité IA | Entraînement + assistants et moteurs IA | Googlebot, Bingbot |
| Être cité par les assistants IA | Rien, ou seulement l’entraînement | Tous les robots déclarés |
Méthode 1 : robots.txt, une demande polie
Réponse courte : ajoutez un groupe User-agent et Disallow: / par robot. Les robots qui respectent la norme cessent d’explorer ; les autres continuent.
# Robots d'entraînement des IA : demande de ne pas explorer
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
# Jeton Google pour l'usage par les modèles Gemini (sans effet sur Google Search)
User-agent: Google-Extended
Disallow: /- La norme (RFC 9309) précise que la correspondance du nom de robot ne tient pas compte des majuscules, et qu’un robot ne devrait pas garder une copie du fichier plus de 24 heures : l’effet n’est pas immédiat.
- Piège PrestaShop : le bouton « Générer le fichier robots.txt » (Paramètres de la boutique › Trafic & SEO) réécrit tout le fichier. Gardez vos lignes de côté et rajoutez-les après chaque génération.
- robots.txt ne protège rien : il est public et un robot peut l’ignorer. La norme le dit elle-même : ces règles ne sont pas une forme d’autorisation d’accès.
Méthode 2 : un vrai blocage par user-agent (.htaccess ou nginx)
Réponse courte : le serveur répond « 403 Interdit » à tout visiteur dont le user-agent contient le nom du robot. Le robot ne reçoit plus vos pages, qu’il respecte robots.txt ou non.
Apache (.htaccess)
Placez ce bloc au-dessus de la ligne # ~~start~~ : PrestaShop conserve ce qui est en dehors de sa zone quand il régénère le fichier.
# Robots d'IA refusés (à placer AVANT la ligne « # ~~start~~ »)
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider) [NC]
RewriteRule .* - [F,L]
</IfModule>nginx
# Dans le bloc server { } (nginx)
if ($http_user_agent ~* "(GPTBot|ClaudeBot|CCBot|Bytespider)") {
return 403;
}Limites de cette méthode :
- Le user-agent est déclaratif : un robot qui se fait passer pour un navigateur passe. À l’inverse, n’importe qui peut prétendre être « Googlebot » ; d’où l’intérêt de vérifier l’IP (section suivante).
- La liste est à tenir à jour à la main quand de nouveaux robots apparaissent.
- Une faute de frappe dans
.htaccesspeut rendre la boutique inaccessible : gardez une copie et testez juste après. - Testez avec
curl -I -A "GPTBot" https://votre-boutique.tld/: vous devez obtenir403, et200avec un user-agent de navigateur.
Comment être sûr de ne jamais bloquer Googlebot ?
Réponse courte : ne vous fiez pas au user-agent seul. Google donne deux méthodes : le DNS inverse puis direct, ou la comparaison de l’IP avec les plages qu’il publie en JSON.
- Lancez une recherche DNS inverse de l’IP (commande
host). - Vérifiez que le nom se termine par
googlebot.com,google.comougoogleusercontent.com. - Lancez une recherche DNS directe sur ce nom et vérifiez qu’elle redonne la même IP.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1Attention au blocage par pays : Google indique que les adresses IP par défaut de Googlebot semblent situées aux États-Unis. Une boutique qui bloque des pays sans liste blanche de Google peut donc couper son propre référencement.
Bloquer les robots d’IA en un clic avec Block IPs
Réponse courte : dans Block IPs, rubrique Boutique › User-agents, deux boutons ajoutent séparément les robots d’entraînement des IA et les assistants IA à la liste des robots bloqués. Les robots de Google reconnus ne sont jamais bloqués.
| Fonction | Détail |
|---|---|
| Robots d’entraînement en un clic | 25 user-agents : GPTBot, ClaudeBot, anthropic-ai, CCBot, Bytespider, meta-externalagent, cohere-ai, Diffbot… |
| Assistants et moteurs IA en un clic | 12 user-agents : ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User, Claude-User, Claude-SearchBot, MistralAI-User, DuckAssistBot… |
| Correspondance | Insensible à la casse, sur une partie du user-agent ; vous pouvez ajouter ou retirer chaque nom. |
| Réponse | Message 403 ou redirection, au choix. Sur Apache, option de blocage avant le démarrage de PrestaShop, par le .htaccess, pour économiser le serveur. |
| Google protégé | Liste blanche des robots de Google reconnus par leurs plages IP, prioritaire sur toutes les règles, avec une copie de secours livrée dans le module si l’hébergeur bloque le téléchargement. |
| Réseaux d’aspiration | Détection d’un même user-agent utilisé par des centaines d’IP, bannissement en un clic. |
À partir de la version 5.6, le module vérifie aussi les robots de confiance à partir des listes d’IP officielles de chaque éditeur (Bing, Apple, DuckDuckGo, OpenAI, Perplexity, Anthropic, Mistral) : un vrai robot de recherche ou d’assistant passe même si son pays est bloqué, un faux user-agent n’y gagne rien. Les robots d’entraînement font l’objet d’un réglage séparé, désactivé par défaut, et un robot que vous bannissez reste refusé.
Étapes
- Ouvrez Block IPs › Boutique › User-agents.
- Cliquez sur « Les bloquer » dans le cadre des robots d’entraînement des IA.
- Ne bloquez les assistants IA que si vous ne voulez pas apparaître dans leurs réponses.
- Choisissez la réponse (403 ou redirection) et, sur Apache, activez si vous le souhaitez le blocage avant PrestaShop.
- Suivez les blocages par motif et le Top 5 des robots dans la Vue d’ensemble.
Voir aussi la page du module Block IPs et notre guide sur les faux comptes clients.