Site invisible sur ChatGPT : et si votre hébergeur bloquait les robots IA ?

Si votre site n’apparaît jamais dans ChatGPT, Claude ou Perplexity, vérifiez d’abord que leurs robots peuvent le lire. Un robots.txt qui les autorise ne suffit pas : le pare-feu de l’hébergeur peut leur renvoyer une erreur 403 sans que vous le voyiez, car votre site s’affiche normalement dans un navigateur. C’est ce qui nous est arrivé sur yaab.fr. Voici comment nous l’avons repéré, et comment le vérifier sur votre site en 2 minutes.

Que nous est-il arrivé ?

Notre robots.txt autorisait bien les robots d’OpenAI, d’Anthropic et de Perplexity. Le site s’affichait normalement, et pourtant les assistants IA n’en disaient rien. Les statistiques de robots de Cloudflare ont donné la réponse :

Zéro réussite pour les robots IA, alors que ceux d’Apple, de Google et de Bing passaient. Cloudflare ne bloquait rien : il transmettait les requêtes, et c’est notre serveur qui répondait 403. Le responsable était le pare-feu applicatif (WAF) de notre hébergeur.

Le support de l’hébergeur a identifié la règle en cause et l’a désactivée pour notre domaine. Nos tests avec l’identité de ces robots répondent maintenant 200.

Comment savoir si votre site bloque les robots IA ?

1. Lisez votre robots.txt. Ouvrez votresite.fr/robots.txt et vérifiez qu’aucune règle Disallow: / ne vise tous les robots ou ceux de la liste plus bas.
2. Testez avec l’identité d’un robot. Dans un terminal, lancez la commande ci-dessous. Remplacez l’adresse par la vôtre.
3. Comparez avec un navigateur. Si votre site s’affiche dans un navigateur mais répond 403 à cette commande, c’est un blocage selon l’identité du robot.
4. Regardez vos journaux. Si vous passez par Cloudflare, la page AI Crawl Control indique les requêtes autorisées et en échec pour chaque robot.

Cette commande affiche un seul nombre : 200 si la page répond, 403 si elle est refusée. Attention, un 200 ne prouve pas tout : le test part de votre connexion, alors que les vrais robots arrivent depuis des adresses de centres de données, parfois bloquées elles aussi. Seuls les journaux du serveur ou de Cloudflare le confirment.

Quels robots faut-il laisser passer ?

Comment débloquer les robots IA ?

1. Trouvez qui bloque. Chez Cloudflare, vérifiez les options de blocage des robots IA et le Bot Fight Mode. Si elles sont désactivées et que le serveur répond quand même 403, le blocage vient de l’hébergeur.
2. Écrivez au support de votre hébergeur. Donnez une preuve précise : la date, l’adresse demandée, le robot concerné et l’identifiant de la requête dans Cloudflare. C’est ce qui a permis de retrouver la règle en cause.
3. Gardez le pare-feu actif. Demandez de lever seulement la règle qui gêne : les attaques sur /wp-login.php ou /.git/config doivent rester bloquées.
4. Vérifiez sur quelques jours. Les requêtes autorisées des robots IA doivent passer au-dessus de zéro dans vos journaux.

Une fois débloqué, mon site apparaîtra-t-il dans ChatGPT ?

Pas automatiquement. Débloquer les robots ne fait que rendre votre site lisible. Yaab lui-même n’apparaît pas encore dans ces réponses, et nous en sommes à cette étape. Ensuite, trois choses comptent :

1. L’indexation. Soumettez votre sitemap à Google Search Console et à Bing Webmaster Tools : les assistants s’appuient aussi sur les moteurs de recherche.
2. Des réponses claires. Sur vos pages, répondez directement aux questions que se posent vos clients, avec des phrases compréhensibles même citées seules.
3. Des mentions ailleurs. Les assistants citent beaucoup les comparatifs et les annuaires : si vous n’y figurez pas, ils ont peu de raisons de parler de vous.

Questions fréquentes

Pourquoi mon site n’apparaît-il pas dans ChatGPT ?

Soit ses robots ne peuvent pas le lire (robots.txt ou pare-feu), soit il est trop peu indexé ou trop peu cité ailleurs. Commencez par le test de lecture : c’est le plus rapide, et le reste ne sert à rien tant que les robots sont bloqués.

Le fichier llms.txt suffit-il ?

Non. Un robot bloqué par le pare-feu ne peut pas lire ce fichier non plus, et rien ne garantit qu’un assistant s’en serve.

Faut-il autoriser tous les robots IA ?

C’est votre choix. Les robots comme GPTBot ou ClaudeBot servent notamment à entraîner les modèles, tandis qu’OAI-SearchBot, ChatGPT-User, Claude-User ou Perplexity-User servent à répondre aux utilisateurs. Si vous voulez être cité, laissez au moins passer ces derniers.

Comment voir les visites venues de ChatGPT ?

Dans votre outil d’analytics, regardez les sources de trafic. Yaab les identifie lorsque le référent ou un lien UTM transmet la source. Une citation sans clic ne crée aucune visite : elle n’apparaît donc dans aucun outil d’analytics.

En résumé

Un site qui s’affiche bien peut rester illisible pour les IA. Testez votre site avec l’identité de leurs robots, vérifiez vos journaux, et faites lever la règle en cause par votre hébergeur, sans couper le pare-feu. Ensuite seulement, l’indexation et les mentions peuvent jouer.