Votre site peut être parfait et rester invisible pour les IA si une seule ligne de configuration les bloque. Voici la checklist que nous appliquons, sur nos propres sites et sur ceux de nos clients.
1. Le fichier robots.txt
Le fichier robots.txt, à la racine de votre site, dit aux robots ce qu’ils ont le droit d’explorer. Par défaut, un robot est autorisé à explorer tout ce que le fichier ne lui interdit pas. Une autorisation explicite ne sert que si une règle plus large le bloque, par exemple un Disallow: / valable pour tous les robots. Voici un exemple qui rend ce choix explicite pour les principaux robots des IA :
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: *
Allow: /
Sitemap: https://www.votre-site.fr/sitemap-index.xml
Quelques points à retenir :
- les robots en -SearchBot servent à la recherche dans l’IA, les robots en -User agissent quand un utilisateur demande de lire une page ;
- GPTBot et ClaudeBot collectent aussi des données d’entraînement : vous pouvez les autoriser ou non selon votre politique ;
- Google-Extended et Applebot-Extended ne sont pas des robots, mais des signaux qui contrôlent l’usage de vos contenus par Gemini et par Apple.
2. Les réglages de votre hébergeur ou de Cloudflare
Le robots.txt ne suffit pas toujours. Certains services bloquent les robots d’IA avant même qu’ils lisent ce fichier. Sur Cloudflare, vérifiez dans les réglages de sécurité la politique appliquée aux robots d’IA, et mettez sur Autoriser les catégories qui vous intéressent : recherche, agents, entraînement.
C’est une vérification de deux minutes, et c’est souvent elle qui explique qu’un site ne soit jamais cité.
3. Le fichier llms.txt
Le fichier llms.txt est une proposition, pas un standard officiel. Il se place à la racine du site et résume, en Markdown, ce que vous faites et quelles pages comptent :
# Nom de votre entreprise
> Une phrase qui dit ce que vous faites et pour qui.
## Services
- [Service 1](https://www.votre-site.fr/service-1) : ce qu'il apporte.
## Preuves
- [Cas clients](https://www.votre-site.fr/cas-clients)
## Contact
- [Contact](https://www.votre-site.fr/contact)
Google Search ne l’utilise pas, et aucun moteur IA ne s’engage à le lire. C’est un bonus peu coûteux, qui vous oblige aussi à clarifier l’essentiel.
4. Google Search Console en propriété Domaine
Déclarez votre site dans Google Search Console en choisissant la propriété Domaine : elle couvre toutes les versions de votre site (avec ou sans www, http ou https). La validation se fait par un enregistrement TXT dans votre DNS. Soumettez ensuite votre sitemap et demandez l’indexation de vos pages clés.
5. Bing Webmaster Tools
Créez un compte Bing Webmaster Tools et importez votre site depuis Search Console : la configuration est reprise en quelques clics. C’est important pour le GEO : ChatGPT s’appuie en partie sur des fournisseurs de recherche tiers, et Bing alimente Copilot.
6. IndexNow
IndexNow permet de prévenir les moteurs dès qu’une page est publiée ou modifiée, au lieu d’attendre leur passage. Il est utilisé par Bing et quelques autres moteurs, mais pas par Google. La mise en place :
- générer une clé ;
- publier un fichier texte portant cette clé à la racine du site ;
- envoyer la liste des pages modifiées à l’API IndexNow, idéalement automatiquement à chaque mise en ligne.
7. Les vérifications de fin
- le sitemap ne contient que des pages indexables, avec exactement les mêmes adresses que vos balises canoniques ;
- les pages importantes renvoient un code 200, pas une redirection ;
- les versions de prévisualisation ou de test ne sont pas indexées ;
- les données structurées sont valides et correspondent au contenu visible.
La checklist en un coup d’œil
- robots.txt autorise les robots des IA et pointe vers le sitemap
- hébergeur ou Cloudflare n’entrave pas les robots d’IA
- llms.txt publié à la racine, en bonus
- Search Console en propriété Domaine, sitemap soumis
- Bing Webmaster Tools importé depuis Search Console
- IndexNow en place, automatisé si possible
- sitemap, canoniques et codes de réponse cohérents
Ces réglages ne garantissent pas une citation. Ils garantissent que rien ne vous en empêche.