SEO & GEO

robots.txt, llms.txt et bots IA : la checklist à configurer sur votre site

Les réglages techniques pour ouvrir votre site aux IA : robots.txt, llms.txt, Cloudflare, Search Console, Bing Webmaster Tools et IndexNow, point par point.

Loan Fikri

Par Loan Fikri, fondateur de LFK Agency

Publié le · Mis à jour le · 9 min de lecture

Votre site peut être parfait et rester invisible pour les IA si une seule ligne de configuration les bloque. Voici la checklist que nous appliquons, sur nos propres sites et sur ceux de nos clients.

1. Le fichier robots.txt

Le fichier robots.txt, à la racine de votre site, dit aux robots ce qu’ils ont le droit d’explorer. Par défaut, un robot est autorisé à explorer tout ce que le fichier ne lui interdit pas. Une autorisation explicite ne sert que si une règle plus large le bloque, par exemple un Disallow: / valable pour tous les robots. Voici un exemple qui rend ce choix explicite pour les principaux robots des IA :

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: *
Allow: /

Sitemap: https://www.votre-site.fr/sitemap-index.xml

Quelques points à retenir :

  • les robots en -SearchBot servent à la recherche dans l’IA, les robots en -User agissent quand un utilisateur demande de lire une page ;
  • GPTBot et ClaudeBot collectent aussi des données d’entraînement : vous pouvez les autoriser ou non selon votre politique ;
  • Google-Extended et Applebot-Extended ne sont pas des robots, mais des signaux qui contrôlent l’usage de vos contenus par Gemini et par Apple.

2. Les réglages de votre hébergeur ou de Cloudflare

Le robots.txt ne suffit pas toujours. Certains services bloquent les robots d’IA avant même qu’ils lisent ce fichier. Sur Cloudflare, vérifiez dans les réglages de sécurité la politique appliquée aux robots d’IA, et mettez sur Autoriser les catégories qui vous intéressent : recherche, agents, entraînement.

C’est une vérification de deux minutes, et c’est souvent elle qui explique qu’un site ne soit jamais cité.

3. Le fichier llms.txt

Le fichier llms.txt est une proposition, pas un standard officiel. Il se place à la racine du site et résume, en Markdown, ce que vous faites et quelles pages comptent :

# Nom de votre entreprise

> Une phrase qui dit ce que vous faites et pour qui.

## Services
- [Service 1](https://www.votre-site.fr/service-1) : ce qu'il apporte.

## Preuves
- [Cas clients](https://www.votre-site.fr/cas-clients)

## Contact
- [Contact](https://www.votre-site.fr/contact)

Google Search ne l’utilise pas, et aucun moteur IA ne s’engage à le lire. C’est un bonus peu coûteux, qui vous oblige aussi à clarifier l’essentiel.

4. Google Search Console en propriété Domaine

Déclarez votre site dans Google Search Console en choisissant la propriété Domaine : elle couvre toutes les versions de votre site (avec ou sans www, http ou https). La validation se fait par un enregistrement TXT dans votre DNS. Soumettez ensuite votre sitemap et demandez l’indexation de vos pages clés.

5. Bing Webmaster Tools

Créez un compte Bing Webmaster Tools et importez votre site depuis Search Console : la configuration est reprise en quelques clics. C’est important pour le GEO : ChatGPT s’appuie en partie sur des fournisseurs de recherche tiers, et Bing alimente Copilot.

6. IndexNow

IndexNow permet de prévenir les moteurs dès qu’une page est publiée ou modifiée, au lieu d’attendre leur passage. Il est utilisé par Bing et quelques autres moteurs, mais pas par Google. La mise en place :

  1. générer une clé ;
  2. publier un fichier texte portant cette clé à la racine du site ;
  3. envoyer la liste des pages modifiées à l’API IndexNow, idéalement automatiquement à chaque mise en ligne.

7. Les vérifications de fin

  • le sitemap ne contient que des pages indexables, avec exactement les mêmes adresses que vos balises canoniques ;
  • les pages importantes renvoient un code 200, pas une redirection ;
  • les versions de prévisualisation ou de test ne sont pas indexées ;
  • les données structurées sont valides et correspondent au contenu visible.

La checklist en un coup d’œil

  • robots.txt autorise les robots des IA et pointe vers le sitemap
  • hébergeur ou Cloudflare n’entrave pas les robots d’IA
  • llms.txt publié à la racine, en bonus
  • Search Console en propriété Domaine, sitemap soumis
  • Bing Webmaster Tools importé depuis Search Console
  • IndexNow en place, automatisé si possible
  • sitemap, canoniques et codes de réponse cohérents

Ces réglages ne garantissent pas une citation. Ils garantissent que rien ne vous en empêche.

FAQ

Questions fréquentes

Autoriser GPTBot, est-ce laisser OpenAI entraîner ses modèles sur mon site ?

GPTBot sert notamment à la collecte de données d'entraînement. OAI-SearchBot sert à la recherche dans ChatGPT. Vous pouvez autoriser l'un sans l'autre. Le choix dépend de votre politique : beaucoup d'entreprises autorisent tout pour maximiser leur visibilité.

Google-Extended bloque-t-il les réponses IA de Google ?

Non. Selon Google, Google-Extended contrôle l'usage de vos contenus pour Gemini, mais n'affecte pas votre présence dans la recherche Google, y compris les réponses IA.

IndexNow fonctionne-t-il avec Google ?

Non. IndexNow est utilisé par Bing et quelques autres moteurs. Pour Google, il faut passer par le sitemap et Search Console.

Loan Fikri

L’auteur

Loan Fikri

Fondateur de LFK Agency. Il orchestre les projets de l’agence et coordonne, pour chaque métier, un spécialiste sélectionné. Les guides Insights sont écrits à partir de ce travail.

Insights

À lire aussi

Parlons de votre croissance.

Un audit gratuit de 30 minutes. Vous repartez avec des recommandations claires, même si vous ne donnez pas suite.