# robots.txt — creation-internet-dijon.fr
#
# Site commercial entierement public : rien a proteger, tout a gagner a etre lu.
# Les groupes sont nommes explicitement parce que les editeurs separent desormais
# les crawlers de recherche des crawlers d'entrainement. Ce sont des agents
# distincts, controlables independamment.
#
# Les pages hors index (mentions legales, confidentialite, prise de rendez-vous,
# page de remerciement) portent une balise meta noindex. Elles ne sont
# volontairement PAS bloquees ici : bloquer le crawl empecherait de lire le
# noindex, ce qui produit l'effet inverse de celui recherche.


# ─── Moteurs de recherche classiques ──────────────────────────────
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Qwantify
Allow: /


# ─── Recherche assistee par IA : toujours autoriser ───────────────
# Une citation dans une reponse est un acte de recommandation.
# Bloquer ces agents revient a disparaitre de ces reponses.

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Applebot
Allow: /

User-agent: Amazonbot
Allow: /


# ─── Entrainement des modeles : decision assumee ──────────────────
# Studio commercial : etre present dans le corpus construit la memoire de
# marque. L'arbitrage serait different pour un editeur vivant de son audience.

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: MistralAI-User
Allow: /


# ─── Aspirateurs sans contrepartie ────────────────────────────────
# Ni trafic, ni citation, ni recommandation en retour.

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /


# ─── Defaut ───────────────────────────────────────────────────────
User-agent: *
Allow: /

Sitemap: https://creation-internet-dijon.fr/sitemap-index.xml