# =============================================================
# robots.txt UNIVERSAL — Fleet Auditour — v2.1 (2026-10)
# Política: IA ABIERTA. Los bots de IA/LLM (GPTBot, ClaudeBot,
# OAI-SearchBot, PerplexityBot, Meta-ExternalAgent, CCBot...)
# NO se declaran aquí a propósito: al no tener grupo propio,
# obedecen las reglas estándar de "User-agent: *" (crawlean el
# contenido público y respetan los Disallow de WP/WooCommerce).
# ⚠️ No añadir grupos "User-agent: [bot IA]" con "Allow: /":
# un grupo específico ANULA el grupo * y ese bot dejaría de
# respetar los Disallow estándar (/wp-admin/, checkout, etc.).
# El bloqueo real de bots agresivos (ignoran este fichero) va en
# .htaccess (Bloque Base Alex v3.0). Sitemap: NO declarado aquí
# (se envía por Search Console) → fichero idéntico en todo el fleet.
# Despliegue: FTP overwrite.
# =============================================================

# -------------------------------------------------------------
# 1. Reglas estándar WordPress (todos los bots, incluidos IA)
#    NO se bloquea /wp-content/plugins/ ni /wp-includes/:
#    Google necesita esos recursos para renderizar correctamente.
# -------------------------------------------------------------
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /*/trackback/$
Disallow: /?s=
Disallow: /search/
Disallow: /*?replytocom=
Disallow: /comments/feed/

# Recursos necesarios para renderizado (explícito, por claridad)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Allow: /wp-includes/js/
Allow: /wp-includes/css/

# WooCommerce (inocuo en webs sin Woo: no hace match con nada)
# Slugs en ES + EN + CA. Verifica rutas reales en tiendas WPML/multilingüe.
Disallow: /carrito/
Disallow: /checkout/
Disallow: /finalizar-compra/
Disallow: /mi-cuenta/
Disallow: /cart/
Disallow: /my-account/
Disallow: /cistella/
Disallow: /finalitzar-compra/
Disallow: /el-meu-compte/
Disallow: /*add-to-cart=*
Disallow: /*?orderby=
Disallow: /*?filter_*

# Content-Signals (estándar emergente, declaración de intención —
# no control efectivo). Política IA abierta: búsqueda, uso como input
# y entrenamiento permitidos. Para vetar solo entrenamiento: ai-train=no.
# Va dentro de este grupo: un segundo "User-agent: *" solo para esta
# línea sería un grupo duplicado (corregido en v2.1).
Content-Signal: search=yes, ai-input=yes, ai-train=yes

# -------------------------------------------------------------
# 2. Bots de IA / LLM — PERMITIDOS (sin grupos propios, ver
#    cabecera). Única excepción: ByteDance, que ademas ignora
#    robots.txt y ya está bloqueado por user-agent en .htaccess.
# -------------------------------------------------------------
User-agent: Bytespider
Disallow: /

# -------------------------------------------------------------
# 3. Crawlers SEO de terceros (consumen recursos, sin valor propio)
#    Descomentar si quieres bloquearlos también.
# -------------------------------------------------------------
# User-agent: AhrefsBot
# Disallow: /
# User-agent: SemrushBot
# Disallow: /
# User-agent: MJ12bot
# Disallow: /
# User-agent: DotBot
# Disallow: /
# User-agent: dataforseo-bot
# Disallow: /