United deja indexar a los buscadores y pide permiso escrito a los agentes de IA: qué revisar en tu web

Una tienda online ve subir las visitas a las fichas de producto y al buscador interno, pero las ventas no se mueven. Parte de ese tráfico puede venir de agentes de IA que comparan precios o preparan una compra por encargo de alguien. Según HUMAN Security, las herramientas de analítica de la mayoría de sitios no distinguen a esos agentes de los visitantes humanos. El problema empieza antes de decidir si se les deja pasar: muchas webs no saben que los reciben.
United Airlines acaba de fijar una postura que sirve de ejemplo para cualquier web comercial.
Lo que cambió United el 11 de noviembre
Los términos de uso de united.com, actualizados el 11 de noviembre, permiten que los buscadores indexen las páginas públicas. Cualquier agente de IA que busque vuelos, reserve o compre en la web o en la app necesita, en cambio, permiso escrito de la aerolínea, según explica Search Engine Journal.
TAMBIÉN TE PUEDE INTERESAR ∞Normativas y estándares internacionales en envases farmacéuticos →La definición de agente automatizado es amplia. Incluye asistentes de IA, bots, scrapers, extensiones de navegador y funciones integradas en navegadores o aplicaciones, aunque una persona supervise o apruebe lo que hacen. Las funciones de agente que traen los propios navegadores tampoco quedan exentas.
Hay dos piezas más. Los términos prohíben usar tarifas, horarios, disponibilidad o precios del sitio para entrenar, ajustar, evaluar o desarrollar de cualquier otra forma un modelo de IA. Y el contrato de transporte, en su regla 6.J.6, añade el uso de agentes para hacer, modificar o gestionar un billete a la lista de prácticas prohibidas, la misma en la que ya estaban los billetes hidden-city y throwaway.
United se reserva también el derecho a bloquear un agente en cualquier momento, lo opere el usuario, un tercero o una empresa de IA.
Ahora el detalle técnico. A 14 de noviembre, el robots.txt de United no nombraba ningún rastreador ni agente de IA. Toda la restricción está en el texto legal, no en el archivo que leen los bots.
Dos documentos con funciones distintas
El robots.txt es un archivo de texto en la raíz del dominio. Indica a los rastreadores qué rutas pueden visitar. Cumplirlo depende de cada rastreador: el archivo no bloquea ninguna petición por sí mismo.
Los términos de uso son un documento legal. Tampoco detienen peticiones, pero dan base para reclamar o para cortar el acceso a quien los incumple. United los usa para separar dos actividades: indexar páginas para que salgan en un buscador, que acepta, y actuar dentro del sitio en nombre de un cliente, que somete a permiso.
En una web pequeña esa separación tiene una lectura directa. Un buscador que indexa trae visitas. Un agente que recorre cien fichas para comparar precios consume servidor y puede no dejar ninguna venta.
Cuánto tráfico de agentes puede estar llegando
Los datos de HUMAN Security que publica Search Engine Journal en otro artículo dan una idea del volumen. En octubre, los agentes de Meta y OpenAI hicieron casi el 90% de las peticiones de agentes que llegaron a sitios y apps protegidos por esa empresa. Muse, el agente de Meta, sumó él solo el 59%.
El crecimiento es rápido. Las peticiones de octubre fueron unas 8 veces las de agosto y unas 2,6 veces las de septiembre.
El destino tampoco es aleatorio. El 85% de las peticiones fue a páginas de producto y de búsqueda. Las webs de comercio electrónico recibieron alrededor del 60% del total y los viajes fueron la segunda categoría. Una tienda online o una web de reservas está justo donde se concentra este tráfico.
Identificar a cada agente tampoco es sencillo. Según DataDome, a 10 de noviembre la mitad de las peticiones de Muse en su red llegaban sin firmar. Entre el 7 y el 9 de noviembre, Muse trasladó sus firmas Web Bot Auth del directorio de claves de meta.com al suyo propio, en muse.ai. Si filtras agentes por firma, comprueba qué dominio de claves espera tu regla.
Cómo decidir qué permites en tu web
- Abre el archivo /robots.txt en la raíz de tu dominio y anota qué rutas permite y cuáles cierra. Si no existe, todo está abierto para cualquier rastreador que respete la convención.
- Separa las rutas públicas, que te interesa que se indexen, de las rutas de transacción. Un punto de partida para una tienda es dejar el catálogo abierto y cerrar carrito, pago y cuenta de cliente a todos los bots.
- Si quieres tratar a un bot de IA concreto de forma distinta, busca en la documentación de la empresa que lo opera el nombre exacto de su user-agent y añade un bloque propio. Un error de una letra deja la regla sin efecto.
- Si tu web pasa por Cloudflare, AI Crawl Control permite aceptar o bloquear cada rastreador por separado y está en todos los planes, según recoge el resumen semanal de Search Engine Journal. Aquí el bloqueo se aplica en la red, sin depender de que el bot lea tu robots.txt.
- Revisa los términos de uso. Decide si aceptas que tu catálogo y tus precios sirvan para entrenar modelos y si los agentes pueden comprar en nombre de un cliente. La redacción concreta conviene pasarla por un abogado.
- Mide lo que vuelve. Business Hub de ChatGPT, en beta desde el 10 de noviembre, permite reclamar el perfil de la empresa y ver cuántas veces ChatGPT la menciona y cuántos clics envía a su web. Solo cuenta como mención que ChatGPT referencie el sitio web del negocio; el nombre de marca no basta.
El fragmento del paso 2 quedaría así:
User-agent: *
Allow: /
Disallow: /carrito/
Disallow: /checkout/
Disallow: /mi-cuenta/
Ojo con el asterisco: buscadores y agentes de IA leen la misma regla. Si cierras el catálogo con User-agent: *, también lo cierras a los buscadores que te traen visitas.
Lo que esta configuración no resuelve
Un robots.txt bien escrito no frena a un agente que lo ignora. Los términos de uso tampoco: sirven para reclamar después. United lo asume al reservarse el bloqueo en cualquier momento.
Las funciones de agente integradas en el navegador complican la detección, porque la petición sale del equipo del propio cliente. Y si tu analítica no separa agentes de personas, como advierte HUMAN, la tasa de conversión puede estar calculada sobre visitas que no hizo ninguna persona.
Si en tu empresa ya usas bots propios para compras o reservas, como los que se describen en cómo digitalizar procesos repetitivos en una pyme, lee los términos de cada proveedor. Con las reglas de United, ese uso necesitaría permiso escrito.
Cerrar todo también tiene coste. Matthew Prince, consejero delegado de Cloudflare, dijo en la presentación de resultados del tercer trimestre que OpenAI paga por recibir avisos de cuándo cambian las páginas web. Si un rastreador paga por saber cuándo cambia una página, ese contenido vale algo para quien lo recoge. Las condiciones en que lo entregas las pones tú.
Primero el archivo, después los términos.
Fuentes: United Lets Search Engines Index Its Site, Makes AI Agents Ask First, Search Engine Journal; Meta & OpenAI Agents Made Nearly 90% Of Agent Requests In Bot Data, Search Engine Journal; Core Update, ChatGPT Business Hub & AI Mode’s New Model – SEO Pulse, Search Engine Journal.