Google y OpenAI respaldan una señal común en robots.txt para controlar el entrenamiento de IA

Respuesta directa. Google y OpenAI anunciaron que apoyarán una señal compartida en robots.txt para que editores y empresas expresen, con una regla, su preferencia sobre el uso de contenidos en el entrenamiento de inteligencia artificial. La iniciativa aún está en etapa de borrador técnico en la IETF. No bloquea por sí sola el rastreo ni garantiza una exclusión inmediata: crea un lenguaje común que los proveedores participantes deberán implementar. Para los sitios chilenos, la novedad obliga a separar tres decisiones: ser indexado en buscadores, permitir la consulta de una página y autorizar el entrenamiento de modelos.

Una señal común para una web que hasta ahora hablaba muchos idiomas

Durante los últimos años, un administrador web que quería limitar el entrenamiento de modelos generativos debía revisar listas de bots, nombres de producto y políticas distintas. Google ofrece Google-Extended; OpenAI mantiene controles específicos para sus rastreadores; otros actores usan identificadores propios. Esa fragmentación elevó el costo técnico de gestionar una preferencia editorial básica, especialmente para medios pequeños, ecommerce y pymes sin un equipo de infraestructura dedicado. La noticia del 30 de octubre propone una salida más ordenada: que un mismo grupo dentro de robots.txt exprese una preferencia de entrenamiento para los proveedores que voluntariamente adopten el mecanismo.

El cambio no consiste en inventar un archivo nuevo ni en reemplazar robots.txt. El borrador técnico usa la estructura conocida del protocolo: un User-Agent y reglas Allow o Disallow. La diferencia es que el User-Agent deja de identificar a un crawler concreto y funciona como un token de propósito. El ejemplo publicado por el borrador emplea __usage_ai-training. Con esa etiqueta, un operador puede indicar que no desea que ciertas rutas se utilicen para entrenar modelos fundacionales, dejando excepciones precisas cuando corresponda. Es una propuesta diseñada para reducir duplicación y conservar la lógica que ya conocen quienes administran sitios.

Qué anunciaron exactamente Google, OpenAI y la IETF

OpenAI informó que honrará una señal común en robots.txt para comunicar decisiones sobre el uso de contenido en entrenamiento generativo. La compañía precisó que pretende implementarla en los próximos meses y que sus controles actuales por crawler seguirán vigentes. Google, por su parte, actualizó su documentación de rastreo el 30 de octubre para indicar su intención de respaldar la señal compartida de preferencias de entrenamiento. La convergencia importa porque reduce la necesidad de repetir la misma directriz proveedor por proveedor, aunque no transforma una declaración técnica en una obligación legal universal.

El documento de referencia es el Internet-Draft Machine-Readable Training Preference Signal, actualizado el 30 de octubre de 2026 y presentado en el ecosistema de la Internet Engineering Task Force. Su propia portada advierte que es un borrador de trabajo, no un estándar IETF aprobado ni una RFC con vigencia formal. Esta distinción es decisiva para cualquier directorio, medio o empresa que deba tomar decisiones de riesgo. Hoy existe un diseño propuesto y anuncios de apoyo; todavía puede cambiar su redacción, calendario de implementación o interpretación entre participantes.

El detalle técnico: una preferencia por propósito y por ruta

La propuesta intenta resolver el problema sin alterar la sintaxis base de robots.txt. En vez de crear una directiva propietaria adicional, reutiliza el comportamiento de grupos y rutas. El ejemplo del borrador expresa una negativa amplia al entrenamiento y luego habilita una excepción para una sección específica:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Traducido a una decisión editorial, el sitio manifiesta que sus páginas no deberían utilizarse para entrenamiento de IA, salvo el material disponible en /press-kit/. La granularidad por ruta es útil para organizaciones que publican simultáneamente contenido comercial, documentación, comunicados y recursos de uso público. Sin embargo, el archivo no reemplaza contratos, licencias ni mecanismos de autenticación. Una ruta realmente privada debe seguir protegida con controles de acceso, no con una línea en robots.txt, porque este archivo es público y funciona como señal para agentes que decidan respetarlo.

El borrador también conserva una separación relevante: las reglas de control de tráfico de crawlers existentes no cambian. Un parser que no reconoce el token debe ignorar ese grupo, como ocurre con un User-Agent que no le corresponde. Esto protege la compatibilidad, pero refuerza un mensaje para los equipos de marketing y TI: no se debe borrar una regla específica que hoy cumple una función operativa solo porque aparezca una señal compartida. La transición debe documentarse, probarse y revisarse según las instrucciones oficiales de cada proveedor.

Entrenamiento, búsqueda e indexación no son la misma decisión

En la conversación pública, bloquear la IA suele mezclarse con conceptos que producen efectos muy distintos. Impedir el rastreo de una URL puede afectar su descubrimiento. Desindexar una página puede sacarla de resultados de búsqueda. Restringir el entrenamiento busca comunicar una preferencia sobre cómo se usan los contenidos para modificar parámetros de modelos. Ninguna de estas acciones es intercambiable. Una empresa chilena que desea mantener tráfico orgánico y visibilidad en respuestas generativas puede llegar a conclusiones equivocadas si aplica un bloqueo amplio sin distinguir el objetivo.

El anuncio de OpenAI subraya precisamente que el nuevo control no sustituye sus herramientas actuales. Google también ha señalado que sus controles específicos continuarán junto al mecanismo compartido. Por eso, la lectura prudente es de coexistencia: una señal general puede reducir el trabajo administrativo, mientras las excepciones por proveedor siguen siendo necesarias cuando la política editorial requiere mayor precisión. Para medios, la decisión no es solo técnica. Afecta audiencia, distribución, monetización, archivo histórico, licenciamiento y el valor de las bases de datos propias.

Qué debería hacer una empresa o medio chileno desde ahora

La primera medida no es copiar una regla en producción. Es hacer inventario. Marketing debe identificar qué activos son estratégicos: artículos, fichas de producto, investigaciones, fotografías, manuales, base de conocimientos y contenido entregado bajo licencia. Tecnología debe registrar las reglas existentes en robots.txt, sus objetivos y los bots a los que afectan. Legal o compliance debe definir si la organización busca una postura de exclusión general, apertura controlada o permisos por tipo de material. Esa conversación evita que una modificación apurada genere una caída de visibilidad o contradiga acuerdos con autores y clientes.

Luego conviene establecer una matriz de decisión. Para cada familia de URL, anote el propósito, el nivel de sensibilidad, la política de entrenamiento deseada, los controles existentes y el responsable de aprobar cambios. También es recomendable guardar una versión fechada de robots.txt, implementar cambios en un entorno de prueba cuando sea posible y monitorear logs del servidor. El nuevo token no ofrece una auditoría mágica de cumplimiento: los registros propios, la documentación de cada proveedor y la revisión periódica siguen siendo necesarios para entender cómo interactúan los rastreadores con el sitio.

Para una pyme, una implementación razonable parte por no confundir protección con invisibilidad. Si el contenido es el principal motor de adquisición, bloquear indiscriminadamente puede cerrar oportunidades de descubrimiento sin resolver la preocupación de fondo. Si existe material patentable, contractual o confidencial, el enfoque correcto suele ser no publicarlo de forma abierta. El robots.txt es una herramienta de preferencias operativas; no reemplaza arquitectura de permisos, autenticación, gestión documental ni asesoría jurídica.

Impacto para SEO, medios y estrategia de contenido

La importancia de esta noticia para SEO no está en una promesa de posicionamiento. Está en la gobernanza del contenido. A medida que las respuestas generativas pasan a ser otra puerta de entrada a la información, los editores necesitan saber qué pueden controlar, qué no y con qué evidencia. Una señal transversal puede hacer que una política editorial sea más legible para proveedores participantes. Pero visibilidad, citación y entrenamiento son capas diferentes. Un sitio no debe asumir que autorizar entrenamiento generará menciones, ni que rechazarlo impedirá toda forma de lectura automatizada o presencia en productos de IA.

Para medios chilenos, el debate abre una oportunidad para profesionalizar inventarios, licencias y metadatos. La calidad de un artículo, la claridad de la autoría, la fecha de actualización y la estructura semántica siguen siendo factores que ayudan a lectores humanos y sistemas automatizados a interpretar una publicación. Al mismo tiempo, la política sobre entrenamiento debe ser transparente y coherente con el modelo de negocio. Una sala de redacción que cobra por archivo premium, por ejemplo, puede requerir decisiones distintas de un organismo público que publica información de reutilización abierta.

La recomendación editorial es evitar titulares absolutos. No es correcto afirmar que una sola línea prohíbe a toda la IA usar un sitio, ni que la señal ya está implementada de forma idéntica por toda la industria. La realidad es más útil y más precisa: grandes actores anunciaron respaldo a una propuesta común, la propuesta usa un mecanismo compatible con robots.txt y su efecto depende de adopción, implementación y políticas de cada proveedor. Esa precisión será clave cuando la promesa tecnológica llegue a equipos comerciales y directivos.

Una señal compartida es un avance, no un botón de pánico

El valor del anuncio es reducir fricción. Un estándar compartido puede facilitar que las preferencias de un editor viajen de manera consistente entre proveedores, en vez de quedar repartidas en una lista frágil de bots. No obstante, el control seguirá siendo voluntario mientras dependa de actores que opten por honrarlo, y el documento técnico todavía está en evolución. La decisión inteligente para las organizaciones chilenas es prepararse: entender sus contenidos, mantener las reglas actuales, seguir los hitos de implementación y documentar la política que desean comunicar.

La web abierta funciona con acuerdos técnicos y responsabilidad. Cuando Google, OpenAI y el trabajo de la IETF convergen en una señal común, la conversación deja de ser sobre crawlers. Pasa a ser una discusión de propiedad editorial, trazabilidad y estrategia digital de largo plazo.