Los agentes necesitan auditores, no sólo más autonomía
Agentled - Arquitecto de seguridad
Los agentes necesitan auditores, no sólo más autonomía
El próximo obstáculo para los agentes de IA no es si pueden hacer más trabajo.
Se trata de si alguien puede probar lo que hizo.
En Fortune Brainstorm Tech en Aspen, ejecutivos de May Mobility, Thomson Reuters, Trustguard AI y SentinelOne plantearon el mismo punto desde diferentes ángulos: a medida que los agentes pasan de responder preguntas a ejecutar flujos de trabajo, la verificación se convierte en el producto. Los seguimientos de auditoría, los resultados transparentes, los jueces de IA independientes, los datos gobernados y la responsabilidad crítica para la seguridad ya no son extras de cumplimiento. Son la infraestructura que permite a los agentes trabajar a escala.
Ése es el marco correcto.
La industria se ha pasado los últimos dos años preguntándose: "¿Hasta qué punto pueden llegar a ser autónomos los agentes?". La mejor pregunta empresarial es: "¿Hasta qué punto pueden ser auditables los agentes antes de que la autonomía se vuelva peligrosa?"
Porque un agente que no puede ser auditado no es un empleado, ni un compañero de equipo, ni un sistema operativo.
Es un pasivo con una interfaz de chat.
La autonomía sin rendición de cuentas no escala
Un humano puede revisar una respuesta de IA.
Un gerente puede verificar diez resultados.
Un equipo de cumplimiento puede investigar una falla visible.
Pero una vez que los agentes comienzan a ejecutar cientos o miles de tareas en registros CRM, correos electrónicos de clientes, facturas, tickets de soporte, colas de abastecimiento, bases de código, contratos, reclamos o documentos financieros, la revisión manual colapsa. El volumen de trabajo crece más rápido que la capacidad humana para inspeccionarlo.
Ese es el punto que Gregor Stewart de SentinelOne planteó en el panel de Fortune: los equipos pueden terminar con tanto trabajo generado por IA para auditar que realmente no pueden ser responsables de ello.
Este es el modo de fracaso empresarial que nadie quiere poner en la diapositiva de lanzamiento.
La demostración parece mágica porque el agente completa una tarea.
La producción se interrumpe porque el agente completa 10.000 tareas y nadie puede reconstruir las 37 malas.
La pista de auditoría es la nueva interfaz de usuario
La mayoría de los productos de agentes todavía tratan la pista de auditoría como si fuera una plomería: un flujo de registros para ingenieros, una exportación de cumplimiento o un artefacto de depuración.
Eso es al revés.
Para los agentes de producción, la pista de auditoría es parte de la interfaz de usuario. Así es como los operadores entienden lo que sucedió, cómo los gerentes aprueban el trabajo, cómo los auditores toman muestras de los riesgos, cómo los desarrolladores solucionan las fallas y cómo se puede demostrar a los reguladores que un sistema está gobernado.
Una pista de auditoría de agentes útil debería responder preguntas básicas sin arqueología:
- ¿Qué se le pidió al agente que hiciera?
- ¿Qué datos vio?
- ¿A qué herramientas llamó?
- ¿Qué arrojó cada herramienta?
- ¿Qué suposiciones hizo?
- ¿Qué política o manual siguió?
- ¿Dónde reintentó, bifurcó, escaló o se detuvo?
- ¿Qué cambió en el sistema de registro?
- ¿Qué humano aprobó la acción final?
- ¿Qué evidencia respalda el resultado?
Si la respuesta es "tenemos la transcripción en alguna parte", eso no es suficiente.
Una transcripción no es un sistema de auditoría. Una transcripción es un montón de texto.
Un sistema de auditoría está estructurado, consultable, autorizado y vinculado a los resultados comerciales.
Los jueces de IA ayudan, pero no pueden ser teatro
La discusión de Fortune también sacó a relucir el patrón "LLM como juez": un modelo o agente realiza el trabajo y otro modelo o agente lo revisa. Elena Kvochko, de Trustguard AI, lo describió con la analogía entre escritor y editor: un agente crea, otro verifica.
Ese patrón importa. Ya se está convirtiendo en un estándar en el diseño de agentes serios.
Pero tiene un modo de falla evidente: el teatro de verificación.
Si el juez utiliza el mismo contexto, los mismos puntos ciegos, los mismos incentivos, el mismo estilo de indicación y la misma familia modelo que el trabajador, es posible que la organización sólo esté comprando la apariencia de una revisión. El sistema dice "verificado" porque otro modelo lo examinó, no porque el resultado esté realmente conectado a tierra, cumpla con las políticas o sea seguro para actuar.
Un verdadero juez de IA necesita separación:
- Objetivo separado. El trabajador optimiza para completar la tarea. El juez optimiza el descubrimiento de errores.
- Evidencia separada. El juez verifica las citas, los registros de fuentes, los resultados de las herramientas, las políticas y las decisiones históricas en lugar de leer únicamente la prosa del trabajador.
- Umbrales separados. El juez puede bloquear, rebajar la confianza, solicitar más pruebas o escalar a un ser humano.
- Telemetría separada. Las decisiones del juez se registran para que la empresa pueda medir los pases falsos, los bloqueos falsos y la desviación de las revisiones.
- Propiedad separada. El propietario de la empresa puede ajustar lo que significa "bueno" para el flujo de trabajo sin cambiar todo el comportamiento del agente trabajador.
No querrás que la IA califique sus propios deberes.
Tampoco quieres que los jueces de AI se limiten a aprobar las tareas con un tono más formal.
Las industrias críticas para la seguridad ya conocen el patrón
Los vehículos autónomos, la aviación, la atención sanitaria, las finanzas, la seguridad y los sistemas industriales han vivido con una versión de este problema durante décadas. La lección no es "nunca automatizar". La lección es que la autonomía sólo se vuelve aceptable cuando está rodeada de monitoreo, redundancia, revisión de incidentes, controles y operadores responsables.
Es por eso que Edwin Olson, de May Mobility, enfatizó la transparencia y la introspección: los sistemas cometerán errores, por lo que los equipos deben comprender por qué ocurrió el error y mostrar qué cambió después.
Los agentes Enterprise necesitan la misma disciplina.
No porque cada borrador de correo electrónico sea un vehículo autónomo.
Porque los sistemas agentes crean largas cadenas de pequeñas acciones. Un solo error puede ser menor, pero un error repetido en 400 clientes, 2000 facturas o 10 000 líneas de código generado se convierte en un riesgo operativo.
La lección de la ingeniería crítica para la seguridad es simple: si no se puede trazar el camino de decisión, no se puede aumentar la autonomía de manera segura.
El listón de la IA de nivel profesional es más alto
Caitlin Halferty, de Thomson Reuters, conectó la discusión con la IA de "grado fiduciario": los sistemas utilizados por profesionales en flujos de trabajo legales, fiscales, de cumplimiento y de auditoría necesitan resultados transparentes, contenido confiable, seguridad de los datos, privacidad y experiencia en la materia.
Ese estándar se extenderá más allá de lo legal y lo fiscal.
Los equipos de ventas necesitarán saber por qué se dio prioridad a un cliente potencial.
Los equipos de reclutamiento deberán demostrar por qué un candidato fue propuesto o rechazado.
Los equipos de éxito del cliente deberán explicar por qué una cuenta se marcó como en riesgo.
Los equipos de finanzas deberán justificar por qué se elevó una excepción.
Los equipos de marketing deberán demostrar que las afirmaciones de contenido provienen de su origen.
Los equipos de soporte deberán reconstruir por qué un agente le prometió algo a un cliente.
Cada función que adopta agentes eventualmente hereda un problema de auditoría.
La pregunta es si la plataforma lo trata como un requisito de diseño de primera clase o como una ocurrencia tardía una vez que la contratación lo solicita.
Lo que realmente verifica un agente auditor
Un auditor agente no es sólo una persona. Es un papel en el sistema.
A veces el auditor es un revisor humano. A veces es un agente de verificación independiente. A veces se trata de un motor de políticas, un conjunto de evaluaciones, un flujo de trabajo de aprobación o un proceso de seguimiento. En implementaciones maduras, son todos ellos juntos.
El auditor comprueba cinco capas:
1. Integridad de entrada
¿Estaba el agente trabajando con los datos correctos? ¿Los datos estaban actualizados, autorizados, completos y relevantes? ¿El usuario pidió algo ambiguo? ¿El flujo de trabajo se basó en campos CRM obsoletos, enriquecimiento roto o contexto faltante?
Las malas entradas crean salidas equivocadas y seguras.
2. Integridad del proceso
¿Siguió el agente el manual de jugadas aprobado? ¿Llamó a las herramientas adecuadas? ¿Se saltó los pasos requeridos? ¿Lo volvió a intentar de manera responsable? ¿Se intensificó cuando cayó la confianza? ¿Se mantuvo dentro del alcance?
Aquí es donde los rastros estructurados importan más que el razonamiento en lenguaje natural.
3. Integridad de salida
¿El resultado final es preciso, fundamentado, formateado correctamente, compatible con las políticas y útil? ¿Las afirmaciones están respaldadas por evidencia? ¿Se identifican los casos extremos? ¿Las recomendaciones están debidamente advertidas?
Aquí es donde se cruzan los jueces, las evaluaciones y la revisión humana de la IA.
4. Integridad de la acción
¿Qué cambió fuera del agente? ¿Se envió un correo electrónico, se actualizó un campo CRM, se cerró un ticket, se rechazó un candidato, se editó un archivo, se activó un pago o se entregó un informe? ¿Se aprobó esa acción?
El momento de mayor riesgo no es la generación. Es una consecuencia externa.
5. Integridad del aprendizaje
¿Qué aprendió el sistema de la ejecución? ¿Los resultados aceptados mejoraron la memoria? ¿Los resultados rechazados cambiaron el manual? ¿Se convirtieron los fracasos en casos de prueba? ¿Mejoró la organización o simplemente consumió tokens?
Aquí es donde la auditoría se convierte en una ventaja agravante.
Punto de vista de AgentLed: cada agente gestionado necesita un plano de control
En AgentLed, creemos que la conversación sobre auditoría es el puente que falta entre demostraciones impresionantes y una implementación real.
Un agente no debe ser juzgado sólo por lo que puede hacer. Debe juzgarse por qué tan bien la empresa puede supervisar, verificar, mejorar y confiar en lo que hace.
Eso requiere un plano de control alrededor del agente:
- Historial de ejecución que muestra cada ejecución, llamada de herramienta, resultado y excepción.
- Memoria Knowledge Graph que captura decisiones aceptadas, resultados rechazados, preferencias del cliente, restricciones de políticas y aprendizajes del flujo de trabajo.
- Puertas de aprobación para acciones orientadas al cliente, sensibles al cumplimiento, financieras, destructivas o riesgosas para la reputación.
- Ciclos de evaluación que comparan los resultados con el estándar de calidad propio de la empresa.
- Agentes de revisión de IA cuyo objetivo es encontrar errores, no halagar al trabajador.
- Rutas de escalada humana cuando los umbrales de confianza, política o riesgo requieren revisión.
- ROI y telemetría de costos para que los equipos sepan qué trabajo de agente está creando valor y cuál está generando ruido.
- Contexto portátil para que la empresa pueda cambiar de modelo sin perder la capa de auditoría y aprendizaje.
Es por eso que la orquestación de agentes no puede consistir únicamente en encadenar herramientas.
El trabajo más difícil es hacer que los agentes laborales rindan cuentas.
La nueva pregunta sobre la implementación
Cuando un proveedor le muestre un agente, no le pregunte únicamente qué puede hacer.
Pregunte qué sucede cuando está mal.
Pregúntale cómo repites una carrera.
Pregunte dónde se almacenan las pruebas.
Pregunte si un juez independiente revisa los resultados de alto riesgo.
Pregunte qué acciones requieren aprobación.
Pregunte cómo los fracasos se convierten en pruebas.
Pregunte quién puede anular al agente.
Pregunte si el registro de auditoría sobrevive si cambia de modelo.
Pregunte cómo el sistema demuestra mejoras con el tiempo.
Esas preguntas sonarán aburridas en una demostración.
Importarán más que la demostración en producción.
Los agentes necesitan auditores porque las empresas necesitan confianza
La era de los agentes no la ganará el sistema más autónomo de la sala.
Lo ganará el sistema que pueda actuar, explicar, verificar, escalar, aprender y rendir cuentas.
La autonomía sólo es útil cuando está limitada por la evidencia.
Los jueces de IA sólo son útiles cuando son lo suficientemente independientes como para detectar errores.
Los seguimientos de auditoría sólo son útiles cuando están lo suficientemente estructurados como para reconstruir la realidad.
La revisión humana sólo es útil cuando se centra en las decisiones que realmente conllevan riesgos.
El futuro de los agentes empresariales no es un enjambre de robots no supervisados que realizan un trabajo invisible.
Se trata de trabajo de agentes gestionados con auditores integrados.
Así es como los agentes pasan de la novedad a la infraestructura.
Fuentes
- Cobertura de Fortune del panel Brainstorm Tech sobre verificación de IA agente: https://fortune.com/2026/06/15/as-ai-systems-produce-more-work/
- Descripción general de Thomson Reuters de la IA de nivel profesional en los ámbitos legal, fiscal, de auditoría, contable, de riesgo y de cumplimiento: https://www.thomsonreuters.com/en/artificial-intelligence
- Anuncio de Thomson Reuters de Audit Intelligence para flujos de trabajo de auditoría basados en datos: https://www.thomsonreuters.com/en/press-releases/2024/september/thomson-reuters-unveils-ai-powered-audit-intelligence-solutions-to-reimagine-auditing-practices