Barandillas que realmente funcionan: Evaluaciones + Human-in-the-Loop

Las “barandillas” no son filtros mágicos: son diseño de procesos: pasos de pequeño alcance, puertas de evaluación y reversión clara.

Por qué esto importa ahora

A medida que los agentes tocan más elementos de su pila, el riesgo no es una sola mala respuesta, sino una deriva silenciosa a través de cientos de pequeñas acciones. Las barandillas que funcionan en producción son aburridas por diseño: cada paso hace una cosa; las evaluaciones detectan las regresiones tempranamente; los humanos aprueban lo correcto (no todo). Cuando surgen problemas, puede retroceder rápidamente con un registro de auditoría limpio.

Cómo diseñar agentes confiables

Pasos de pequeño alcance: clasificar, extraer, redactar, validar. Utilice acciones deterministas (APIs) siempre que sea posible; reserve la IA para juicios confusos.
Arnés de evaluación: evaluaciones de unidades (¿la extracción alcanza F1 ≥ umbral?) + evaluaciones de escenarios (tareas de un extremo a otro con rúbricas comerciales). Mantenga los conjuntos dorados pequeños pero seleccionados; actualizar mensualmente.
Human-in-the-loop: defina los niveles de aprobación: automático, revisión rápida, revisión de expertos. Mostrar diferencias en lugar de documentos completos y exigir una justificación de una línea para las anulaciones; escríbalo nuevamente al KG.
Control de cambios: avisos/políticas de versión; enviar detrás de banderas destacadas; habilite la reversión con un solo clic y las notificaciones.

Ejemplo/Cómo hacerlo (diseño directo)

• Niveles:
  • auto: puntuación ≥0,85, riesgo bajo.
  • fast_review: 0,70-0,85 o riesgo medio.
  • expert_review: <0,70 o término de alto riesgo detectado.
• Métricas a seguir: correcciones por artefacto, tiempo de aceptación, tasa de reversión y "no revisado pero publicado" (debe ser ~0).
• Libro de estrategias: en caso de caída en la puntuación de evaluación o aumento en las reversiones → congelar nuevas publicaciones, cambiar a aviso conservador, alertar a los propietarios, abrir notas de incidentes.

Próximos pasos

• Asigne un flujo de trabajo a cuatro pasos; agregue evaluaciones para dos pasos esta semana.
• Introducir niveles HITL y ofrecer una interfaz de usuario de revisión basada en diferencias.
• Agregar reversión y alertas; Ejecute un taladro de mesa.
• ¿Quieres una lista de verificación de gobernanza + un ejemplo de conjunto de oro? Descargue el paquete o programe una revisión.