Combinación y combinación de modelos múltiples: ruta por costo, latencia y política

La ruleta modelo es cara. La solución no es “elegir el más grande”; es enrutamiento por trabajo con barandillas.

Por qué esto importa ahora

Diferentes tareas tienen diferentes SLO y riesgos. ¿Resumiendo un breve correo electrónico? Barato y rápido está bien. ¿Redactar un anuncio externo con lenguaje legal? Requieren calidad y linaje. Un plano de control que comprende costo, latencia, política y calidad le permite utilizar modelos pequeños para el trabajo rutinario, avanzar en tareas de alto riesgo y realizar conmutación por error en caso de errores, sin sorpresas.

Cómo pensar en el enrutamiento

Establezca SLO por tarea (p. ej., latencia de p95 <2,5 s, evaluación mínima 0,72). Defina política (residencia en la UE, lista de proveedores permitidos, manejo de PII). Agregue un pequeño evaluador que califique los resultados según una rúbrica para la tarea; bloquear o escalar si no pasan. Luego codifique todo eso en un archivo de política simple que el enrutador lee en tiempo de ejecución. Trate los modelos como motores enchufables detrás de esas reglas.

Ejemplo/Cómo hacerlo (política + evaluador)

Política YAML (inicial):```yaml task: "create_linkedin_post" slo: { p95_latency_ms: 2500, min_eval: 0.72 } policy: residency: "EU" providers_allow: ["openai-eu", "azure-eu", "local"] pii: "mask" route:

• when: "tokens<2000" model: "mini-fast"
• when: "eval<0.72" failover: "pro-accurate"
• when: "provider_error || policy_violation" failover: "backup-compliant"

**Pequeño evaluador (patrón):**  
- Conjunto dorado (20–50 ejemplares).  
- Rúbrica de puntuación → estructura, coincidencia de tonos, comprobación de alucinaciones.  
- Umbrales por tarea: `publish` / `needs_review` / `block`.  
- Deriva: promedio móvil vs. la semana pasada; alerta si >Δ.

**Patrones de conmutación por error:**  
- **Evaluación de sombras:** ejecuta mini + pro en 1 de cada N tareas; utilice delta para ajustar los umbrales.  
- **Semántica de reintento:** en caso de errores de tiempo de espera/política, cambio automático al proveedor compatible.  
- **Revertir:** las alertas posteriores a la publicación vuelven al último artefacto aprobado.

### Próximos pasos
- Elija **tres tareas** para enrutar (resumir, redactar un borrador, extraer entidades).  
- Escriba la **política YAML** y conecte un evaluador de 50 ejemplos.  
- Agregue registros (modelo, latencia, tokens, evaluación) y revise semanalmente para ajustar los umbrales.  
- ¿Quieres un arnés de evaluación de copiar y pegar? Coge el kit de inicio o reserva una sesión de trabajo.