Plataforma · Capa 04
Evals desde el día uno, auditoría en cada acción.
Un agente que no puedes medir es un pasivo con una interfaz bonita. Los evals aprueban cada release, se vigila el drift y cada acción deja rastro.
Componentes
Qué corre en esta capa.
- 96%Precisión de resolución
- 99%Cumplimiento de política
- 94%Tono y lenguaje
- 100%Enmascarado de PII
- 91%Tiempo de escalamiento
- 97%Costo por ejecución
Commitment gate
KPI 60% acordado · 63.8% medido · sin drift en 14 días
DaCodes Evals · LangSmith · reporte semanal de calidad
07 componentes en esta capa
- En producción× 6
- Arquitectura de referencia× 1
Framework DaCodes Evals
Sin corrida aprobada no hay piloto. Escritos con tu equipo.
LangSmith y Braintrust
Tracing en tu cuenta, datasets en tu repo.
Guardrails y PII masking
Límites de tema y enmascaramiento antes de que un modelo vea algo.
Audit trail
Cada llamada a tool, decisión, aprobación y versión de modelo.
Controles de costo
Límites de tokens, presupuestos mensuales y alertas en tu umbral.
Detección de drift
Corridas programadas sobre muestras de producción. Una caída avisa a una persona.
Mapeo a ISO 42001
Controles mapeados. ISO 27001 es la vigente hoy.
En producción: Un cliente real, o DaCodes mismo etiquetado como uso interno, con un KPI medido en el Proof Ledger.
Controles de operación
Diez controles, activos por defecto.
Ninguno es un extra. Salen con el primer piloto y se quedan encendidos.
KPI Contract
90d
Resolución autónoma, Tier 1
28.0%
Costo por ticket
$0.74
$5.20 → $0.74
Evals · última corrida
96.2%
312 · aprobados
Gasto del mes
$2,140
alerta en $3,000
Aprobaciones pendientes
2
Audit log
- 09:44ticket #48213 resuelto · política de reembolso · 1.9 s
- 09:43#48219 escalado a humano · sentimiento bajo
- 09:42lote de evals 312 · 96.2% aprobados · sin drift
- 09:41factura INV-77120 registrada en SAP · 3 campos verificados
Datos de demo. Agent Console v0.1, sep 2026.
Loop de evals
Definir, correr, aprobar, monitorear, reentrenar.
El loop que decide si un cambio sale y si un agente sigue en producción.
- 01
Definir
- set de evals
- v14 · 312 casos
- umbral
- ≥ 95.0%
Set de evals y umbrales acordados en el discovery.
- 02
Correr
casos calificados312 / 312Cada cambio de prompt, tool o modelo corre el set.
- 03
Aprobar
96.2%Aprobado · salevs umbral de 95.0%
v13 · 93.4% · bloqueado
Por debajo del umbral, nada sale.
- 05
Reentrenar
+18 casos
de las fallas de la semana 6
set 312 → 330
Las fallas se vuelven casos nuevos y ajustes de prompt.
- 04
Monitorear
muestras de producción, semanal
semana 6 · drift · aviso a ops
Muestras de producción calificadas de forma programada; el drift avisa a una persona.
De vuelta a definir → 01
Mapeo regulatorio
Construido para ser auditado.
Lo que tenemos, lo que hemos mapeado y lo que está en el roadmap.
ISO/IEC 27001:2022
VigenteSeguridad de la información, certificada en diciembre de 2025.
NIST AI RMF
MapeadoMapeadas a los controles de arriba.
ISO/IEC 42001
RoadmapControles mapeados, certificación aún no obtenida.
LFPDPPP
MéxicoConsentimiento, derechos ARCO y avisos de privacidad en cada canal.
GDPR
Cuando aplicaBase legal, minimización y residencia en la UE.
Certificados y documentos de mapeo disponibles bajo NDA. Revisado en sep 2026.
Preguntas
Lo que preguntan los arquitectos.
Habla con un arquitecto
45 minutos con quienes operan la plataforma. Sin slides.
Te contestamos en menos de un día hábil.