Entrada determinista
El conjunto de prueba se congela con semilla fija y versión explícita. Temperatura, top-p y longitud máxima quedan registrados en el manifiesto. Cambiar un solo parámetro invalida la comparación con corridas anteriores.
Markdex / Protocolo de medición
Metodología de evaluación de sistemas de IA
Un sistema de IA se evalúa igual que una máquina: con entradas controladas, ciclos repetibles y una salida medible. El protocolo de Markdex fija el orden exacto de las operaciones —carga del conjunto de prueba, ejecución aislada, comparación contra umbrales y registro de la traza— para que dos evaluaciones del mismo modelo produzcan el mismo número.
- Repeticiones
- 30
- Muestras
- 5.000
- Ciclo
- 72 h
01 / Componentes del protocolo
Tres controles que sostienen la medición
Sin estos tres controles, cualquier cifra de precisión o latencia es una observación anecdótica. Se aplican en orden fijo y no se pueden reordenar.
Traza reproducible
Cada inferencia genera un identificador único junto al hash del modelo y del dataset. La traza permite reejecutar la misma petición y comparar la salida byte a byte. Es la base de la trazabilidad algorítmica documentada por el observatorio.
Umbrales de aceptación
Antes de la corrida se declaran los límites: latencia p95, tasa de falsos positivos y desviación frente a la línea base. El resultado es binario —pasa o no pasa— y no admite interpretación posterior.
02 / Ejecución en banco
Cómo se ejecuta la corrida
El banco de pruebas se levanta en un contenedor aislado sin acceso a red externa. Se cargan 5.000 muestras del conjunto congelado, se ejecutan 30 repeticiones por muestra y se descartan las dos primeras iteraciones para estabilizar cachés y asignación de memoria. A partir de la tercera repetición, las cifras se consideran estables.
Durante la ejecución se registran presión de memoria, tiempo de respuesta por token y tasa de errores de formato. Cualquier desviación superior al 5 % en el percentil 95 detiene el ciclo y devuelve el sistema a revisión, según el procedimiento descrito en auditoría y cumplimiento. Los ataques de inyección y envenenamiento se prueban en un banco separado, documentado en ciberseguridad en machine learning.
03 / Indicadores
Cuatro indicadores y su lectura
El informe final se construye con cuatro indicadores. Se reportan como valor absoluto y como desviación respecto a la línea base registrada en la evaluación anterior.
Latencia p95
840 ms
Tiempo de respuesta completo en el percentil 95. Por encima de 1.200 ms el sistema no pasa.
Falsos positivos
2,1 %
Casos clasificados de forma incorrecta sobre el total evaluado. Límite declarado: 3 %.
Deriva
+0,4 %
Variación de la salida frente a la corrida anterior con la misma entrada. Tolerancia: 1,5 %.
Cobertura
96,8 %
Muestras procesadas sin error de formato ni timeout sobre el lote completo de 5.000.
04 / Ciclo de reporte
Secuencia de cuatro fases
El ciclo se ejecuta cada 72 horas sobre los modelos en producción. Cada fase cierra con un artefacto firmado que alimenta la siguiente.
- FASE 01
Congelado del conjunto
Se seleccionan las muestras, se fija la semilla y se publica el manifiesto con parámetros de inferencia. Sin manifiesto no hay corrida válida.
- FASE 02
Ejecución y captura
El banco procesa el lote y almacena salidas, tiempos y consumo de memoria. Los datos crudos se conservan sin agregación.
- FASE 03
Contraste con umbrales
Se comparan los cuatro indicadores contra los límites declarados. El sistema obtiene un resultado binario: aprobado o detenido.
- FASE 04
Emisión del informe
El informe recoge trazas, indicadores y desviaciones frente al ciclo previo. Se archiva junto al expediente de ISO/IEC 42001.