Método de medición
Cómo medimos, y con qué límites.
Las condiciones de medición, los resultados y sus límites, presentados tal como son.
Las condiciones
Dos conjuntos de alertas, dos funciones
Cada alerta recibe un veredicto, ruido o ataque. Se compara con una respuesta esperada, fijada antes de la medición y nunca mostrada al modelo.
El conjunto de ajuste, 60 alertas
30 alertas de ruido y 30 de ataques, redactadas a mano. Este conjunto sirvió para poner a punto el modelo: por tanto, no mide su rendimiento. Se lo enviamos previa solicitud, para repetir la medición.
Solicitar el conjunto de 60 alertas →El conjunto de control, 320 alertas
160 alertas de ruido y 160 de ataques, nunca utilizadas para el aprendizaje. Los resultados publicados se basan en este conjunto. No se difunde, para conservar su valor de control, y puede volver a ejecutarse ante usted en una demostración.
Solicitar una demostración →Las reglas
Seis reglas, aplicadas en cada medición
- Una sola pasada por alerta, sin segundo intento.
- Una respuesta ilegible se cuenta como un error.
- El modelo y el prompt se identifican por su huella en cada informe.
- El modelo responde a temperatura cero, para limitar la variabilidad de una medición a otra.
- Cada porcentaje va acompañado de los números de alertas de los que procede.
- Se comunican todas las mediciones completas, incluidas las menos favorables.
Los resultados
Resultados sobre el conjunto de control
Edición Empresa, modelo reafinado el 30 de septiembre de 2026, 320 alertas.
| Medición | Equipo | Veredictos correctos |
|---|---|---|
| 13 de octubre de 2026 | procesador | 86,9 % |
| 10 de noviembre de 2026 | tarjeta gráfica | 87,8 % |
Detalle de la medición del 10 de noviembre: 144 ruidos reconocidos de 160, 137 ataques escalados de 160, 23 ataques juzgados como ruido por el modelo por sí solo, 16 ruidos escalados sin motivo, ninguna respuesta ilegible, 2,3 s por alerta de mediana.
La medición tiene derecho de veto sobre el modelo. Dos reafinados realizados desde el 30 de septiembre se evaluaron sobre el mismo conjunto (81,6 %, y luego de 82,2 a 85,3 %). Como sus resultados no superaban los de la versión de referencia, no se adoptaron. La versión del 30 de septiembre sigue siendo nuestra referencia.
Los límites
Lo que estos resultados no dicen
- Estas alertas las hemos redactado nosotros. No reproducen su flujo: con sus propias alertas, el resultado puede diferir. Por eso la medición puede repetirse en su entorno.
- Sobre 320 alertas, una alerta representa 0,3 puntos. Una diferencia menor no es significativa.
- Estos resultados describen el rendimiento observado en las condiciones del protocolo. No constituyen una garantía de ausencia de error en situación real.