Méthode de mesure
Comment nous mesurons, et avec quelles limites.
Les conditions de mesure, les résultats et leurs limites, présentés tels qu'ils sont.
Les conditions
Deux jeux d'alertes, deux rôles
Chaque alerte reçoit un verdict, bruit ou attaque. Il est comparé à une réponse attendue, fixée avant la mesure et jamais montrée au modèle.
Le jeu de réglage, 60 alertes
30 alertes de bruit et 30 d'attaques, rédigées à la main. Ce jeu a servi à mettre le modèle au point : il ne mesure donc pas sa performance. Nous vous le transmettons sur demande, pour refaire la mesure.
Demander le jeu de 60 alertes →Le jeu de contrôle, 320 alertes
160 alertes de bruit et 160 d'attaques, jamais utilisées pour l'apprentissage. Les résultats publiés reposent sur ce jeu. Il n'est pas diffusé, afin de conserver sa valeur de contrôle, et peut être rejoué devant vous en démonstration.
Demander une démonstration →Les règles
Six règles, appliquées à chaque mesure
- Un seul passage par alerte, sans second essai.
- Une réponse illisible est comptée comme une erreur.
- Le modèle et le prompt sont identifiés par leur empreinte dans chaque rapport.
- Le modèle répond à température zéro, pour limiter la variabilité d'une mesure à l'autre.
- Chaque pourcentage est accompagné des nombres d'alertes dont il est tiré.
- Toutes les mesures complètes sont rapportées, y compris les moins favorables.
Les résultats
Résultats sur le jeu de contrôle
Édition Entreprise, modèle affiné du 30 septembre 2026, 320 alertes.
| Mesure | Matériel | Verdicts justes |
|---|---|---|
| 13 octobre 2026 | processeur | 86,9 % |
| 10 novembre 2026 | carte graphique | 87,8 % |
Détail de la mesure du 10 novembre : 144 bruits reconnus sur 160, 137 attaques escaladées sur 160, 23 attaques jugées bruit par le modèle seul, 16 bruits escaladés à tort, aucune réponse illisible, 2,3 s par alerte en médiane.
La mesure a droit de veto sur le modèle. Deux affinages réalisés depuis le 30 septembre ont été évalués sur le même jeu (81,6 %, puis 82,2 à 85,3 %). Leurs résultats n'étant pas supérieurs à ceux de la version de référence, ils n'ont pas été retenus. La version du 30 septembre reste notre référence.
Les limites
Ce que ces résultats ne disent pas
- Ces alertes ont été rédigées par nos soins. Elles ne reproduisent pas votre flux : sur vos propres alertes, le résultat peut différer. C'est pourquoi la mesure peut être refaite chez vous.
- Sur 320 alertes, une alerte représente 0,3 point. Un écart inférieur n'est pas significatif.
- Ces résultats décrivent les performances observées dans les conditions du protocole. Ils ne constituent pas une garantie d'absence d'erreur en situation réelle.