La cybersécurité souveraine, à la portée de tousCybersécurité souveraine pour tousIA SOC sur vos serveurs · édition gratuite Demander une démoDémo

Méthode de mesure

Comment nous mesurons, et avec quelles limites.

Les conditions de mesure, les résultats et leurs limites, présentés tels qu'ils sont.

Les conditions

Deux jeux d'alertes, deux rôles

Chaque alerte reçoit un verdict, bruit ou attaque. Il est comparé à une réponse attendue, fixée avant la mesure et jamais montrée au modèle.

Sur demande

Le jeu de réglage, 60 alertes

30 alertes de bruit et 30 d'attaques, rédigées à la main. Ce jeu a servi à mettre le modèle au point : il ne mesure donc pas sa performance. Nous vous le transmettons sur demande, pour refaire la mesure.

Demander le jeu de 60 alertes →
Réservé au contrôle

Le jeu de contrôle, 320 alertes

160 alertes de bruit et 160 d'attaques, jamais utilisées pour l'apprentissage. Les résultats publiés reposent sur ce jeu. Il n'est pas diffusé, afin de conserver sa valeur de contrôle, et peut être rejoué devant vous en démonstration.

Demander une démonstration →

Les règles

Six règles, appliquées à chaque mesure

  • Un seul passage par alerte, sans second essai.
  • Une réponse illisible est comptée comme une erreur.
  • Le modèle et le prompt sont identifiés par leur empreinte dans chaque rapport.
  • Le modèle répond à température zéro, pour limiter la variabilité d'une mesure à l'autre.
  • Chaque pourcentage est accompagné des nombres d'alertes dont il est tiré.
  • Toutes les mesures complètes sont rapportées, y compris les moins favorables.

Les résultats

Résultats sur le jeu de contrôle

Édition Entreprise, modèle affiné du 30 septembre 2026, 320 alertes.

MesureMatérielVerdicts justes
13 octobre 2026processeur86,9 %
10 novembre 2026carte graphique87,8 %

Détail de la mesure du 10 novembre : 144 bruits reconnus sur 160, 137 attaques escaladées sur 160, 23 attaques jugées bruit par le modèle seul, 16 bruits escaladés à tort, aucune réponse illisible, 2,3 s par alerte en médiane.

La mesure a droit de veto sur le modèle. Deux affinages réalisés depuis le 30 septembre ont été évalués sur le même jeu (81,6 %, puis 82,2 à 85,3 %). Leurs résultats n'étant pas supérieurs à ceux de la version de référence, ils n'ont pas été retenus. La version du 30 septembre reste notre référence.

Les limites

Ce que ces résultats ne disent pas

  • Ces alertes ont été rédigées par nos soins. Elles ne reproduisent pas votre flux : sur vos propres alertes, le résultat peut différer. C'est pourquoi la mesure peut être refaite chez vous.
  • Sur 320 alertes, une alerte représente 0,3 point. Un écart inférieur n'est pas significatif.
  • Ces résultats décrivent les performances observées dans les conditions du protocole. Ils ne constituent pas une garantie d'absence d'erreur en situation réelle.

Ce site dépose des cookies. Les cookies techniques sont nécessaires au fonctionnement et restent toujours actifs. Les cookies fonctionnels et de mesure d’audience attendent votre accord.

Personnaliser