XTRACTIS POUR LA CYBERSÉCURITÉ

Détection et identification d’intrusion sur un réseau informatique

Benchmark versus forêts aléatoires & boosted trees

Résultats par xtractis® Generate 11.3.39380. Date induction des modèles : 10/2021
Première version Use-Case : 10/2018 - Version courante : 11/2021 (v2.0)

Cette étude a pour objectif de créer des modèles de détection d’une intrusion sur un réseau informatique militaire. Elle illustre la capacité de l’IA de Confiance xtractis à induire automatiquement des connaissances sous forme de relations mathématiques prédictives et intelligibles, à partir d’un historique de logs sur un réseau. En matière de sécurité informatique, la moindre intrusion peut s’avérer fatale au système, il est donc nécessaire d’approcher le modèle parfait.

Au final, xtractis génère un modèle de classification binomiale composé de 60 règles décisionnelles utilisant 27 prédicteurs parmi les 41 potentiels, et prédit un diagnostic réseau pour l’infinité des cas de logs dans l’espace de décision, avec une fiabilité éprouvée.

Les avantages : 
  • aider un service informatique à prendre une décision plus précoce et plus caractérisée accélérant la mise en place du traitement adéquat, grâce à des diagnostics rapides et systématiques ;
  • éviter un grand nombre d’alertes inutiles ;
  • comprendre la logique sous-jacente de l’attaque afin d’envisager des mesures pour contrecarrer de futures attaques dérivées de celles qui ont été détectées.

Sommaire

Type de Modélisation et Données de référence

Modèle de Classification Binomiale (2 états) : il s’agit de détecter si le log est NORMAL (0) ou si le réseau subit une intrusion ATTACK (1).

Un second modèle de classification multinomiale permettra de qualifier le type d’attaque parmi les 4 types d’attaque répertoriés (DOS, PROBE, U2R, R2L) et fera l’objet d’une extension de ce use-case.

Les données sont issues de l’observation des 215 590 connexions sur le réseau informatique militaire de l’US Air Force, et la qualification de ces connexions en tant qu’activité normale ou en tant qu’intrusion. Chaque log est caractérisé par 41 prédicteurs potentiels et la classe à laquelle il appartient.

Dimension des données : 215 590 cas de référence (doublons retirés pour éviter l’overfitting), partitionnés en 152 444 cas (71%) pour l’apprentissage (base LD), et 63 146 (29%) pour le testing externe (base ETD). 

La base LD comporte 39.89% de cas d’intrusion et la base ETD en comporte 30.29%.

Données : Cyber Systems  and Technology group of MIT Lincoln Laboratory, DARPA ITO, Air Force Research Laboratory  [UCI Machine Learning Repository].

Processus xtractis d'induction automatique

1. Grâce à leur intelligence collective et évolutive, les robots xtractis GENERATE explorent 300 stratégies différentes de raisonnement inductif parmi leur famille infinie d’algorithmes propriétaires d’induction floue (100 stratégies d’induction x 3 opérateurs d’agrégation).

2. Les performances prédictives sont estimées grâce à une validation croisée à 40 partitionnements exclusifs de 5 folds. Pour chaque partitionnement, le robot xtractis utilise 4 folds (soit 80% des cas) pour le training et le dernier (20% des cas) pour la validation. Chaque stratégie explorée est ainsi appliquée sur les 200 ensembles de training pour induire 200 modèles unitaires, appelés Experts Virtuels Individuels (IVE). L’ensemble de ces 200 IVE forme un Collège d’Experts Virtuels (CVE). Pour chaque cas de training (resp. validation), le robot xtractis agrège les 200 prédictions issues des IVE via l’opérateur d’agrégation de la stratégie pour former la décision du CVE. Les prédictions du CVE réalisées sur les cas de training (resp. validation) estiment sa performance descriptive (resp. prédictive). Les prédictions du CVE réalisées sur les cas de testing externe permettent de constater sa performance réelle.

3. Parmi les 300 CVE induits par les robots GENERATE, l’utilisateur sélectionne le top-CVE, c’est-à-dire le modèle ayant la meilleure performance prédictive, tout en vérifiant que cette performance reste proche de sa performance descriptive. Ces performances sont ensuite confirmées par la performance réelle constatée. À performances prédictives similaires, l’utilisateur privilégiera le CVE le moins complexe (c’est-à-dire celui ayant le moins de prédicteurs, le moins de classes floues qualifiant les prédicteurs et le moins de règles). L’étape de validation croisée, bien que gourmande en temps de calculs, garantit la performance prédictive du CVE sélectionné.

4. Un modèle intelligible REV est enfin obtenu grâce au processus xtractis de rétro-ingénierie inductive du CVE, assurant un niveau prédictif équivalent à celui du CVE. Ce REV, qui est en fait un top-IVE, sera utilisé par la suite pour déduire automatiquement et en temps réel le diagnostic réseau de chaque nouveau log.

 

Top-CVE : Modèle complexe, mais garantissant la capacité prédictive

L’utilisateur sélectionne la meilleure stratégie d’induction parmi les 300 explorées, pour obtenir le top-CVE : le diagnostic prédictif du top-CVE résulte des 200 diagnostics individuels agrégés par une décision à la Majorité Simple.

Ce CVE est défini par un ensemble de 200 IVE totalisant 7 014 règles conjonctives SI…ALORS à logique continue et calcule ses prédictions en fonction des valeurs de 40 descripteurs. Des IVE distincts du CVE peuvent partager les mêmes connaissances (règles similaires). Chaque règle floue utilise quelques descripteurs pour définir une équation floue non-linéaire (Relation Floue d’ordre N) reliant la prédiction aux prédicteurs sélectionnés par la stratégie d’induction. Plus (resp. moins) le nombre de prédicteurs d’une règle est élevé, plus la règle est spécifique (resp. générique).

Pour chaque nouveau log, le top-CVE permettra ainsi de diagnostiquer, automatiquement et de manière efficiente, une intrusion réseau, par inférence floue déductive des règles idoines.

Performances du top-CVE

Xtractis calcule de nombreuses métriques pour évaluer les performances de chaque stratégie inductive. Pour ce problème de classification, le F1-Score pilote l’induction des modèles (sur les cas de training) et la sélection du meilleur CVE (sur les cas de validation). Les cas de testing externe ne sont utilisés que pour constater la performance réelle du CVE.

Performances du top-CVE

Le top-CVE atteint une performance quasi parfaite en training (F1-Score = 99.57%), en validation (F1 Score = 99.55%) et en testing externe (F1-Score = 99.39%). La proximité des valeurs de chaque métrique en validation et en testing démontre l’efficience prédictive du CVE.

La sensibilité de 99.36% et la spécificité de 99.75% en testing nous indiquent que le modèle détecte la quasi-totalité des intrusions et quasiment sans déclencher de fausses alarmes. Selon le principe de précaution, les experts humains ont tendance à privilégier la Sensitivité au détriment de la Spécificité, d’où un grand nombre d’alertes inutiles. En situations opérationnelles, la confiance dans ce système décisionnel prédictif est validée par les très hautes valeurs du PPV et NPV : lorsque l’on demande au modèle d’évaluer un nouveau log de testing, le PPV de 99.43% nous indique qu’il a quasiment toujours raison lorsqu’il a prédit ATTACK. Le NPV de 99.71% en testing précise que le modèle a là aussi quasiment toujours raison lorsqu’il a prédit un cas NORMAL.

Les matrices de confusion détaillent les quatre résultats obtenus par le classifieur binomial. Ces matrices sont calculées pour chaque ensemble de cas (training, validation et testing) afin d’évaluer la qualité des prédictions pour des connexions connues ou inconnues.

Dans les cas de forte incertitude (forte extrapolation, zone non couverte, indécision entre 2 classes, absence de consensus des IVE du CVE, forte abstention des IVE du CVE…), le CVE peut refuser de prédire (Refusals), ce qu’il fait pour 3 cas de training, 20 cas de validation, et 2 cas de testing externe.

Descriptive perf. / Training
Real perf. / External Testing

Modèle intelligible par rétro-ingénierie du CVE

Le CVE pourrait être utilisé pour la déduction car il est performant et il peut expliquer pas à pas quelles règles il infère pour déduire sa décision. Toutefois, pour toute application critique telle qu’un diagnostic d’intrusion sur un réseau informatique, l’intelligibilité de la logique interne du modèle décisionnel est recommandée afin que l’expert·e métier puisse comprendre et valider les décisions du système, avant sa mise en production. Les 200 IVE et leurs 7 014 règles qui procèderont à la décision de groupe du CVE sont certes auditables, mais le nombre de règles étant important, ce travail sera fastidieux. Il est donc préférable de tenter de modéliser cette décision de groupe avec moins de règles et moins de prédicteurs. Au moyen d’un processus innovant de rétro-ingénierie inductive, xtractis réussit à convertir le modèle CVE, performant mais complexe, en un modèle IVE aussi performant mais très intelligible. 100 robots xtractis tentent de résoudre ce même problème de modélisation à partir d’un ensemble sur-échantillonné de 3 048 900 nouveaux cas, distincts des 152 444 cas originels et tous prédits par le CVE. Le nombre de cas étant important, un partitionnement unique (34% training, 33% validation, 33% testing) est suffisant pour obtenir des métriques fiables de performances.

L’utilisateur sélectionne le top-IVE, nommé REV : il s’agit du modèle unitaire ayant la meilleure performance prédictive parmi les 100 IVE générés.

Ce REV reproduit fidèlement le comportement prédictif du CVE originel. Il garantit aussi l’intelligibilité du système de décision, car il fait appel à beaucoup moins de prédicteurs et de règles que le CVE.

Modèle REV en construction (capture à la 14e stratégie d’induction)

Le REV a été induit par la 48e stratégie.

Le graphique dynamique ci-contre (état d’avancement capturé à la 14e stratégie) montre que les premiers robots GENERATE ont réussi à induire des modèles unitaires de plus en plus performants (dans la tolérance du taux de refus fixée à 2%) : la courbe bleue Best Validation croit, puis se stabilise à un F1-Score de 99.61% et 0.83% de refus.

Le 48e robot permettra d’induire l’IVE qui sera sélectionné comme REV : meilleur compromis Refusals / F1-Score en validation avec 0.17% / 99.52%.

En fonction des ressources disponibles, le modélisateur laissera xtractis faire son travail d’induction jusqu’au nième robot, pour s’assurer qu’aucun autre robot ne permettra d’améliorer significativement ce niveau de performance (dans cette étude, n=100).

Le double objectif contradictoire imposé aux robots xtractis GENERATE est d’abord de découvrir le modèle le plus prédictif, puis le plus intelligible.

Pour chaque nouvelle connexion, le REV prédira, automatiquement et de manière efficiente, le diagnostic réseau par inférence floue déductive des règles idoines.

Dans cette étude de cas, la structure du REV finalement sélectionné est composée de :

27 prédicteurs (parmi 40 prédicteurs utilisés par le CVE)

60 règles floues conjonctives (33 règles concluant à ATTACK, 16 à NORMAL et 11 nuancées, pointant sur les 2 conclusions à la fois avec des degrés différents), agrégées en 2 règles floues disjonctives

4 à 13 prédicteurs par règle ; en moyenne 8.3 prédicteurs par règle (σ = 2.2)

Performances du REV

Xtractis calcule de nombreuses métriques pour évaluer les performances de chaque stratégie inductive. Pour ce problème de classification, le F1-Score pilote l’optimisation des paramètres d’induction (sur les cas de training) et la sélection du REV (sur les cas de validation). Les cas de testing ne sont utilisés que pour constater la performance réelle du REV.

Le tableau ci-après résume les très bonnes performances réelles du REV : les 63 146 logs du testing externe sont presque parfaitement diagnostiqués par le classifieur. En outre, le REV décide lui aussi, comme le CVE, de décider pour certains logs, que ce soient pour les données d’apprentissage du REV, ou les données originales et de testing externe.

Performances du REV

Pour les données de testing externe, xtractis ajoute deux autres mesures de performance :

Performance Random : c’est la performance du 100e meilleur modèle aléatoire (meilleure sélection selon chaque critère et selon la P-value, parmi 100 000 modèles générés par permutation aléatoire des valeurs de sortie).

Best Constant Model : c’est la performance d’un modèle constant décidant toujours ou bien ATTACK ou bien NORMAL (meilleur modèle constant selon chaque critère).

Les performances du REV sont bien plus élevées que celles des modèles aléatoires ou des modèles constants, confirmant la qualité du raisonnement inductif du robot xtractis GENERATE ayant permis la découverte du REV.
 
Les matrices de confusion, détaillant les performances du REV calculées sur les cas de la base artificielle, démontrent la qualité du REV : il est capable de fidèlement synthétiser le comportement prédictif du CVE.
Descriptive perf. / Training
Predictive perf. / Validation
Real perf. / Testing

Les matrices de confusion détaillant les performances du REV, d’une part sur les 152 444 cas originels (cas maintenus inconnus lors de l’induction du REV), d’autre part sur les 63 146 cas de la base de testing externe, confirment la très bonne performance prédictive du REV : il est capable de diagnostiquer correctement des logs inconnus.

Real performance / Original Points
Real performance / External Testing

Intelligibilité et Explicabilité du diagnostic

Chacune des 60 règles floues conjonctives utilise de 4 à 13 prédicteurs pour définir une équation non-linéaire (relation floue d’ordre N). Son expression linguistique assure d’une part l’intelligibilité du modèle et d’autre part l’explicabilité de chaque décision prise par le modèle : en conséquence, ce modèle boîte-blanche peut être audité par l’expert·e métier et certifié par le régulateur.

Règle floue conjonctive n°13 du REV

L’ensemble de ces règles floues décisionnelles -et les coopérations potentielles entre ces règles- permet de modéliser, de façon performante, le phénomène complexe étudié. Cet ensemble fini et figé de règles permettra alors d’expliquer, de manière déterministe, l’infinité des cas possibles qui se présenteraient pour un diagnostic de la connexion au réseau. C’est pour cette raison que nous parlons de modèle intelligible : le REV est un modèle boîte-blanche composé exclusivement de connaissances accessibles à l’entendement humain. C’est aussi un modèle explicable : pour chaque cas, connu ou inconnu, xtractis édite automatiquement un rapport de prédiction, dans lequel il explique pas à pas le raisonnement flou déductif qu’il déploie (algorithme généralisé de Zalila) et les règles qu’il infère afin d’élaborer sa décision. En un mot, à chaque fois qu’on lui demande de justifier sa décision, xtractis développe une démonstration déductive, en sélectionnant les seules connaissances qui s’appliquent à ce cas particulier parmi les 60 règles préalablement induites, comme le ferait un expert informatique.

Capacité à gérer les variables nominales

Dans l’illustration de la règle 13 issue du modèle REV, nous pouvons observer l’utilisation de prédicteurs nominaux, définis par un certain nombre de valeurs modales. Dans cette base, le prédicteur « flag » est décrit par 11 modalités (OTH, REJ, RSTO, RSTOS0, RSTR, S0, S1, S2, S3, SF, SH). Lors de la construction du modèle, xtractis va créer des classes composées de ces modalités. Dans notre exemple, pour la règle 13, la classe est {SF, S1, RSTO, REJ, S2|0.471} : ainsi la règle s’activera seulement si la valeur du prédicteur flag est SF, S1, RSTO, REJ ou S2, et pas du tout pour les valeurs OTH, RSTOS0, RSTR, S0, S3 ou SH.

Exemple du LOG #V210_522

Supposons que l’on s’intéresse au log #V210_522 ; c’est un cas inconnu de testing externe, non inclus dans les ensembles de training et de validation. Pour effectuer le diagnostic, seuls sont nécessaires les valeurs des 27 prédicteurs du REV, ce qui permet de réduire la taille des fichiers à manipuler.

Ces valeurs sont utilisées pour calculer le degré de vérité de chaque prémisse élémentaire de chacune des 60 règles conjonctives du REV (degré d’appartenance à la classe floue correspondante). Ces degrés de vérité sont ensuite combinés par les opérateurs de logique floue retenus afin de calculer le degré de déclenchement de la règle floue correspondante.

Log inconnu # V210_522
Calcul des degrés de déclenchement des règles pour le Log inconnu #V210_522 : la Règle conjonctive 13 est activée avec un degré de 1.000
Diagnostic flou final du log #V210_522 : {NORMAL|0.904, ATTACK|0.119}

Toutes les règles conjonctives ayant la même conclusion combinent leur degré de déclenchement pour calculer la Possibilité de la prédiction partielle.

Dans le cas du log #V210_522, seules trois règles se déclenchent, les 57 autres ne sont pas activées.

{NORMAL|1.000, ATTACK|0.309}

Le diagnostic net final (plus haut degré de Possibilité) est: NORMAL

En réalité, l’ingénieur réseau avait de son côté bien confirmé un log autorisé pour le log #V210_522. Xtractis a donc émis le bon signalement, tout en justifiant son raisonnement déductif.

Bon à Savoir

Ressources du processus xtractis (induction + validation + déduction)

Sur le serveur HPC d’une puissance de 1 Tflops FP64 utilisé pour la génération du CVE dans cette étude, le processus complet xtractis (CVE+REV) aurait nécessité au total 12 jours de calculs : 6 jours de calculs CVE (dont 2 heures pour l’induction des premiers modèles), la plus grande partie du temps étant dédiée aux calculs des performances des CVE + 6 jours de calculs REV des 100 robots pour que le modélisateur puisse accéder au modèle intelligible finalement sélectionné. Sur un serveur 12 Tflops FP64, utilisé pour la génération du REV dans cette étude, le processus complet aurait duré environ 2 jours.

Le modèle est ensuite déployé au sein d’une application dédiée pour réaliser des prédictions sur de nouveaux cas inconnus grâce à xtractis® PREDICT. Étant frugale, l’inférence floue déductive du modèle peut aussi être réalisée par PREDICT EMBEDDED en temps réel et à haute fréquence (> 1 000 Hz) et ne nécessite qu’une ressource de calcul basique.

Grâce à son “Exocerveau” xtractis, un·e expert métier en réseau informatique pourrait ainsi améliorer la sécurité de son réseau en quelques jours, au lieu de quelques semaines voire mois, tout en dévoilant les stratégies offensives des attaquants. Et dans le domaine de la Cybersécurité, la réactivité est essentielle.

Benchmark xtractis versus Forêt Aléatoire et Boosted Trees

Grâce à leur capacité de modélisation non-linéaire, FA (Forêt Aléatoire), BT (Boosted Trees) et RdN (Réseau de Neurones) sont parmi les meilleurs challengers d’xtractis : ces approches d’Intelligence Artificielle sont performantes, BT étant la plus rapide. Toutefois, elles ne permettent pas d’obtenir de modèles intelligibles car les structures d’une FA, d’un BT et d’un RdN sont composées respectivement d’un ensemble d’arbres, d’une chaîne d’arbres et de couches neuronales successives. En conséquence, plus le processus à modéliser est complexe, plus le nombre d’arbres d’une FA sera élevé, plus la chaîne du BT sera longue et plus le RdN nécessitera de couches cachées interconnectées : très vite l’expert·e métier sera dans l’incapacité d’appréhender la logique interne des modèles. En outre, RdN crée des variables synthétiques (les nœuds des couches cachées) qui n’ont que peu, voire aucune, sémantique pour l’expert·e métier.

Compte tenu du long temps de modélisation des RdN, même en faisant appel à des cartes GPU, le benchmarking a été réalisé contre FA et BT (Python 3.6, RandomForest 2.2.2, BoostedTrees 2.2.2) et ce à deux niveaux : d’une part, au niveau des modèles CVE combinant les modèles unitaires IVE et d’autre part, au niveau des modèles unitaires finaux les plus intelligibles.

1 – xtractis  versus  Forêt aléatoire

Nous avons exploré 150 stratégies FA distinctes, chacune étant validée en 40 x 5 folds. Chaque stratégie génère donc 200 IVE FA : on calcule le F1-score en validation pour chaque IVE FA, puis le F1-score moyen en validation pour chaque stratégie. La stratégie gagnante est celle qui maximise ce F1-score moyen. Cette stratégie est ensuite appliquée à l’intégralité des 152 444 cas d’apprentissage pour générer l’IVE FA final qui sera benchmarqué au REV xtractis. Dans cette étude, le top-IVE FA est un système décisionnel de 15 arbres en chaîne mobilisant 30 prédicteurs et définis par un total de 790 règles binaires, à comparer avec le REV xtractis à 27 prédicteurs et 60 règles floues sans chaînage.

Performances du REV versus les top-IVE FA
Les 200 IVE FA générés par la stratégie gagnante sont aussi combinés en un CVE FA grâce à un opérateur d’agrégation par vote majoritaire (chacun des IVE du modèle combiné FA disposant d’une voix sans possibilité de refus). Ce top-CVE FA est composé de 2 851 arbres, mobilisant 31 prédicteurs (sur les 41 à disposition) à travers 127 483 règles binaires.  Il peut ainsi être comparé au top-CVE xtractis à 40 prédicteurs et 7 014 règles floues.
Performances du top-CVE xtractis versus les top-CVE FA

2 – xtractis  versus  boosted trees

Nous avons exploré 120 stratégies BT distinctes, chacune étant validée en 40 x 5 folds. Chaque stratégie génère donc 200 IVE BT : on calcule le F1-score en validation pour chaque IVE BT, puis le F1-score moyen en validation pour chaque stratégie. La stratégie gagnante est celle qui maximise ce F1-score moyen. Cette stratégie est ensuite appliquée à l’intégralité des 152 444 cas d’apprentissage pour générer l’IVE BT final qui sera benchmarqué au REV xtractis. Dans cette étude, le top-IVE BT est un système décisionnel de 103 arbres chaînés mobilisant 31 prédicteurs et définis par un total de 8 185 règles binaires, à comparer avec le REV xtractis à 27 prédicteurs et 60 règles floues sans chaînage.

Performances du REV versus les top-IVE BT

Les 200 IVE BT générés par la stratégie gagnante sont aussi combinés en un CVE BT grâce à un opérateur d’agrégation par vote majoritaire (chacun des IVE du modèle combiné BT disposant d’une voix sans possibilité de refus). Ce top-CVE BT est composé de 18 837 arbres, mobilisant 32 prédicteurs (sur les 41 à disposition) à travers 1 293 487 règles binaires.  Il peut ainsi être comparé au top-CVE xtractis à 40 prédicteurs et 7014 règles floues.

Performances du top-CVE xtractis® versus les top-CVE BT

En outre, compte tenu du faible nombre de points d’apprentissage au regard du très grand nombre de dimensions à explorer, FA et BT montrent vite leurs limites en termes de performance prédictive : le top-CVE FA et le top-CVE BT commettent respectivement 0.89% et 0.66% d’erreur de diagnostic sur les logs inconnus du testing externe, contre 0.37% d’erreur pour le top-CVE xtractis, même si ce dernier refuse de prendre des décisions dans 2 cas. Il commet donc quasiment trois fois moins d’erreurs que le CVE FA et quasiment deux fois moins que le CVE BT. Le top-IVE FA et le top-IVE BT commettent respectivement 0.90% et 0.70% d’erreur sur les cas inconnus du testing externe, contre 0.60% d’erreur pour le REV xtractis, mais ce dernier mobilise 13 et 136 fois moins de règles (floues) que de règles binaires mobilisées par l’IVE FA et l’IVE BT. 

Complexité des modèles xtractis versus les modèles BT et FA

Conclusions

Xtractis réussit à débusquer 14 signaux forts et 13 signaux faibles parmi 41 signaux disponibles et à les combiner sous la forme de 60 règles décisionnelles pour prédire de manière efficiente et intelligible le diagnostic d’attaque réseau. Cette spécificité d’xtractis®, héritée de son approche inductive holistique et non-cartésienne, peut être mobilisée avantageusement pour l’explicitation de tout comportement malveillant, qu’il soit d’origine biologique (pathologies) ou d’origine humaine ou IA notamment dans les secteurs de la défense, de la sécurité et de la cybersécurité.

Avec un nombre de cas d’apprentissage important au regard de la dimensionnalité théorique du processus étudié, xtractis réussit à battre ses challengers FA et BT pourtant à l’aise pour modéliser les phénomènes décrits par un grand nombre d’enregistrements.

Le modèle unitaire REV est assez complexe (27 prédicteurs et 60 règles décisionnelles conjonctives), preuve que le processus sous-jacent n’est pas simple à résoudre. La complexité d’un Processus/Phénomène Complexe est intrinsèque et ne peut être réduite. Xtractis® aide à déterminer cette complexité sans a priori.

Le REV est aussi beaucoup moins complexe que le top-IVE FA et le top-IVE BT : respectivement 31 et 32 prédicteurs, et 790 et 8185 règles ! Chaque règle floue est ainsi capable de mieux modéliser qu’un ensemble d’au moins 13 règles binaires !

À ce jour, l’IA Floue Augmentée xtractis est l’une des très rares techniques d’IA -si ce n’est la seule- capables d’induire des modèles à la fois prédictifs et intelligibles, même pour les processus complexes caractérisés par un faible nombre de cas de référence, comme c’était le cas dans cette étude. Xtractis® définit ainsi une IA de Confiance, vérifiant d’ores et déjà toutes les exigences du règlement européen publié le 21/4/2021 et qui régira le déploiement des applications IA critiques.

Ses trois challengers non-linéaires (forêt aléatoire, boosted trees, réseau de neurones) ne sont pas intelligibles : ils proposent certes une explicabilité a posteriori sur des cas particuliers, par approximation linéaire locale (Lime, Shap). Toutefois, cette approche nous paraît totalement insuffisante : d’une part, l’approximation de la fonction non-linéaire cachée du modèle boîte-noire par une fonction linéaire induirait des biais dans la prise de décision ; d’autre part, elle nécessiterait la validation d’une infinité d’équations linéaires pour valider le comportement du modèle non-linéaire boîte-noire sur l’intégralité de l’espace de fonctionnement. Ce qui est matériellement impossible à réaliser !

A contrario, xtractis induit d’abord un nombre fini de règles floues qu’il utilisera par la suite pour prédire, de manière déterministe et rationnelle, l’infinité des cas auquel il ferait face en situations réelles.

En outre, il est aisé de démontrer la stabilité formelle d’un système de régression à base de règles floues ; ainsi, sur l’espace infini de fonctionnement :

1/ Toute prédiction sera incluse dans un intervalle borné déterminé à l’avance à partir de la structure des règles.

2/ Toute variation infinitésimale d’un prédicteur entraînera une variation graduelle de la prédiction, calculée par le schéma d’inférence floue déductive. Mais quand cela est nécessaire, xtractis sera capable de modéliser les fortes non-linéarités intrinsèques au processus étudié.

Le respect de ces propriétés mathématiques est primordial pour le développement et le déploiement d’applications critiques, en particulier celles liées au contrôle/commande de systèmes dynamiques (engins autonomes).

Pourquoi l’IA est-elle nécessaire en Cybersécurité ?
et particulièrement xtractis ?

À l’heure actuelle, la plupart des solutions de cybersécurité se fondent sur des règles expertes modélisant l’expertise d’ingénieurs qualifiés. C’est l’approche classique des systèmes experts des années 70 qui est donc employée pour la conception de tels systèmes. Toutefois, les études de psychologie cognitive démontrent depuis les années 50 que le raisonnement humain conscient est limité à au plus 9 critères en simultané ; de ce fait, il ne pourra concevoir de règles décisionnelles mettant en jeu des dizaines voire des centaines de variables en interaction pour modéliser des comportements malveillants complexes (signaux faibles). En conséquence, de tels systèmes de cybersécurité seront dans le meilleur des cas sous-optimaux.

Afin de parer aux multiples cybermenaces orientées aussi bien vers le vol de données que le dysfonctionnement volontaire d’industries stratégiques (hôpitaux, réseaux d’énergie dont les centrales nucléaires, banques, assurances, avions, véhicules autonomes…), il devient nécessaire de faire appel à des IA capables de découvrir seules les comportements malveillants. À terme, ce sont des IA qui lanceront des attaques et assureront la défense cybersécuritaire. L’IA permettra de combler la pénurie mondiale d’ingénieurs sécurité, aussi bien en nombre qu’en niveau de qualification.

À partir d’un ensemble de logs, xtractis est capable de déterminer le comportement de l’attaquant (grâce au raisonnement inductif d’xtractis GENERATE) : ce modèle à base de règles floues explique de manière intelligible les relations causales correspondant à un certain type d’attaque ou à un comportement nominal. Les comportements seront généralement différents selon la nationalité de l’attaquant. Ce modèle robuste d’attaquant virtuel est immédiatement exploité en défensif pour détecter en temps réel, si un log correspond à tel type d’attaque ou à un comportement nominal (et ceci grâce au raisonnement déductif d’xtractis PREDICT).

Lorsque l’attaquant détecte qu’il est repéré par le système défensif, il change son comportement pour tenter de nouvelles pénétrations. xtractis MONITOR pourra alors alerter sur l’augmentation de comportements anormaux et demander à GENERATE de relancer la découverte du nouveau comportement d’attaques, sans devoir passer plusieurs semaines ou mois de recherche.

L’attaquant aura toujours l’avantage s’il dispose de la même IA (généralement Open Source) que celle utilisée par le défenseur. C’est pour cette raison, qu’une IA efficiente et non publique telle xtractis procure un avantage important dans les domaines de la Défense, Sécurité et Cybersécurité.