use case - industry 4.0 [maintenance]

Prédiction de la dégradation fonctionnelle d'un groupe de propulsion navale

Benchmark versus forêts aléatoires, boosted trees & réseaux de neurones

upd 2021.06 v3.4 - Résultats par xtractis® Generate 11.2.38415

Cette étude illustre la capacité de l’IA de Confiance xtractis à induire automatiquement des connaissances sous forme de relations mathématiques prédictives et intelligibles pour modéliser un phénomène très complexe. L’objectif est de prédire la dégradation fonctionnelle du compresseur d’un groupe de propulsion navale, à partir de mesures sur la turbine à gaz en état stable obtenues par simulation numérique de frégate. 

Au final, xtractis confirme la très grande complexité du phénomène étudié, génère un modèle de régression qui utilise 12 prédicteurs parmi les 14 potentiels, et prédit un état de dégradation, pour l’infinité des points de l’espace de décision, grâce à 306 règles décisionnelles avec une fiabilité éprouvée.

Les avantages : des actions de maintenance prédictives, spécifiques à chaque turbine, grâce à des diagnostics rapides et systématiques, permettant ainsi d’éviter des avaries critiques.

Sommaire

Type de Modélisation et Données de référence

Modèle de Régression : il s’agit de prédire le coefficient de l’état de dégradation du compresseur de la turbine à gaz (Gas Turbine Compressor Decay State Coefficient) qui varie dans [0.95 ; 1]. Un coefficient de 0.96 signifie que le compresseur a subi une dégradation de 4 points de pourcentage. Un coefficient de 1 indique un compresseur en excellent état de fonctionnement.

Les données sont issues d’une simulation numérique d’une turbine à gaz de frégate.

Dimension des données : 11 934 points de simulation numérique ; chaque point de référence est caractérisé par 14 mesures sur la turbine du système de propulsion définissant les prédicteurs potentiels et le coefficient associé d’état de dégradation du compresseur.

Données : DITEN / DIBRIS Departments of the University of Genova, Genoa.
Source : http://archive.ics.uci.edu/ml (2014)

Processus xtractis d'induction automatique

1. Grâce à leur intelligence collective et évolutive, les robots xtractis GENERATE explorent 300 stratégies différentes de raisonnement inductif parmi leur famille infinie d’algorithmes propriétaires d’induction floue.

2. Compte tenu du nombre suffisamment élevé de cas d’apprentissage de cette étude, une validation croisée à partitionnement unique 70/15/15% paraît suffisante : pour chaque stratégie explorée, le robot xtractis utilise les 70% des cas du training pour induire un modèle et évaluer sa performance descriptive. Il utilise les 15% des cas de validation pour estimer la performance prédictive du modèle induit. Il fait appel aux 15% des cas de testing pour constater la performance réelle du modèle.

3. L’utilisateur sélectionne le top-IVE (Individual Virtual Expert), c’est-à-dire celui avec la meilleure performance prédictive, tout en vérifiant que cette performance reste proche de sa performance descriptive. Ces performances sont ensuite confirmées par la performance réelle constatée. À performances prédictives similaires, l’utilisateur privilégiera l’IVE le moins complexe (c’est-à-dire celui ayant le moins de prédicteurs par règle, le moins de classes qualifiant les prédicteurs et le moins de règles), donc le plus intelligible. Le top-IVE sera utilisé par la suite pour déduire automatiquement le coefficient de dégradation pour chaque nouveau cas de mesures sur la turbine.

Top-IVE : Meilleur modèle prédictif et intelligible

Le top-IVE retenu totalise 306 règles conjonctives SI…ALORS à logique continue et calcule ses prédictions en fonction de 12 mesures sur turbine du système de propulsion. Chaque règle floue utilise quelques mesures pour définir une équation floue non-linéaire (Relation Floue d’ordre N) reliant la variable prédite aux prédicteurs sélectionnés par la stratégie d’induction. Plus (resp. moins) le nombre de prédicteurs d’une règle est élevé, plus la règle est spécifique (resp. générique). Les non-linéarités et pics apparaissant sur les quelques coupes de l’hyper-surface de décision prouvent la complexité du processus mécanique étudié.

Surface de Décision : point 4632 (coupe selon gas turbine shaft torque & gas generator rate of revolutions)
Surface de Décision : point 9749 (coupe selon gas turbine injection control & GT compressor outlet air temperature)
Surface de Décision : point 1783 (coupe selon GT compressor outlet air temperature & gas generator rate of revolutions)
Surface de Décision : point 9740 (coupe selon gas turbine rate of revolution & GT compressor outlet air temperature)

Pour chaque nouveau cas, le top-IVE permettra de prédire, automatiquement et de manière efficiente, l’état de dégradation du compresseur, par inférence floue déductive des règles idoines.

Dans cette étude, la structure du top-IVE est composée de :

• 12 prédicteurs (parmi 14 mesures)

• 306 règles floues conjonctives, agrégées en 38 règles floues disjonctives

• 2 à 11 prédicteurs par règle ; en moyenne 3.6 prédicteurs par règle (σ =1.5).

Performances du top-IVE

Xtractis calcule de nombreuses métriques pour évaluer les performances de chaque stratégie inductive. Pour ce problème de régression, la RMSE pilote l’induction des modèles (sur les cas de training) et la sélection du meilleur IVE (sur les cas de validation). Les cas de testing ne sont utilisés que pour constater la performance réelle de l’IVE.

Performances de l’IVE

Le top-IVE atteint une très bonne performance en training avec une RMSE très faible, égale à 0.62% de l’étendue du domaine de définition, une performance équivalente en validation (RMSE = 0.61%) et une performance proche en testing (RMSE = 0.84%). Les valeurs des métriques en training confirment que le top-IVE est correctement descriptif. La proximité des valeurs de chaque métrique en validation et en testing démontre l’efficience prédictive de l’IVE.

Dans les cas de forte incertitude (forte extrapolation, zone non couverte…), un modèle peut refuser de prédire (Refusals). Dans cette étude, le top-IVE livre toujours des décisions.

Les graphiques de corrélation détaillent les résultats obtenus par le top-IVE. Ces graphiques sont établis pour chaque ensemble de cas (training, validation et testing) afin d’évaluer la qualité des prédictions pour des cas connus ou inconnus. Il est intéressant de noter que certains cas de training sont mal décrits par l’IVE: l’expert·e-métier est donc invité·e à contrôler les valeurs de ces cas de dégradation supposés distincts, bien que prédits à la même valeur (surestimation par rapport aux valeurs réelles). Ainsi, un modèle xtractis robuste peut servir à débusquer des biais, introduits volontairement ou involontairement, dans les données de référence et de fait à filtrer l’ensemble de données de référence.

Descriptive performance / Training
Predictive performance / Validation
Actual performance / Testing
Modèle IVE en construction (capture à la 78e stratégie d’induction)

Le top-IVE a été induit par la 218e stratégie.

Le graphe temporel ci-contre (état d’avancement du processus d’induction capturé à la 78e stratégie) montre que les premiers robots GENERATE ont réussi à induire des modèles unitaires de plus en plus performants (RMSE<0.001 dès la 9e stratégie).

Le 218e robot permettra d’induire le top-IVE finalement sélectionné ayant une RMSE en validation de 0.00043.

En fonction des ressources de calcul disponibles, le modélisateur laissera xtractis faire son travail d’induction jusqu’au nième robot, pour s’assurer qu’aucun autre robot ne permettra d’améliorer significativement ce niveau de performance (dans cette étude, n=300).

Intelligibilité et Explicabilité de la prédiction

Chacune des 306 règles floues conjonctives utilise de 2 à 11 prédicteurs pour définir une équation non-linéaire (relation floue d’ordre N). Son expression linguistique assure d’une part l’intelligibilité du modèle et d’autre part l’explicabilité de chaque décision prise par le modèle : en conséquence, ce modèle boîte-blanche peut être audité par l’expert·e métier et certifié par le régulateur.

Exemple : Règle floue conjonctive n°14 du top-IVE

L’ensemble de ces règles floues décisionnelles –et les coopérations potentielles entre ces règles– permet de modéliser, de façon performante, le phénomène complexe étudié. Cet ensemble fini et figé de règles permettra alors d’expliquer, de manière déterministe, l’infinité des cas possibles qui se présenteraient pour une prédiction du coefficient d’état de dégradation. C’est pour cette raison que nous parlons de modèle intelligible : l’IVE est une boîte blanche composée exclusivement de connaissances accessibles à l’entendement humain. C’est aussi un modèle explicable : pour chaque cas, connu ou inconnu, xtractis édite automatiquement un rapport de prédiction, dans lequel il explique pas à pas le raisonnement flou déductif qu’il déploie (algorithme généralisé de Zalila) et les règles qu’il infère afin d’élaborer sa décision. En un mot, à chaque fois qu’on lui demande de justifier sa décision, xtractis développe une démonstration déductive, en sélectionnant les seules connaissances qui s’appliquent à ce cas particulier parmi les 306 règles préalablement induites, comme le ferait un scientifique.

Exemple de la simulation #6945

Supposons que l’on s’intéresse à la Simulation #6945. Pour effectuer la prédiction, seules sont nécessaires les 12 mesures servant de prédicteurs pour le top-IVE, ce qui implique une diminution des coûts de mesure. Ces valeurs sont utilisées pour calculer le degré de vérité de chaque prémisse élémentaire de chacune des 306 règles conjonctives de l’IVE (degré d’appartenance à la classe floue correspondante). Ces degrés de vérité sont ensuite combinés par les opérateurs de logique floue retenus afin de calculer le degré de déclenchement de la règle floue correspondante. Pour ce cas inconnu de Testing, seules 23 règles sont activées sur les 306 disponibles, sachant que seulement 9 règles sont déclenchées avec un degré supérieur à 10-1.
Simulation inconnue #6945 (cas de Testing, non inclus dans les ensembles Training/Validation)
Calcul des degrés de déclenchement des règles pour la Simulation inconnue #6945 : la Règle conjonctive 168 est activée avec un degré de 0.769
Prédiction floue finale de la Simulation #6945 : {0.97656|0.769, 0.98036|0.754, …}

Toutes les règles conjonctives ayant la même conclusion combinent leur degré de déclenchement pour calculer la Possibilité de la prédiction partielle.
La prédiction floue finale est :
{0.97656|0.769, 0.98036|0.754, 0.98285|0.706, …}
La prédiction nette finale (défuzzification barycentrique) est :
0.97899
En réalité, la vraie valeur du coefficient d’état de dégradation du compresseur de turbine à gaz pour la Simulation #6945 était 0.97900. Xtractis a donc émis une prédiction quasiment parfaite avec une erreur de 0.00001, tout en justifiant son raisonnement déductif.

Bon à Savoir

Ressources du processus xtractis (induction + validation + déduction)

Sur le serveur HPC d’une puissance de 1 Tflops FP64 utilisé lors de cette étude, le processus xtractis a nécessité au total 10 jours de calculs avant que le modélisateur puisse accéder au top-IVE finalement sélectionné. Sur un serveur 12 Tflops FP64, le processus complet aurait duré environ 35 heures.

Grâce à son « Exocerveau » xtractis, un·e doctorant·e pourrait ainsi produire des connaissances scientifiques de haut niveau en quelques mois (incluant la durée de collecte des données de référence), au lieu de quelques années ! Le ROI est immédiat pour son équipe de recherche. Il/elle ne manquera pas de citer xtractis comme co-auteur de la publication, en tant que scientifique virtuel ayant contribué à la découverte des connaissances… Une IA co-inventrice, cela est déjà une réalité !

Le modèle est ensuite déployé au sein d’une application dédiée pour réaliser des prédictions sur de nouveaux cas inconnus grâce à xtractis® PREDICT. Étant frugale, l’inférence floue déductive du modèle peut aussi être réalisée par PREDICT EMBEDDED en temps réel et à haute fréquence (> 1 000 Hz) et ne nécessite qu’une ressource de calcul basique.

Benchmark xtractis versus Forêt Aléatoire, Boosted Trees et Réseaux de Neurones

Grâce à leur capacité de modélisation non-linéaire, FA (Forêt Aléatoire), BT (Boosted Trees) et RdN (Réseau de Neurones) sont parmi les meilleurs challengers d’xtractis : ces approches d’Intelligence Artificielle sont performantes, BT étant la plus rapide. Toutefois, elles ne permettent pas d’obtenir de modèles intelligibles car les structures d’une FA, d’un BT et d’un RdN sont composées respectivement d’un ensemble d’arbres, d’une chaîne d’arbres et de couches neuronales successives. En conséquence, plus le processus à modéliser est complexe, plus le nombre d’arbres d’une FA sera élevé, plus la chaîne du BT sera longue et plus le RdN nécessitera de couches cachées interconnectées : très vite l’expert·e métier sera dans l’incapacité d’appréhender la logique interne des modèles. En outre, RdN crée des variables synthétiques (les nœuds des couches cachées) qui n’ont que peu, voire aucune, sémantique pour l’expert·e métier.

1 – xtractis  versus  Forêt aléatoire

Nous avons exploré 2 000 stratégies FA distinctes (Python 3.6, RandomForest 2.2.2), chacune étant appliquée sur un partitionnement de même taille que celui d’xtractis : 70% des cas pour le training, 15% pour la validation et 15% pour le testing. Chaque stratégie génère donc un IVE FA dont on calcule la RMSE en validation. La stratégie gagnante est celle qui minimise cette RMSE, c’est elle qui sera benchmarquée contre la stratégie ayant induit le top-IVE xtractis. Dans cette étude, le top-IVE FA est un système décisionnel de 119 arbres mobilisant 14 prédicteurs et défini par un total de 61 800 règles binaires (de 2 à 9 prédicteurs par règle), à comparer avec le top-IVE xtractis à 12 prédicteurs et 306 règles floues conjonctives sans chaînage (de 2 à 9 prédicteurs par règle).

Performances du top-IVE xtractis versus le top-IVE FA

2 – xtractis  versus  boosted trees

Nous avons exploré 300 stratégies BT distinctes (Python 3.6, lightgbm 2.2.2), chacune étant appliquée sur un partitionnement de même taille que celui d’xtractis : 70% des cas pour le training, 15% pour la validation et 15% pour le testing. Chaque stratégie génère donc un IVE BT dont on calcule la RMSE en validation. La stratégie gagnante est celle qui minimise cette RMSE, c’est elle qui sera benchmarquée contre la stratégie ayant induit le top-IVE xtractis. Dans cette étude, le top-IVE BT est un système décisionnel de 4 775 arbres chaînés mobilisant 14 prédicteurs et défini par un total de 402 613 règles binaires (de 1 à 12 prédicteurs par règle), à comparer avec le top-IVE xtractis à 12 prédicteurs et 306 règles floues conjonctives sans chaînage (de 2 à 11 prédicteurs par règle).

Performances du top-IVE xtractis versus le top-IVE BT

3 – xtractis  versus  rÉseau de neurones

Nous avons exploré 2 000 stratégies RdN distinctes (Python 3.6, TensorFlow 1.7, Keras 2.1.4), chacune étant appliquée sur un partitionnement de même taille que celui d’xtractis : 70% des cas pour le training, 15% pour la validation et 15% pour le testing. Chaque stratégie génère donc un IVE RdN dont on calcule la RMSE en validation. La stratégie gagnante est celle qui minimise cette RMSE, c’est elle qui sera benchmarquée contre la stratégie ayant induit le top-IVE xtractis. Dans cette étude, le top-IVE RdN est un perceptron à 3 couches cachées de 19 neurones chacune ; ce perceptron utilise les 14 prédicteurs, ainsi que 57 variables synthétiques (les neurones des couches cachées), à comparer avec le top-IVE xtractis à 12 prédicteurs et 306 règles floues sans chaînage.

Performances du top-IVE xtractis versus le top-IVE RdN

Conclusions

Xtractis® réussit à modéliser ce phénomène mécanique très complexe grâce à 306 règles décisionnelles, combinant 12 prédicteurs parmi les 14 variables disponibles. Chacune de ces règles utilise de 2 à 11 prédicteurs (en moyenne 3.6 prédicteurs par règle), ce qui permet à l’expert·e métier d’auditer le système de maintenance prédictive et de confirmer la justesse des demandes de maintenance de la turbine faites par le système.

Complexité des top-IVE xtractis, FA, BT et RdN
Complexité des top-IVE xtractis, FA, BT et RdN

Bien que le nombre de variables potentiellement prédictives soit très limité, xtractis confirme a posteriori la très grande complexité intrinsèque du phénomène étudié (fortes non-linéarités et nombreux pics) par le nombre élevé de règles composant le top-IVE. Rappelons que xtractis a été conçu avec un double objectif : découvrir le modèle le plus prédictif en première priorité, et le plus intelligible en deuxième priorité.

Malgré un nombre élevé de cas de référence, les performances prédictive et réelle du top-IVE FA (resp. RMSE = 1.87% et 2.00%), du top-IVE BT (resp. RMSE = 0.99% et 1.07%) et du top-IVE RdN (resp. RMSE = 1.43%% et 1.47%) sont moins élevées que celles du top-IVE xtractis (resp. RMSE = 0.61% et 0.84%) ; BT étant plus prédictif que FA et RdN.

Notons que le top-IVE BT sur-apprend sur les points de training (RMSE = 0.22%) et de fait commet 4.5 fois plus d’erreur sur les points de validation (RMSE = 0.99%) ! Ceci est attendu compte tenu d’un nombre total de règles binaires 33.7 fois plus important que le nombre de points de référence ! Malgré tout, sa performance réelle constatée reste très proche de sa performance prédictive (RMSE = 1.07%). Ce comportement, assez inhabituel en Apprentissage Automatique, est récurrent pour les BT.

Avec 61 800 règles binaires, le top-IVE FA n’est pas intelligible, même s’il n’emploie aucune variable synthétique ; la stratégie décisionnelle de chacun des 119 arbres étant composée en moyenne de 519 règles.

Avec plus de 402 000 règles binaires en cascade, le top-IVE BT est encore moins intelligible ; le Nième arbre corrigeant les erreurs faites par les N-1 arbres précédents.

Le top-IVE RdN est certes plus compact, mais crée 57 variables synthétiques, donc inintelligibles pour l’expert·e métier.

À ce jour, l’IA Floue Augmentée xtractis® est l’une des très rares techniques d’IA capables d’induire des modèles à la fois prédictifs et intelligibles, même pour les processus les plus complexes, comme celui présenté dans le cadre de cette étude. Xtractis® définit ainsi une IA de Confiance, vérifiant d’ores et déjà toutes les exigences du règlement européen publié le 21/4/2021 et qui régira le déploiement des applications IA critiques.

Ses trois challengers non-linéaires (forêt aléatoire, boosted trees, réseau de neurones) ne sont pas intelligibles : ils proposent certes une explicabilité a posteriori sur des cas particuliers, par approximation linéaire locale (Lime, Shap). Toutefois, cette approche nous paraît totalement insuffisante : d’une part, l’approximation de la fonction non-linéaire cachée du modèle boîte-noire par une fonction linéaire induirait des biais dans la prise de décision ; d’autre part, elle nécessiterait la validation d’une infinité d’équations linéaires pour valider le comportement du modèle non-linéaire boîte-noire sur l’intégralité de l’espace de fonctionnement. Ce qui est matériellement impossible à réaliser !

A contrario, xtractis® induit d’abord un nombre fini de règles floues qu’il utilisera par la suite pour prédire, de manière déterministe et rationnelle, l’infinité des cas auquel il ferait face en situations réelles.

En outre, il est aisé de démontrer la stabilité formelle d’un système de régression à base de règles floues ; ainsi, sur l’espace infini de fonctionnement :

1/ Toute prédiction sera incluse dans un intervalle borné déterminé à l’avance à partir de la structure des règles.

2/ Toute variation infinitésimale d’un prédicteur entraînera une variation graduelle de la prédiction, calculée par le schéma d’inférence floue déductive. Mais quand cela est nécessaire, xtractis® sera capable de modéliser les fortes non-linéarités intrinsèques au processus étudié.

Le respect de ces propriétés mathématiques est primordial pour le développement et le déploiement d’applications critiques, en particulier celles liées au contrôle/commande de systèmes dynamiques (engins autonomes).