XTRACTIS POUR LE SCORING & L'ANALYSE DE RISQUE
Prédiction du défaut de remboursement d’un crédit
Cette étude montre comment xtractis réussit à identifier les dossiers de demande de crédit présentant un fort risque de défaut de remboursement, avec un niveau de justesse inégalé.
Outre la réduction significative du coût du traitement des dossiers, l’augmentation du volume de dossiers traités et la garantie d’une décision instantanée, objective et explicable, la banque peut bénéficier de l’immobilisation du juste montant de fonds propres pour couvrir les risques de défaut de remboursement.
xtractis offre ainsi une véritable alternative à la régression logistique communément utilisée dans le secteur bancaire.
Résultats par xtractis® Generate 9.2.21237 - upd 1711
TYPE DE MODÉLISATION
Modèle de Scoring : Évaluation du risque de défaut de remboursement d’un crédit.
DONNÉES D'APPRENTISSAGE
Dimension des données : près de 1 500 000 dossiers sur une période de 5 ans.
Partitionnement : 70% pour l’apprentissage (LD-Learning Dataset) et 30% pour le test externe (ETD-External Testing Dataset).
76 descripteurs de dossier.
Sortie qualifiée avec 2 états : défaut (1) / non défaut (0)
La LD comporte 0.7% de cas de défauts (événement rare) et 99.3% de cas de non-défaut. Les mêmes proportions sont utilisées pour l’ETD.
Source : banque européenne
SOLUTION XTRACTIS
Grâce à leur intelligence collective et évolutive, les robots xtractis explorent 160 stratégies différentes d’apprentissage inductif et sélectionnent le modèle le plus robuste (top-modèle) sur la base de validation. Cet Expert Virtuel Individuel (EVI) est défini par une collection de 76 règles utilisant les 76 variables prédictives, chaque règle n’utilisant pas nécessairement toutes les variables.
Cet EVI permettra de juger automatiquement le risque de défaut de remboursement d’un nouveau dossier.
CRITÈRES DE PERFORMANCE
La performance du modèle est mesurée grâce à la validation croisée : un partitionnement aléatoire composé de 80% de points en training et 20% en validation. Les points de training sont utilisés pour créer le modèle , et évaluer sa capacité descriptive (précision), les points de validation sont utilisés pour évaluer la robustesse ou capacité prédictive du modèle (robustesse). Les points de l’ETD ne sont utilisés que pour constater la performance réelle du modèle (prédiction sur des cas inconnus du modèle).
Les métriques de performance sont :
- le coefficient de Gini
- les proportions de défauts détectés aux 3e, 5e et 10e centiles
- les centiles de détection de 50% et 80% des défauts
résultats
Les performances du top-modèle évaluées sur ces critères sont reportées dans les différentes matrices de performance :
À titre de comparaison, les performances du modèle de régression logistique sont les suivantes :
COMPRENDRE LES RÉSULTATS
En situations opérationnelles, la confiance dans ce système décisionnel prédictif est validée par la fiabilité des indicateurs de robustesse puisque les résultats réels sont légèrement meilleurs que les résultats estimés lors de la validation (Gini à 70.26% en validation contre 71.40% en ETD).
En situations réelles inconnues, xtractis fournit d’excellents résultats par rapport à la régression logistique (RL) :
- Le Gini xtractis est supérieur de 10.11 points au Gini RL (71.40% contre 61.29%). Chaque point gagné pouvant induire une économie de plus de 150 Millions d’euros de fonds propres dans le cas des crédits importants (investissement professionnel, immobilier…), soit plus de 1.5 milliards d’euros.
- Parmi les 10% de dossiers évalués par le top-modèle comme les plus risqués, 56.83% des dossiers sont avérés en défaut, ce qui correspond à un lift de 5.68 (le top-modèle fait donc 5.7 fois mieux que le hasard), tandis que la RL n’arrive à détecter que 46.55% de défauts.
- Pour détecter 80% de dossiers en défaut, le top-modèle se contente des 25% de dossiers qu’il a évalués comme les plus risqués, tandis que la RL sera obligée de considérer les 35% de dossiers qu’elle aura évalués comme les plus risqués. L’EVI xtractis commet donc beaucoup moins d’erreurs de détection.
Avec un tel niveau de performances, les sommes à mobiliser pour couvrir les risques de défauts sont bien moins importantes que celles qui le seraient avec un modèle RL en usage dans le secteur bancaire.
L’interprétabilité du modèle xtractis le rend auditable et certifiable par les autorités de régulation (ACPR pour la France) comme pour un modèle RL, tout en mettant en évidence les relations non-linéaires entre critères expliquant les risques de défaut d’un dossier, ce qui reste hors de portée d’un modèle RL linéaire.
Le droit de refus : Dans ce cas d’application, xtractis ne peut donc faire valoir son droit de refus qu’il utilise en temps normal lorsqu’il n’est pas sûr de sa décision, car les banques imposent d’attribuer un score à chaque dossier.
Cette étude a été réalisée en respectant l’hypothèse statistique binaire communément utilisée par les banques n’autorisant que 2 états possibles : Sain / Défaut. Ainsi tous les dossiers incertains ont été considérés durant l’apprentissage comme des dossiers sains. Cette hypothèse permet certes d’apprendre avec un grand volume de dossiers, mais introduit immanquablement un biais dans les données. Malgré ce biais, xtractis détecte mieux les dossiers les plus risqués.
Notre approche floue quantique à une infinité d’états possibles entre Sain et Défaut permettrait d’apprendre sans biais et d’améliorer encore plus les résultats présentés.
Utilisation : Exemple de prédiction d'un EVI xtractis en situations inconnues
Pour illustrer l’interprétabilité, l’explicabilité et le fonctionnement des modèles xtractis, nous présentons dans cette étude de cas un EVI différent du top-modèle : l’EVI#O3_X1_26v_3r. Il a l’avantage d’avoir une structure plus simple, avec 3 règles utilisant en tout 26 variables prédictives (chacune des 3 règles n’utilisant pas nécessairement toutes les variables prédictives). Il est plus aisé à interpréter mais, avec 12 points de Gini en moins, il est beaucoup moins performant que le top-modèle. L’EVI#O3_X1_26v_3r présente néanmoins des performances proches de celles obtenues avec un modèle statistique RL.
Le système prédictif permet d’attribuer un score de risque à tout nouveau dossier de crédit : le moteur d’inférence xtractis va déclencher graduellement les 3 règles selon l’appartenance du dossier à la zone de contrôle de chacune des règles ; puis les règles combinent chacune de leur décision suivant leur degré d’activation, pour proposer le score final.
Exemple de la règle n°3 de l’EVI#O3_X1_26v_3r utilisant 7 variables prédictives pour livrer sa décision de risque de défaut de remboursement très élevé :
Exemple de prédiction pour 5 nouveaux dossiers A, B, C, D et E. Dans le cas de la règle 3, chaque dossier est caractérisé par les valeurs des 7 prédicteurs :
Pour chacun des dossiers, le score inféré par l’EVI#O3_X1_26v_3r est à comparer avec les prédictions du top-modèle (76 règles/76 variables) : les 2 modèles sont à peu près d’accord pour les dossiers A, B et C, mais moins pour le dossier D et pas du tout pour le dossier E.
