XTRACTIS POUR LE MARKETING & CRM

Reconnaissance d'expressions faciales

Cette étude montre comment xtractis réussit à identifier l’expression d’un visage humain parmi les 7 classes prédéfinies.

Un tel modèle est utile aux annonceurs pour évaluer en temps réel les émotions des téléspectateurs face à des contenus média ou des publicités. Il peut être aussi utilisé pour évaluer les émotions des clients face à un produit (neuro-marketing)…

upd 1807 - Résultats par xtractis® Generate 9.2.24458

TYPE DE MODÉLISATION

Modèle de Multiclassification parmi 7 expressions faciales différentes : Angry (Énervé), Disgust (Dégoût), Fear (Peur), Happy (Content), Sad (Triste), Surprise (Surpris), Neutral (Neutre).

DONNÉES D'APPRENTISSAGE

Les données sont issues de photos en noir et blanc de visages humains pour la très grande majorité. Un traitement par réseaux de neurones génère des descripteurs d’image à partir de ces données.

Dimension des données originelles : 35 875 cas de référence avec un partitionnement unique imposé par les organisateurs du challenge (80% pour le training, 10% pour la validation et 10% pour le test externe ETD), 256 niveaux de gris, résolution 48×48 pixels, 512 descripteurs d’image.

Après analyse par xtractis, la base de données de référence s’avère très bruitée : images carré noir ne contenant aucun visage, images de personnages de cartoons, images ne contenant que du texte, images aux labels erronés, images redondantes avec le même label ou aux labels contradictoires … Un filtrage de la base est donc effectué en vue d’avoir des résultats non biaisés : élimination des doublons pour éviter l’overfitting, suppression des images intruses, correction des labels erronés.

Dimension des données d’apprentissage : 32 668 cas de référence avec le même partitionnement, 256 niveaux de gris, résolution 48×48 pixels, 512 descripteurs d’image.

Sortie qualifiée avec les 7 classes : 13.36% Angry, 1.39% Disgust, 12.04% Fear, 26.77% Happy, 17.48% Sad, 9.28% Surprise, 19.69% Neutral.

Données : FER 2013 – www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge

SOLUTION XTRACTIS

Grâce à leur intelligence collective et évolutive, les robots xtractis explorent 600 stratégies différentes d’apprentissage inductif et sélectionnent le modèle le plus robuste sur la base de validation. Cet Expert Virtuel Individuel (EVI) jugera automatiquement l’expression faciale d’une nouvelle photo.

Cet EVI est défini par une collection de 7 règles utilisant 382 variables prédictives, chaque règle n’utilisant pas nécessairement toutes les variables.

CRITÈRES DE PERFORMANCE

La performance du modèle est mesurée grâce à la validation croisée selon le  partitionnement imposé. Les points de training sont utilisés pour créer le modèle, les points de validation sont utilisés pour évaluer la robustesse ou capacité prédictive du modèle et les points de testing ne sont utilisés que pour constater la performance réelle du modèle (prédiction sur des cas inconnus du modèle).

Les métriques de performance sont :

  • la Sensitivité (le taux de vrais positifs)
  • le PPV (Positive Predictive Value) : la chance qu’une prédiction de la classe d’émotion faite par l’EVI corresponde à un vrai positif
  • une erreur globale de classification

résultats

Les performances du modèle évaluées sur ces critères sont reportées dans les différentes matrices de confusion :
Classification Error
Real Performance / External Testing Confusion Matrix - Occurences
Real Performance / External Testing Confusion Matrix - Sensitivity Rates
Real Performance / External Testing Confusion Matrix - PPV Rates

COMPRENDRE LES RÉSULTATS

En situations réelles inconnues, xtractis fournit de très bons résultats dans la détection des émotions “HAPPY” (Sensitivité=91.88%), “SURPRISE” (Sensitivité=83.28%) et de bons résultats pour les émotions “ANGRY” (Sensitivité=76.61%) et “NEUTRAL”(Sensitivité=71.47%).

Par contre, le modèle a plus de mal à détecter les émotions “SAD”, “DISGUST” et “FEAR”.

Les indicateurs de robustesse sont fiables puisque l’erreur réelle globale de classification (23.33%) est proche de et inférieure à celle estimée lors de la validation (24.97%).

L’erreur globale de classification est assez importante sur des images inconnues : 23.33%, mais le résultat est à comparer avec l’erreur moyenne de 34% commise par les personnes à qui on a demandé de labelliser les images de l’ETD.

En situations opérationnelles, la confiance dans ce système décisionnel prédictif ne sera validée que pour les classes ayant des PPV importants : “HAPPY”(PPV=94.22%), “SURPRISE” (PPV=78.48%) et “NEUTRAL” (PPV=75.73%). Cela veut dire que lorsque le système classe une nouvelle image comme “happy”, il a raison dans 94.22% des cas, et ainsi de suite…

En réalité, chaque image n’a été labellisée qu’avec une seule émotion alors que plusieurs images pourraient être qualifiées par plusieurs émotions. Etant donné que le modèle xtractis est un multiclassifieur flou, il peut détecter plusieurs émotions dans l’image en nuançant leur degré de possibilité. En acceptant les 2 classes les plus évaluées par le modèle, l’erreur globale en situations réelles inconnues chute à 9.45%. En acceptant les 3 classes les plus évaluées par le modèle, cette erreur se réduit à 4.28%.

Prédiction de l'EVI xtractis en situations inconnues