Chez EURODECISION, nous concevons de plus en plus souvent des modèles d’IA à base de réseaux de neurones (ex : machine learning), pour nos clients. Ces modèles d’IA sont souvent vus comme des « boîtes noires ». Des indicateurs, comme par exemple précision, recall, f1-score, r2-score, etc., permettent de s’assurer de la performance de ces modèles d’IA. Mais régulièrement nos clients nous demandent d’expliquer comment il « raisonne ». Avec un modèle à base par exemple de Programmation Linéaire (système d’équations mathématiques explicite), il est assez aisé de comprendre le fonctionnement du modèle, d’expliquer pourquoi il donne tel ou tel résultat ou de montrer qu’il donne des solutions qui vont dans le même sens que celle de l’expert humain. Avec un modèle d’IA à base de réseaux de neurones, les indicateurs de performance montrent que le modèle donne des résultats fiables mais difficile de comprendre comment il aboutit à ces résultats. Nos clients, pragmatiques, ont besoin de mieux comprendre le fonctionnement de leur modèle d’IA afin de s’assurer qu’il « raisonne » correctement.
Pour répondre à ce besoin, nous nous intéressons ainsi aux méthodes d’explicabilité de modèles d’IA à base de réseaux de neurones. Plusieurs méthodes d’explicabilité existent comme SHAP, LIME, Integrated Gradients, etc. Ces méthodes donnent de bons résultats sur des modèles assez simples de prédiction mais qu’en est-il sur des modèles de taille industrielle comme ceux de nos clients ?
Pour répondre à cette question, nous avons appliqué la méthode d’explicabilité SHAP (SHapley Additive exPlanations) sur un modèle d’IA permettant de prédire les temps de picking dans un entrepôt en fonction du slotting des produits. Le picking est un mode de préparation de commande qui consiste à prélever de manière ordonnée, à différents emplacements dans l’entrepôt, les différents articles de plusieurs commandes. Le slotting consiste à déterminer l’emplacement de chaque article dans l’entrepôt. L’optimisation du slotting permet de réduire les temps de déplacement lors du picking ainsi que la congestion dans l’entrepôt.
L’image ci-dessous donne le plan des emplacements dans l’entrepôt et un slotting est représenté par un dégradé de couleur : foncé pour les articles à forte fréquence de picking et plus clair pour les articles à faible fréquence de picking. Les articles à forte fréquence sont généralement placés près du quai pour limiter les déplacements mais sont également séparés pour éviter la congestion.
La méthode d’explicabilité SHAP se base sur le calcul et l’analyse des valeurs de Shapley. Ces valeurs correspondent à la contribution de chaque variable explicative du modèle sur la variable à prédire. Dans notre modèle d’IA « Slotting », cela nous donne la contribution de chaque affectation article-emplacement sur le temps de déplacement picking.
Les représentations graphiques standard des valeurs SHAP permettent à un data scientist d’analyser et de s’assurer de l’efficacité de ce modèle d’IA. Par exemple dans ce graphique, chaque ligne représente un emplacement numéroté et chaque point donne la contribution positive ou négative de cet emplacement sur le temps de déplacement picking. Ainsi lorsqu’un article à forte fréquence est affecté à l’emplacements 140, le temps de déplacement picking est réduit. A contrario, pour l’emplacement 43.
Malheureusement ces graphiques ne permettent pas d’expliquer aisément à nos clients le fonctionnement d’un modèle d’IA. Il est souvent nécessaire de représenter ces valeurs SHAP dans une représentation graphique plus parlante pour le client. Pour ce modèle d’IA « Slotting », nous avons replacé les valeurs SHAP sur le plan de l’entrepôt. Les emplacements en bleu indiquent ceux permettant de réduire le temps de déplacement picking lorsqu’un article à forte fréquence est affecté à ces emplacements et inversement. A la vue de ce type de graphique orienté métier, le gestionnaire de l’entrepôt, non data scientist, peut plus facilement s’assurer du bon « raisonnement » du modèle IA.
Cet exemple montre l’utilité des méthodes d’explicabilité pour rendre compréhensibles le fonctionnement d’un modèle d’IA. Les sorties standards de ces méthodes sont avant tout à destination des data scientists. Afin de pouvoir présenter les résultats de ces méthodes d’explicabilité à nos clients, il est souvent nécessaire de les transposer dans des représentations graphiques plus proches de leur métier. Tout ceci facilite l’acceptation des modèles d’IA dans le monde industriel.