Un réseau de neurones profond peut diagnostiquer un cancer sur une radiographie avec une précision supérieure à celle d'un radiologue expérimenté. Il peut aussi refuser un prêt bancaire, recommander une peine de prison ou piloter un véhicule autonome. Pourtant, si l'on demande à ce même système pourquoi il a pris telle décision, la réponse est le plus souvent le silence. Cette opacité fondamentale constitue ce que les chercheurs appellent le problème de la « boîte noire » : on observe les données d'entrée et le résultat en sortie, mais le raisonnement interne, tissé à travers des millions de paramètres mathématiques, demeure illisible pour l'esprit humain.
Plus un modèle d'intelligence artificielle est performant et complexe, plus il tend à devenir opaque. C'est le paradoxe central de l'apprentissage profond (deep learning). Or, dans de nombreux secteurs critiques, la performance brute ne suffit plus. Il faut aussi pouvoir justifier, auditer et comprendre.
1. Quand l'opacité devient inacceptable : finance, justice, médecine
Dans les domaines à fort impact sur la vie des individus, une décision automatisée sans justification n'est pas simplement un inconvénient technique ; c'est un problème éthique et juridique majeur.
En finance, un algorithme de scoring peut refuser un crédit immobilier à un couple sans que le conseiller bancaire soit capable d'en expliquer la raison exacte. Le refus repose-t-il sur un critère légitime (taux d'endettement, historique de paiement) ou sur une corrélation statistique discriminatoire (code postal, origine ethnique inférée) ? Sans transparence, le biais se dissimule derrière l'autorité apparente du calcul.
En justice, le cas du système COMPAS aux États-Unis est devenu emblématique. Utilisé pour évaluer le risque de récidive des prévenus, cet algorithme propriétaire a été accusé de produire des scores systématiquement défavorables aux personnes afro-américaines. Lorsqu'un juge s'appuie sur un score opaque pour déterminer une liberté conditionnelle, c'est le principe même du procès équitable qui est fragilisé : comment contester une décision dont on ne peut pas examiner les fondements ?
En médecine, l'enjeu est encore plus direct. Si un système d'IA recommande l'ablation d'un organe sur la base d'une imagerie, le chirurgien ne peut pas se contenter d'un « oui » ou d'un « non » binaire. Il a besoin de savoir quelles lésions, quelles textures ou quelles anomalies morphologiques ont conduit le modèle à cette conclusion. En l'absence d'explication, la responsabilité médicale et la confiance du patient sont compromises.
2. La XAI : Méthodes et principes pour rendre l'IA intelligible
L'IA Explicable, désignée par l'acronyme XAI (eXplainable Artificial Intelligence), est le champ de recherche qui s'attache à rendre compréhensibles les décisions des systèmes d'apprentissage automatique. L'objectif n'est pas de simplifier les modèles au point de sacrifier leur précision, mais de fournir des explications fidèles et accessibles a posteriori.
Les chercheurs distinguent généralement deux approches. La première consiste à privilégier des modèles intrinsèquement interprétables — arbres de décision, régressions logiques ou listes de règles — dont la logique est directement lisible par un humain. Ces modèles sont toutefois limités face à des tâches complexes comme la reconnaissance d'images.
La seconde approche, plus courante pour les réseaux de neurones, utilise des méthodes post-hoc qui analysent le comportement du modèle après son entraînement. Parmi les plus répandues :
LIME (Local Interpretable Model-agnostic Explanations) : cette technique perturbe légèrement les données d'entrée et observe comment la prédiction varie, afin d'isoler les caractéristiques les plus déterminantes pour une décision donnée.
SHAP (SHapley Additive exPlanations) : fondée sur la théorie des jeux coopératifs, cette méthode attribue à chaque variable d'entrée une contribution précise au résultat final, offrant une répartition mathématiquement rigoureuse de l'« importance » de chaque facteur.
Les cartes de saillance (saliency maps) : en imagerie médicale, elles superposent une carte thermique sur la radiographie, indiquant en rouge les zones exactes que le réseau a scrutées pour poser son diagnostic.
Concrètement, au lieu de dire « tumeur maligne à 94 % », le système peut désormais indiquer : « tumeur maligne à 94 %, principalement en raison de l'irrégularité des contours observée dans le quadrant supérieur gauche ».
3. Le cadre réglementaire : Quand la loi exige la transparence
La pression ne vient pas uniquement de la communauté scientifique. Les législateurs imposent désormais des obligations concrètes de transparence.
Le Règlement général sur la protection des données (RGPD), en vigueur depuis 2018, reconnaît dans son article 22 le droit des citoyens de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé. La doctrine juridique européenne en déduit un « droit à l'explication » : tout individu affecté par un algorithme doit pouvoir en obtenir une justification intelligible.
L'AI Act, entré en vigueur en 2024, renforce considérablement cette exigence. Il classe les systèmes d'IA selon leur niveau de risque et impose aux systèmes dits « à haut risque » — recrutement, notation sociale, justice pénale — des obligations strictes de traçabilité, de documentation et d'explicabilité. Les développeurs doivent tenir des registres techniques détaillés et garantir qu'un être humain puisse superviser et comprendre le fonctionnement du système à tout moment.
Ces cadres juridiques traduisent un principe fondamental : la redevabilité (accountability). Celui qui déploie un algorithme doit pouvoir en répondre devant les personnes concernées et devant la loi.
Conclusion : La confiance, condition sine qua non de l'adoption
L'histoire des technologies montre qu'aucune innovation, aussi puissante soit-elle, ne s'impose durablement sans la confiance de ses utilisateurs. L'intelligence artificielle ne fera pas exception. Tant que les citoyens, les patients, les justiciables et les professionnels percevront les algorithmes comme des oracles incompréhensibles, l'adoption restera fragile et contestée.
L'IA Explicable n'est donc pas une contrainte imposée à la recherche, ni un frein à la performance. Elle est au contraire le socle indispensable sur lequel reposera l'intégration responsable de l'intelligence artificielle dans nos sociétés. Rendre les machines compréhensibles, ce n'est pas les affaiblir : c'est leur donner la légitimité nécessaire pour transformer, en toute confiance, le monde réel.
Commentaires