À dire d’experts !

Comment les experts métiers ajustent nos algorithmes d’Intelligence Artificielle

Pour ses projets, SixFoisSept s’associe systématiquement aux experts métiers, notamment dans la définition et la pondération des indicateurs. Une approche qui permet de rendre les résultats transparents, explicables et auditables. Explications.

De l’affectation des étudiants post-bac avec Parcoursup, à l’octroi de prêt financier, les algorithmes prennent un nombre croissant de décisions à notre place dont certaines impactent fortement nos vies. Pour lever des inquiétudes parfois irrationnelles autour d’une IA « démiurge » et éviter l’effet « boîte noire », il convient de rendre ces modèles interprétables et auditables.

Cette transparence fait partie des sept principes définis par la Commission européenne pour parvenir à une IA de confiance avec l’éthique, le respect de la vie privée, la robustesse ou la sécurité. L’explicabilité de l’IA (X-AI) est aussi un prérequis pour emporter l’adhésion de l’utilisateur et l’approbation du régulateur. Nombre de modèles d’IA, pourtant performants, n’ont pas pu passer le stade du POC faute d’avoir été « compris » par les experts métiers ou l’autorité de contrôle.

Indispensable transparence

Pour assurer cette indispensable transparence, SixFoisSept a recours pour les projets de mesure du risque à la méthode « à dire d’experts ». Comme son nom l’indique, elle consiste à faire appel aux référents d’un domaine. « Tous les indicateurs n’ont pas une importance égale dans le calcul d’un score de risque, l’avis des experts est essentiel au projet »  , avance Sophie Guérin, directrice de la DataScience chez SixFoisSept.

Budget Allocation Process

Selon la méthode « budget allocation process », chaque expert dispose de X points qu’il alloue aux différents critères. Le nombre de points à répartir dépend de la typologie du projet et du nombre d’indicateurs. La pondération des indicateurs s’établit par la moyenne des points attribués par tous les experts. Chaque expert remplit de son côté la grille d’évaluation et non au cours d’une réunion où celui qui parle le plus ou le plus fort l’emporte, ce qui lisse les biais de comportement de groupe.

Par exemple, quels sont les leviers qui permettent de mesurer l’attractivité d’un territoire ? Sur la quinzaine de thèmes référencés, l’emploi ou les conditions météorologiques se verront a priori accorder plus d’importance que la présence d’infrastructures sportives.

"Cette pondération n'est pas gravée dans le marbre, précise Sophie Guérin. Il faut se laisser la possibilité de revoir les critères un an ou deux ans plus tard. Entretemps, le projet a pu évoluer. Par ailleurs, l'ajout d'indicateurs ou de nouvelles sources de données suppose de repondérer. »

Impliquer les métiers dans la construction du modèle

Il existe d’autres méthodes de conception d’indicateurs que l’OCDE a répertoriées dans un manuel de référence. On peut notamment citer l’approche du tout ou rien (all or none) qui consiste à allouer soit zéro, soit un maximum de points à chaque indicateur. Le système du bénéfice du doute (benefit of the doubt) présuppose, lui, de faire confiance à une organisation en donnant le maximum de points dans les domaines où elle s’est particulièrement investie.

Aux yeux de Sophie Guérin, la méthode « à dire d’experts » présente l’avantage d’impliquer les experts dans le projet et d’emporter leur l’adhésion, un facteur-clé de succès. « Une fois les règles du jeu explicitées, les experts sollicités sont convaincus par la démarche.

Cette approche suppose, bien sûr, de réunir un panel suffisamment conséquent d'experts, l'agrégation des évaluations lissant les éventuels biais humains. Ce prérequis levé, elle permet pour Erwan Prud’homme, co-fondateur de SixFoisSept, "de produire des pondérations transparentes, explicables, compréhensibles et justifiables. Les mécanismes qui aboutissent au score sont connus et tracés."

SixFoisSept utilise notamment la méthode « à dire d’experts » pour mesurer et ajuster la mesure du risque dans la conception de programmes de surveillance. Cette offre RBO (Risk-based Oversight) concerne les industries règlementées dans le nucléaire, le pétrolier ou le transport ferroviaire et aérien. Les autorités de contrôle des domaines concernés doivent pouvoir disposer de tous les garanties de traçabilité des décisions prises. Pour cela, le métier est systématiquement associé à la définition des indicateurs et à leurs pondérations. Ainsi impliqués dès la phase amont, les experts métiers exploiteront en toute confiance les résultats obtenus.