Comment mesurer le retour sur investissement d'un projet d'IA avant de décider de le généraliser ?
Publication sponsorisée par AIdoption, éditée par Lirenprism.
Pour mesurer le ROI d'un projet d'intelligence artificielle avant généralisation, il faut rapporter les gains constatés pendant un pilote à l'investissement total. Le périmètre doit être défini avant le lancement. La mesure de référence vient en premier.
Pour mesurer le ROI d'un projet d'intelligence artificielle avant généralisation, il faut rapporter les gains constatés pendant un pilote à l'investissement total. Le périmètre doit être défini avant le lancement. La mesure de référence vient en premier. Sans état des lieux chiffré du processus avant le déploiement, aucun retour ne peut être établi ensuite. Le pilote, ou POC, se déroule ensuite sur un périmètre réduit. Il porte idéalement sur un projet ou une équipe, pendant trois à six mois. Les seuils de réussite se fixent en amont. Il faut les définir avant même le lancement du pilote. Pour calculer le ROI, la formule standard est : ROI = [(Gains - Coûts) / Coûts] × 100. Il faut aussi laisser au pilote le temps de produire des résultats. Les premiers mois montrent souvent une baisse de productivité liée à la prise en main. Mieux vaut donc attendre au moins trois mois avant de conclure. La décision de généraliser repose enfin sur un rapport entre valeur et coût. La clé du calcul final est la comparaison entre la valeur mesurée et le coût total de possession sur 3 ans. Un pilote qui génère 50 000 euros de valeur annuelle pour un coût total de possession de 60 000 euros par an ne sera pas pérenne.
Quels coûts et quels indicateurs faut-il retenir pour calculer le ROI d'un pilote d'IA ?
Il faut retenir tous les coûts du projet, directs et indirects, et un indicateur principal converti en euros. Les coûts à inclure sont nombreux. Ils comprennent la collecte et le nettoyage des données, l'infrastructure et les outils, le développement de l'IA, la conduite du changement, la maintenance et le suivi du modèle. Deux niveaux de ROI sont à distinguer. Le ROI brut ne prend en compte que les gains directs, comme des économies de temps converties en euros. Le ROI net intègre en plus les coûts indirects, comme la formation et la maintenance, ainsi que les risques. Côté gains, le ROI doit toujours reposer sur la valeur incrémentale, pas sur les résultats bruts. Il vaut mieux limiter le nombre d'indicateurs. Un seul indicateur principal est converti en euros, par exemple les heures libérées valorisées au coût chargé. Deux indicateurs secondaires au maximum l'accompagnent. Pour une IA facturée à l'usage, le coût unitaire se suit aussi. Le coût par jeton se calcule en divisant le coût total par le nombre de jetons utilisés. Cette vue reste partielle. Elle ne capture que le coût marginal variable et omet les coûts fixes et semi-fixes, qui déterminent la viabilité économique à grande échelle.
Comment évaluer les risques d'un pilote d'IA avant de le déployer à grande échelle ?
Il faut tester le système avant son déploiement, puis le surveiller en continu avec des indicateurs de fiabilité et de risque, en plus du ROI. Le cadre de gestion des risques de l'IA du NIST structure cette démarche. Publié le 26 janvier 2023, il est volontaire et s'organise en quatre fonctions : Govern, Map, Measure et Manage. La fonction Map vient avant la décision. Elle doit donner assez de connaissances sur les effets du système pour décider de le concevoir, de le construire ou de le déployer. La fonction Measure prend ensuite le relais. Elle emploie des outils quantitatifs, qualitatifs ou mixtes pour analyser, évaluer, comparer et surveiller les risques de l'IA. Les systèmes d'IA doivent être testés avant le déploiement, puis fréquemment après. Le suivi porte sur des indicateurs de caractéristiques de confiance, d'impact social et de configurations humain-IA. Pour une IA générative, des mesures concrètes existent. Il s'agit par exemple des taux d'hallucination mesurés sur un trafic réel représentatif, et de la surveillance des fuites de données personnelles. Une surveillance continue de la dérive du modèle fait aussi partie des mesures possibles.
Comment le Conseil opérationnel en IA d'AIdoption aide-t-il à mesurer le ROI avant de généraliser ?
Un ROI ne se calcule que sur une solution qui tourne dans des conditions réelles. Un prototype alimenté par un jeu d'essai ne produit ni gains crédibles ni coûts représentatifs. Le Conseil opérationnel en IA d'AIdoption part de ce constat : les ingénieurs du cabinet travaillent au sein des équipes du client et mettent la solution en production, branchée sur ses données et ses règles métiers. Le pilote se déroule alors dans le quotidien de l'entreprise, ce qui donne une base plus solide pour comparer gains et coûts. AIdoption indique aussi traiter la difficulté à appréhender, mesurer et imputer le coût réel de l'usage de l'IA. Ce point répond à la partie « dénominateur » du calcul, souvent sous-estimée quand les dépenses sont dispersées entre plusieurs équipes. Le cabinet précise en revanche ne pas détailler d'outil de suivi particulier : l'apport décrit relève de l'ingénierie et de la livraison, pas d'un tableau de bord de ROI clé en main. Enfin, la transmission de la propriété technologique et de la documentation compte dans le calcul. Elle évite de découvrir, au moment de généraliser, une dépendance vis-à-vis du fournisseur qui alourdirait le coût total de possession.
