|
vous êtes ici : accueil > Actualité
Comment la DGFIP négocie le virage de l’intelligence artificielle générative
La direction de la transformation numérique des Impôts organisait mercredi une journée de débats autour de l’intelligence artificielle générative. L’occasion, notamment, de présenter ses propres expérimentations, que ce soit pour résumer automatiquement des amendements, extraire les informations des déclarations de succession ou encore pour répondre aux millions de questions des contribuables.
La vague de l’intelligence artificielle (IA) générative a bel et bien déferlé sur l’administration. Après le lancement de l’expérimentation d’un outil de rédaction automatisée de réponses aux usagers sur “Services publics +”, l’officialisation des travaux de la DSI de l’État pour aider les administrations à déployer leurs propres cas d’usage, c’est au tour de la direction générale des finances publiques (DGFIP) de succomber aux sirènes de l’IA générative. Sa direction de la transformation numérique (DTNUM) organisait, le 8 novembre après-midi, un séminaire sur la thématique, très à la mode, de l’IA générative de textes “au service du secteur public”, en présence d’administrations mais aussi d’acteurs privés et du monde académique.
Signe de l’importance du sujet, c’est le directeur général de la DGFIP, Jérôme Fournel, qui a ouvert le bal en personne pour expliquer combien il était naturel, pour une administration en charge de l’une des activités humaines parmi les plus anciennes – la levée de l’impôt – et qui dispose de ce fait d’un patrimoine incommensurable de données, de se lancer dans l’aventure de l’intelligence artificielle. “Cette richesse est un facteur phénoménal d’utilisation des potentialités de l’IA, d’autant que nous ne sommes pas seulement une maison de chiffres, mais aussi de lettres, ce qui fait de nous un formidable terrain de jeu pour l’IA générative et les technologies du langage naturel”, a-t-il déclaré, tout en soulignant la part de responsabilité qui incombe à son administration, régalienne s’il en est.
“Nous devons prendre des précautions pour conserver la confiance des Français, ce qui veut dire que nous devons éliminer le plus possible les éventuels biais dans nos modèles, nous assurer d’en garder la maîtrise et que le déclencheur d’un contentieux, d’une taxation ou de toute autre action reste sous la supervision d’un humain”, a tenu à préciser Jérôme Fournel. Et d’ajouter qu’un événement comme ce séminaire du 8 novembre visait, justement, à faire œuvre de transparence sur les projets menés par sa direction.
Bientôt des résumés automatiques d’amendements ?
Ceci étant dit, la DGFIP ne lésine pas sur les moyens et multiplie les explorations, et même les expérimentations du potentiel de ces technologies loin d’être nouvelles mais que le grand public a pu découvrir avec l’irruption de ChatGPT. À l’image du ministère des Armées, et en trois mois seulement, la direction en charge des impôts a fait l’acquisition de 8 puissantes cartes graphiques spécialement conçues pour l’IA et a testé une dizaine de cas d’usage plus ou moins sophistiqués et plus ou moins généralisables à l’ensemble des agents de la DGFIP.
Ces tests consistent à générer des résumés de textes, et en particulier d’amendements, retranscrire automatiquement des réunions et proposer des compte-rendus, extraire les informations clés d’un texte, notamment les informations de filiation dans les déclarations de succession, ou bien à traduire du code informatique d’un langage à un autre, corriger automatiquement les fautes de frappe et d’orthographe dans les bases de données, notamment au niveau des adresses, ou encore anonymiser certains documents comme les rescrits fiscaux.
Tout comme le ministère des Armées et la Dinum, la DGFIP s’appuie sur le modèle ouvert de Meta (Facebook), Llama 2, mais n’écarte absolument pas l’éventualité d’en tester d’autres. À ceci près qu’il faudra reprendre une partie des travaux déjà réalisés, notamment sur la façon de rédiger les consignes envoyées à l’IA, les fameux “prompts”.
Tous les cas d’usage explorés n’ont toutefois pas rencontré le même succès et certains affichent même des résultats très insatisfaisants. C’est notamment le cas du plus complexe d’entre eux : la réponse automatique aux questions des usagers, en allant directement puiser dans sa base documentaire et en donnant la source de l’information, mais sans entraînement spécifique. La DGFIP a testé cet usage avec le bureau de la “Stratégie des relations avec les différents publics”, qui reçoit chaque année quelque 12 millions de sollicitations des contribuables.
Pour certaines demandes, la réponse est tout à fait pertinente, mais pour la majorité d’entre elles, l’IA se trompe complètement. “Même en lui mettant des limites, comme le fait de lui ordonner ne pas répondre s’il elle n’a pas la bonne information, l’IA génère parfois une réponse qui ne correspond pas à la bonne question, et qui est fausse par ailleurs”, a expliqué le pilote de ces expérimentations à la DTNUM, Yannis Tannier.
D’autres cas d’usage sont néanmoins beaucoup plus mûrs et pourraient bientôt être mis en service. Tout est une question de rapport “coûts-bénéfices” et la DGFIP a d’ailleurs conçu une matrice d’impact métier et de faisabilité, justement pour mesurer l’intérêt de poursuivre les efforts ou non. C’est ainsi que le résumé automatique d’amendement en une phrase ou l’extraction d’informations des déclarations de succession pourront bientôt être mis en production. Pour le second, l’IA affiche déjà un taux de précision supérieur à 90 %. Pour le premier, les rédacteurs de la direction de la législation fiscale ne semblent voir aucune différence entre la production proposée par l’IA et celle des humains, puisqu’ils attribuent une note de qualité de 16,5/20 à leurs propres textes et de 15,8/20 à ceux générés automatiquement.
Un conseil scientifique en appui
Ces premières expérimentations démontrent toute la complexité de l’appropriation de l’IA générative, relativement simple à développer, mais difficile à maîtriser pour atteindre un degré de fiabilité indéniable et surtout suffisant pour mettre l’outil dans les mains des agents, ou mieux, des usagers eux-mêmes. “Les problèmes d’hallucinations sont encore très récurrents avec les systèmes experts, qui auraient pourtant un impact métier important, mais je suis confiant dans l’évolution des modèles dans les prochains mois”, a confié, optimiste, le data scientist de la DGFIP.
En attendant, et pour bien comprendre et prévenir ces phénomènes d’“hallucinations” et ne pas devoir jeter le bébé de l’IA générative avec l’eau du bain, comme le fermier se débarrasse de son coq soudain pris de l’envie de chanter avant l’aube – une analogie faite par la DGFIP pour souligner l’importance de l’honnêteté et de la fiabilité des IA –, la direction générale s‘est adjoint, pendant l’été, les services d’un conseil scientifique du numérique. Composé de 4 membres, en plus de son président, Serge Abiteboul, le conseil a pour mission d’apporter “un regard neutre et indépendant sur les orientations technologiques de la DGFIP”, a expliqué son président. À commencer, donc, par les sujets d’éthique soulevés par l’IA générative.
Article Acteurs Publics du 10 novembre 2023
Article publié le 13 novembre 2023.