Si une intelligence artificielle peut planifier et agir seule, qui répond de ses actes ? C’est la question au cœur du webinaire « Agentic AI: tra autonomia e responsabilità » (IA agentique : entre autonomie et responsabilité), organisé le 13 avril 2026 par AgID Academy, le pôle de formation de l’agence italienne pour le numérique.
Le débat, animé par Paola Liberace, réunissait Giuseppe Italiano, vice-recteur chargé de l’IA à la LUISS Guido Carli, et Mario De Caro, titulaire de la Chaire UNESCO en éthique de l’IA à l’Université Roma Tre. À leurs côtés, Mario Nobile, directeur général de l’AgID.
Trois regards différents, technique, éthique et institutionnel, qui aboutissent à une même conclusion : l’autonomie des machines doit s’accompagner de règles claires sur qui décide et qui répond. Nous revenons sur les points principaux et sur ce qu’ils signifient pour ceux qui, comme nous, déploient l’IA en entreprise et dans la santé.
De l’agent IA à l’IA agentique#
Giuseppe Italiano part d’une distinction qui se perd souvent dans le débat public. Un agent IA utilise un modèle de langage comme moteur, mais ne s’arrête pas à la conversation : il agit sur des ressources externes telles que des bases de données, des moteurs de recherche et des plateformes numériques.
Trois éléments le définissent : un périmètre d’action fixé par celui qui lui assigne ses objectifs, une interface pour dialoguer avec les utilisateurs et l’accès à des outils spécifiques. Italiano le compare à un employé numérique à qui l’on confie un bureau virtuel pour traiter un dossier.
L’IA agentique, c’est autre chose : c’est l’organisation du travail, c’est-à-dire la manière dont plusieurs agents sont coordonnés pour atteindre un objectif. L’exemple est celui des assistants de programmation. Ils écrivent une première ébauche de code, l’analysent, l’exécutent dans un environnement protégé, corrigent les erreurs et recommencent jusqu’à ce que le résultat fonctionne.
Ce saut s’accompagne de trois défis nouveaux :
- Certification. Un agent isolé se certifie comme un produit. Un système agentique exige de certifier des processus et des comportements qui évoluent dans le temps.
- Responsabilité distribuée. Lorsque plusieurs agents collaborent, il devient difficile d’établir qui a exécuté une action, pourquoi et avec quels effets.
- Gouvernance. Quelqu’un doit décider de ce que fait chaque agent, de qui les coordonne et à qui attribuer chaque étape.
En résumé, on passe de la gestion de l’information à la gestion des processus. Et plus les agents savent se débrouiller seuls, plus il est difficile de suivre le chemin qui les mène à une conclusion.
Italiano n’y voit pas un motif d’alarme. Nous avons utilisé le feu bien avant d’en comprendre la chimie, et la machine à vapeur avant la thermodynamique. Mais il rappelle que même un service public proactif, comme un État qui se mobilise de lui-même à la naissance d’un enfant, prend des initiatives, utilise des données personnelles et coordonne plusieurs organismes. D’où la nécessité de règles, de transparence et de responsabilités claires.
Des agents moraux sans droits#
Mario De Caro déplace la discussion sur le terrain de l’éthique. Un agent moral est une entité autonome dont les décisions peuvent faire du bien ou du mal aux autres.
Au cours de l’histoire, la sphère morale s’est élargie à plusieurs reprises. D’abord les esclaves, puis les femmes, qui n’ont voté pour la première fois qu’en 1893, en Nouvelle-Zélande. Aujourd’hui, nous reconnaissons aussi des devoirs envers les animaux, les enfants et les générations futures. Ce sont des entités qui ont des droits mais pas de devoirs : en termes philosophiques, ce sont des « patients moraux » mais pas des agents.
Avec l’IA agentique, c’est l’inverse qui se produit pour la première fois. Ces systèmes agissent et pèsent sur la vie des personnes ; ils doivent donc respecter des contraintes morales. Mais ils n’ont pas de droits, car ils n’ont pas de conscience et ne peuvent pas souffrir. Sur la possibilité d’une conscience artificielle future, observe De Caro, les experts sont partagés à parts égales.
Pourquoi faut-il des contraintes ? Parce que ces systèmes sont autonomes, peu prévisibles et difficiles à expliquer. Ils ne sont pas déterministes comme l’ancienne IA, mais probabilistes. Le cas extrême cité par De Caro est celui des drones militaires autonomes : un système doté d’un seul objectif et sans aucune limite sur ce qu’il peut frapper pour l’atteindre.
De bonnes décisions pour de mauvaises raisons#
Le point le plus concret de l’intervention de De Caro concerne l’explicabilité. Un système peut donner souvent la bonne réponse sans que nous sachions s’il y parvient pour les bonnes raisons.
L’exemple est devenu un classique. Un modèle entraîné à distinguer les loups des huskies avait raison dans 95 % des cas. En analysant ses erreurs, on a découvert que les photos de loups comportaient presque toujours de la neige en arrière-plan. Le système ne reconnaissait pas l’animal : il reconnaissait la neige.
Avec des loups et des huskies, l’erreur est sans conséquence. En médecine, non. De Caro cite une étude récente selon laquelle, pour les maladies rares, les systèmes d’IA posent le bon diagnostic bien plus souvent que les médecins. Mais si un modèle fonde son diagnostic sur un symptôme collatéral, dû peut-être à une autre cause, il finira tôt ou tard par se tromper sans que personne ne s’en aperçoive à temps.
D’où la question qui traverse tout le webinaire : lorsqu’un système autonome se trompe, à qui revient la responsabilité ? Au développeur, à celui qui l’adopte, à l’utilisateur ou à l’institution ?
La leçon de la conduite autonome#
Mario Nobile répond par une comparaison désormais familière : les niveaux de la conduite autonome, de 1 à 5. La voiture qui conduit seule est peut-être l’agent IA par excellence.
Son point de départ est provocateur. En Italie, environ 3 000 personnes meurent chaque année sur les routes. Tout laisser à l’être humain, sans outils empêchant de conduire en état d’altération, a un coût. Et cela ne garantit même pas la responsabilité : sans boîtes noires à bord, obligatoires sur d’autres marchés, il est souvent impossible d’établir si un accident est dû à une erreur humaine ou à une panne.
Il en va de même pour l’administration publique. Lorsqu’une aide ou un logement social sont attribués à la mauvaise personne, la faute n’incombe clairement ni au fonctionnaire ni à l’algorithme. Mais quelqu’un doit en répondre.
La position de Nobile est nette :
- Jusqu’au niveau 4, oui. La machine aide, réduit les erreurs et les dommages, mais l’être humain conserve la responsabilité. Le volant et le levier de vitesses restent à leur place.
- Le niveau 5 est encore loin. L’autonomie totale revient à confier à la machine des choix moraux sur lesquels les êtres humains eux-mêmes ne s’accordent pas.
C’est ce que montre Moral Machine, le projet du MIT sur le dilemme du tramway. Si une voiture sans freins doit choisir qui renverser, les réponses varient selon la culture, la religion et l’implication personnelle. Comment déléguer à une machine ce que nous n’avons pas réussi à définir entre nous ?
Ce que cela signifie pour ceux qui construisent l’IA#
Pour ceux qui développent des systèmes d’IA au quotidien, le message du webinaire se traduit par des choix de conception concrets. Ce sont ceux qui guident notre travail.
- L’être humain reste au volant. KOI assiste les anesthésistes dans la classification ASA-PS des patients, mais la décision finale revient au médecin. C’est le « niveau 4 » dont parle Nobile : la machine réduit les erreurs, la personne en répond.
- Chaque action doit être traçable. Dans les agents de TIDE, comme dans tout système agentique, il faut pouvoir reconstituer qui a fait quoi et pourquoi. Sans traçabilité, la responsabilité distribuée devient la responsabilité de personne.
- Les données restent sous contrôle. Un agent qui utilise des données personnelles et coordonne plusieurs systèmes doit le faire à l’intérieur d’un périmètre défini. C’est pourquoi notre infrastructure PRISMA fonctionne on-premise ou sur un cloud européen, en conformité avec le RGPD et l’AI Act.
- Les cas critiques passent par une personne. Lorsqu’un système automatise un flux, les anomalies doivent être signalées pour une révision humaine, et non résolues en silence.
L’IA agentique peut rendre les organisations et les administrations publiques plus efficaces et, comme l’a dit Italiano, même plus présentes dans la vie des personnes. Mais l’autonomie ne fonctionne que si l’on sait clairement, au préalable, qui décide et qui répond.