Si una inteligencia artificial puede planificar y actuar por sí sola, ¿quién responde de sus acciones? Es la pregunta central del webinar «Agentic AI: tra autonomia e responsabilità» (IA agéntica: entre autonomía y responsabilidad), organizado el 13 de abril de 2026 por AgID Academy, el área de formación de la agencia digital italiana.
En el debate, moderado por Paola Liberace, participaron Giuseppe Italiano, vicerrector de IA de la LUISS Guido Carli, y Mario De Caro, titular de la Cátedra UNESCO de Ética de la IA en la Universidad Roma Tre. Junto a ellos, Mario Nobile, director general de AgID.
Tres perspectivas distintas, técnica, ética e institucional, que llegan a una conclusión común: la autonomía de las máquinas debe ir acompañada de reglas claras sobre quién decide y quién responde. Repasamos los puntos principales y lo que significan para quienes, como nosotros, llevamos la IA a la empresa y a la sanidad.
De agente de IA a IA agéntica#
Giuseppe Italiano parte de una distinción que a menudo se pierde en el debate público. Un agente de IA utiliza un modelo de lenguaje como motor, pero no se queda en la conversación: actúa sobre recursos externos como bases de datos, motores de búsqueda y plataformas digitales.
Tres elementos lo definen: un perímetro de acción fijado por quien le asigna los objetivos, una interfaz para dialogar con los usuarios y el acceso a herramientas específicas. Italiano lo compara con un empleado digital al que confiamos un escritorio virtual para tramitar un expediente.
La IA agéntica es otra cosa: es la organización del trabajo, es decir, el modo en que varios agentes se coordinan para alcanzar un objetivo. El ejemplo son los asistentes de programación. Escriben un primer borrador de código, lo analizan, lo ejecutan en un entorno protegido, corrigen los errores y vuelven a empezar hasta que el resultado funciona.
Este salto trae consigo tres desafíos nuevos:
- Certificación. Un agente individual se certifica como un producto. Un sistema agéntico exige certificar procesos y comportamientos que cambian con el tiempo.
- Responsabilidad distribuida. Cuando varios agentes colaboran, resulta difícil establecer quién ha ejecutado una acción, por qué y con qué efectos.
- Gobernanza. Alguien tiene que decidir qué hace cada agente, quién los coordina y a quién atribuir cada paso.
En síntesis, se pasa de gestionar información a gestionar procesos. Y cuanto mejor se mueven los agentes por su cuenta, más difícil es seguir el recorrido que los lleva a una conclusión.
Italiano no lo convierte en motivo de alarma. Usamos el fuego mucho antes de entender su química y la máquina de vapor antes que la termodinámica. Pero recuerda que también un servicio público proactivo, como un Estado que se activa por sí solo cuando nace un hijo, toma iniciativas, usa datos personales y coordina varios organismos. Por eso hacen falta reglas, transparencia y responsabilidades claras.
Agentes morales sin derechos#
Mario De Caro traslada la discusión a la ética. Un agente moral es una entidad autónoma cuyas decisiones pueden hacer bien o mal a los demás.
A lo largo de la historia la esfera moral se ha ampliado varias veces. Primero los esclavos, después las mujeres, que no votaron por primera vez hasta 1893, en Nueva Zelanda. Hoy reconocemos deberes también hacia los animales, los niños y las generaciones futuras. Son entidades que tienen derechos pero no deberes: en términos filosóficos, son «pacientes morales» pero no agentes.
Con la IA agéntica ocurre por primera vez lo contrario. Estos sistemas actúan e inciden en la vida de las personas, de modo que deben respetar restricciones morales. Pero no tienen derechos, porque no tienen conciencia y no pueden sufrir. Sobre la posibilidad de una conciencia artificial futura, observa De Caro, los expertos están divididos a partes iguales.
¿Por qué hacen falta restricciones? Porque estos sistemas son autónomos, poco previsibles y difíciles de explicar. No son deterministas como la vieja IA, sino probabilísticos. El caso extremo que cita De Caro son los drones militares autónomos: un sistema con un único objetivo y ningún límite sobre lo que puede atacar para alcanzarlo.
Decisiones correctas por los motivos equivocados#
El punto más concreto de la intervención de De Caro se refiere a la explicabilidad. Un sistema puede dar a menudo la respuesta correcta sin que sepamos si llega a ella por las razones correctas.
El ejemplo se ha convertido en un clásico. Un modelo entrenado para distinguir lobos de huskies acertaba en el 95 % de los casos. Al analizar los errores, se descubrió que en las fotos de los lobos casi siempre había nieve en el fondo. El sistema no reconocía al animal: reconocía la nieve.
Con lobos y huskies el error es inocuo. En medicina no. De Caro cita un estudio reciente según el cual, en las enfermedades raras, los sistemas de IA aciertan el diagnóstico con mucha más frecuencia que los médicos. Pero si un modelo basa el diagnóstico en un síntoma colateral, debido quizá a otra causa, tarde o temprano se equivocará sin que nadie lo advierta a tiempo.
De ahí la pregunta que recorre todo el webinar: cuando un sistema autónomo se equivoca, ¿de quién es la responsabilidad? ¿Del desarrollador, de quien lo adopta, del usuario o de la institución?
La lección de la conducción autónoma#
Mario Nobile responde con una comparación ya familiar: los niveles de la conducción autónoma, del 1 al 5. El coche que conduce solo es quizá el agente de IA por excelencia.
Su punto de partida es provocador. En Italia mueren unas 3.000 personas al año en las carreteras. Dejarlo todo en manos del ser humano, sin herramientas que impidan conducir con las facultades alteradas, tiene un coste. Y ni siquiera garantiza la responsabilidad: sin cajas negras a bordo, obligatorias en otros mercados, a menudo no se puede establecer si un accidente se debe a un error humano o a una avería.
Lo mismo vale para la administración pública. Cuando una ayuda o una vivienda social acaban en la persona equivocada, la culpa no es claramente ni del funcionario ni del algoritmo. Pero alguien tiene que responder.
La posición de Nobile es tajante:
- Hasta el nivel 4, sí. La máquina ayuda, reduce errores y daños, pero el ser humano mantiene la responsabilidad. El volante y el cambio siguen en su sitio.
- El nivel 5 queda lejos. La autonomía total significa confiar a la máquina decisiones morales sobre las que los propios seres humanos no están de acuerdo.
Lo demuestra Moral Machine, el proyecto del MIT sobre el dilema del tranvía. Si un coche sin frenos tiene que elegir a quién atropellar, las respuestas cambian con la cultura, la religión y la implicación personal. ¿Cómo podemos delegar en una máquina lo que no hemos logrado definir entre nosotros?
Qué significa para quienes construyen IA#
Para quienes desarrollan sistemas de IA cada día, el mensaje del webinar se traduce en decisiones de diseño concretas. Son las mismas que guían nuestro trabajo.
- El ser humano sigue al volante. KOI ayuda a los anestesistas en la clasificación ASA-PS de los pacientes, pero la decisión final corresponde al médico. Es el «nivel 4» del que habla Nobile: la máquina reduce los errores, la persona responde de ellos.
- Cada acción debe ser trazable. En los agentes de TIDE, como en cualquier sistema agéntico, hay que poder reconstruir quién hizo qué y por qué. Sin trazabilidad, la responsabilidad distribuida se convierte en responsabilidad de nadie.
- Los datos permanecen bajo control. Un agente que usa datos personales y coordina varios sistemas debe hacerlo dentro de un perímetro definido. Por eso nuestra infraestructura PRISMA funciona on-premise o en nube europea, en línea con el RGPD y el AI Act.
- Los casos críticos pasan por una persona. Cuando un sistema automatiza un flujo, las anomalías deben señalarse para una revisión humana, no resolverse en silencio.
La IA agéntica puede hacer que organizaciones y administraciones públicas sean más eficientes y, como dijo Italiano, incluso más presentes en la vida de las personas. Pero la autonomía solo funciona si está claro, de antemano, quién decide y quién responde.