Wenn eine künstliche Intelligenz selbstständig planen und handeln kann, wer haftet dann für ihre Handlungen? Diese Frage stand im Mittelpunkt des Webinars „Agentic AI: tra autonomia e responsabilità“ (Agentische KI: zwischen Autonomie und Verantwortung), das die AgID Academy, die Weiterbildungseinrichtung der italienischen Digitalagentur, am 13. April 2026 veranstaltet hat.
An der von Paola Liberace moderierten Diskussion nahmen Giuseppe Italiano, Prorektor für KI an der LUISS Guido Carli, und Mario De Caro, Inhaber des UNESCO-Lehrstuhls für Ethik der KI an der Universität Roma Tre, teil. Mit dabei war Mario Nobile, Generaldirektor der AgID.
Drei unterschiedliche Perspektiven, eine technische, eine ethische und eine institutionelle, die zu einem gemeinsamen Schluss kommen: Die Autonomie der Maschinen braucht klare Regeln dafür, wer entscheidet und wer die Verantwortung trägt. Wir fassen die wichtigsten Punkte zusammen und zeigen, was sie für alle bedeuten, die wie wir KI in Unternehmen und ins Gesundheitswesen bringen.
Vom KI-Agenten zur agentischen KI#
Giuseppe Italiano beginnt mit einer Unterscheidung, die in der öffentlichen Debatte oft verloren geht. Ein KI-Agent nutzt ein Sprachmodell als Motor, bleibt aber nicht beim Gespräch stehen: Er agiert auf externen Ressourcen wie Datenbanken, Suchmaschinen und digitalen Plattformen.
Drei Elemente definieren ihn: ein Handlungsrahmen, den derjenige festlegt, der ihm die Ziele vorgibt, eine Schnittstelle für den Dialog mit den Nutzern und der Zugriff auf bestimmte Werkzeuge. Italiano vergleicht ihn mit einem digitalen Mitarbeiter, dem wir einen virtuellen Schreibtisch überlassen, damit er einen Vorgang erledigt.
Agentische KI ist etwas anderes: Sie ist die Organisation der Arbeit, also die Art und Weise, wie mehrere Agenten koordiniert werden, um ein Ziel zu erreichen. Das Beispiel sind Programmierassistenten. Sie schreiben einen ersten Codeentwurf, analysieren ihn, führen ihn in einer geschützten Umgebung aus, korrigieren die Fehler und beginnen von vorn, bis das Ergebnis funktioniert.
Dieser Sprung bringt drei neue Herausforderungen mit sich:
- Zertifizierung. Ein einzelner Agent lässt sich wie ein Produkt zertifizieren. Ein agentisches System verlangt die Zertifizierung von Prozessen und Verhaltensweisen, die sich im Laufe der Zeit ändern.
- Verteilte Verantwortung. Wenn mehrere Agenten zusammenarbeiten, lässt sich nur schwer feststellen, wer eine Handlung ausgeführt hat, warum und mit welchen Folgen.
- Governance. Jemand muss entscheiden, was jeder Agent tut, wer sie koordiniert und wem jeder einzelne Schritt zuzurechnen ist.
Kurz gesagt: Man geht vom Verwalten von Informationen zum Verwalten von Prozessen über. Und je besser sich Agenten allein bewegen können, desto schwieriger ist es, den Weg nachzuvollziehen, der sie zu einem Ergebnis führt.
Italiano sieht darin keinen Grund zur Beunruhigung. Wir haben das Feuer lange genutzt, bevor wir seine Chemie verstanden haben, und die Dampfmaschine vor der Thermodynamik. Er erinnert aber daran, dass auch ein proaktiver öffentlicher Dienst, etwa ein Staat, der bei der Geburt eines Kindes von sich aus tätig wird, die Initiative ergreift, personenbezogene Daten nutzt und mehrere Behörden koordiniert. Deshalb braucht es klare Regeln, Transparenz und Verantwortlichkeiten.
Moralische Akteure ohne Rechte#
Mario De Caro lenkt die Diskussion auf die Ethik. Ein moralischer Akteur ist eine autonome Entität, deren Entscheidungen anderen nützen oder schaden können.
Im Laufe der Geschichte hat sich die moralische Sphäre mehrfach erweitert. Zuerst um die Sklaven, dann um die Frauen, die erst 1893 in Neuseeland zum ersten Mal wählen durften. Heute erkennen wir auch Pflichten gegenüber Tieren, Kindern und künftigen Generationen an. Es sind Entitäten, die Rechte, aber keine Pflichten haben: Philosophisch gesprochen sind sie „moralische Patienten“, aber keine Akteure.
Mit agentischer KI geschieht zum ersten Mal das Gegenteil. Diese Systeme handeln und wirken sich auf das Leben von Menschen aus, also müssen sie moralische Grenzen einhalten. Rechte haben sie jedoch nicht, weil sie kein Bewusstsein haben und nicht leiden können. Bei der Frage, ob ein künstliches Bewusstsein künftig möglich ist, so De Caro, sind die Experten je zur Hälfte geteilter Meinung.
Warum braucht es Grenzen? Weil diese Systeme autonom, schwer vorhersehbar und schwer erklärbar sind. Sie sind nicht deterministisch wie die alte KI, sondern probabilistisch. Als Extremfall nennt De Caro autonome Militärdrohnen: ein System mit einem einzigen Ziel und ohne jede Grenze dafür, was es treffen darf, um es zu erreichen.
Richtige Entscheidungen aus den falschen Gründen#
Der konkreteste Punkt in De Caros Beitrag betrifft die Erklärbarkeit. Ein System kann häufig die richtige Antwort geben, ohne dass wir wissen, ob es aus den richtigen Gründen dazu kommt.
Das Beispiel ist zum Klassiker geworden. Ein Modell, das darauf trainiert war, Wölfe und Huskys zu unterscheiden, lag in 95 % der Fälle richtig. Die Analyse der Fehler zeigte, dass auf den Wolfsfotos fast immer Schnee im Hintergrund lag. Das System erkannte nicht das Tier: Es erkannte den Schnee.
Bei Wölfen und Huskys ist der Fehler harmlos. In der Medizin nicht. De Caro zitiert eine aktuelle Studie, der zufolge KI-Systeme bei seltenen Krankheiten deutlich häufiger die richtige Diagnose stellen als Ärzte. Stützt ein Modell die Diagnose aber auf ein Begleitsymptom, das vielleicht eine andere Ursache hat, wird es früher oder später falsch liegen, ohne dass es jemand rechtzeitig bemerkt.
Daraus ergibt sich die Frage, die sich durch das gesamte Webinar zieht: Wer trägt die Verantwortung, wenn ein autonomes System einen Fehler macht? Der Entwickler, derjenige, der es einsetzt, der Nutzer oder die Institution?
Die Lehre aus dem autonomen Fahren#
Mario Nobile antwortet mit einem inzwischen vertrauten Vergleich: den Stufen des autonomen Fahrens von 1 bis 5. Das selbstfahrende Auto ist vielleicht der KI-Agent schlechthin.
Sein Ausgangspunkt ist provokant. In Italien sterben jedes Jahr rund 3.000 Menschen im Straßenverkehr. Alles dem Menschen zu überlassen, ohne Instrumente, die das Fahren in beeinträchtigtem Zustand verhindern, hat einen Preis. Und es garantiert nicht einmal Verantwortlichkeit: Ohne Blackboxes an Bord, die in anderen Märkten vorgeschrieben sind, lässt sich oft nicht feststellen, ob ein Unfall auf menschliches Versagen oder auf einen Defekt zurückzuführen ist.
Dasselbe gilt für die öffentliche Verwaltung. Wenn eine Beihilfe oder eine Sozialwohnung an die falsche Person geht, liegt die Schuld weder eindeutig beim Beamten noch beim Algorithmus. Aber jemand muss dafür einstehen.
Nobiles Position ist eindeutig:
- Bis Stufe 4: ja. Die Maschine hilft, reduziert Fehler und Schäden, doch die Verantwortung bleibt beim Menschen. Lenkrad und Schaltung bleiben an ihrem Platz.
- Stufe 5 ist noch weit entfernt. Vollständige Autonomie bedeutet, der Maschine moralische Entscheidungen zu übertragen, über die sich die Menschen selbst nicht einig sind.
Das zeigt Moral Machine, das MIT-Projekt zum Trolley-Problem. Wenn ein Auto ohne Bremsen wählen muss, wen es überfährt, ändern sich die Antworten je nach Kultur, Religion und persönlicher Betroffenheit. Wie können wir einer Maschine überlassen, was wir untereinander nicht zu klären vermocht haben?
Was das für alle bedeutet, die KI entwickeln#
Für alle, die täglich KI-Systeme entwickeln, übersetzt sich die Botschaft des Webinars in konkrete Entwurfsentscheidungen. Es sind dieselben, die unsere Arbeit leiten.
- Der Mensch bleibt am Steuer. KOI unterstützt Anästhesisten bei der ASA-PS-Klassifikation der Patienten, die endgültige Entscheidung bleibt jedoch beim Arzt. Das ist die „Stufe 4“, von der Nobile spricht: Die Maschine reduziert die Fehler, der Mensch steht dafür ein.
- Jede Handlung muss nachvollziehbar sein. Bei den Agenten von TIDE muss sich, wie in jedem agentischen System, rekonstruieren lassen, wer was getan hat und warum. Ohne Nachvollziehbarkeit wird verteilte Verantwortung zur Verantwortung von niemandem.
- Die Daten bleiben unter Kontrolle. Ein Agent, der personenbezogene Daten nutzt und mehrere Systeme koordiniert, muss dies innerhalb eines definierten Rahmens tun. Deshalb läuft unsere PRISMA-Infrastruktur on-premise oder in einer europäischen Cloud, im Einklang mit DSGVO und AI Act.
- Kritische Fälle gehen über einen Menschen. Wenn ein System einen Ablauf automatisiert, müssen Anomalien zur menschlichen Prüfung gemeldet und dürfen nicht stillschweigend gelöst werden.
Agentische KI kann Organisationen und öffentliche Verwaltungen effizienter machen und, wie Italiano sagte, sogar präsenter im Leben der Menschen. Doch Autonomie funktioniert nur, wenn vorher klar ist, wer entscheidet und wer die Verantwortung trägt.