KI und Compliance: Wie viel Verantwortung können Roboter übernehmen?

unternehmensjurist: KI und Compliance Compliance  Unternehmensjurist

KI und Compliance: Wie viel Verantwortung können Roboter übernehmen?

Autor: Franziska Jandl | Ausgabe: 5/2018

Ob autonomes Auto, Internet der Dinge oder Robo Advisor: Je weniger der Mensch entscheidet, desto unklarer sind die Anforderungen für den rechtskonformen Einsatz selbstlernender Software. Interdisziplinäre Expertengremien arbeiten auf EU-Ebene und national an Lösungen.

Mitte Juli ließ der oberste Jurist des Tech-Konzerns Microsoft aufhorchen, als er den amerikanischen Kongress per Blog-Beitrag aufrief, den Einsatz von Gesichtserkennungssoftware zu regulieren und damit ein Produkt, das Microsoft selbst herstellt. Die Technologie werfe Fragen auf, die den Schutz grundlegender Menschenrechte wie Privatsphäre und freie Meinungsäußerung berührten. Auch in Deutschland gibt es Reformbedarf: „Der aktuelle Rechtsrahmen reicht in der Regel aus für intelligente Software, die Unternehmen derzeit zur Automatisierung von Prozessen nutzen, zur Diagnostik in der Medizin oder für Prognosen im Handel. Regelungslücken bestehen vor allem im Hinblick auf KI, die sich selbst weiterentwickelt und etwa beim vollautonomen Fahren vollkommen eigenständig entscheidet“, erklärt Dr. Carsten Schulz, Partner bei Taylor Wessing in Hamburg (siehe auch Kasten: Fünf Stufen der Automation des Entscheidens). Bei diesen starken Formen der künstlichen Intelligenz (KI) lernt das künstliche neuronale Netz selbstständig und handelt auf dieser Grundlage. Der Mensch kann nicht mehr vorhersagen oder bestimmen, was genau in dem Roboter vor sich geht oder wie er sich entscheidet.

Wenn es schnell gehen muss…

Zusammenfassung

Bei vollständig autonomen Systemen fehlen handhabbare Maßstäben, um Haftungsrisiken angemessen zu verteilen und gegebenenfalls versicherungstechnisch abzudecken.

Aktuell haftet niemand eindeutig, wenn ein KI-Agent aufgrund seiner Interpretation der Realität Entscheidungen trifft, die sich nicht auf Design oder Herstellung des Systems zurückführen lassen.

Auf EU-Ebene wird über die Einführung einer E-Person diskutiert, wenn der eigentliche Schädiger rechtlich nicht greifbar ist.

Der Versicherungsbranche kommt eine wesentliche Rolle zu, um Risiken durch autonome Systeme mit neuen Model-len der Haftpflichtversicherung zu decken.

Weitere Knackpunkte für einen rechtskonformen Einsatz sind Transparenz, Umgang mit Daten und ein Kontrollmechanismus, um Entscheidungen selbstlernender KI und ihre Compliance zu überwachen.

DR. TOBIAS HAMMEL

Rechtsreferent, Allianz Versicherungs-AG

PROF. DR. DR. ERIC HILGENDORF

Lehrstuhl für Strafrecht, Universität Würzburg

CHRISTIAN GREGER

Leiter der Rechtsabteilung, Trumpf

Frage der Verantwortung stellt sich neu infolge fehlender Vorhersehbarkeit der Systeme

Ein Beispiel aus dem Internet der Dinge: In Produktionsmaschinen  oder Lagersystemen kommen CyberPhysical Systems (CPS) zum Einsatz, die Daten erfassen, verarbeiten und sich untereinander mit anderen Planungs- und Steuerungssystemen austauschen. Dank intelligenter Software lernen sie dabei  voneinander und können so Transportwege optimieren. Allerdings lässt sich das Verhalten dieser Systeme weder genau vorhersagen noch nachvollziehen, sondern nur noch mit einer gewissen Wahrscheinlichkeit. Deshalb untersucht die Deutsche Akademie der Technikwissenschaften mit der Universität Kassel und hochrangigen Vertretern der Wirtschaft und Gewerkschaften im Rahmen der Plattform Industrie 4.0, inwieweit  die Verantwortlichkeit für diese Systeme neu zu justieren ist.

Wer haftet für Fehlbestellungen autonomer Maschinen?

Beispielsweise  ergeben sich Fragen hinsichtlich rechtsgeschäftlicher Erklärungen der CPS: „In Zukunft können Maschinen  völlig autonom ohne Einbindung eines Menschen Ersatz für abgenutzte Stanzwerkzeuge bestellen, während heutzutage auf Kundenseite noch ein Mensch einen QR-Code einscannt, um zu ordern“, berichtet Christian Greger, Mitglied der Plattform Industrie 4.0 und Leiter Recht bei der TRUMPF GmbH & Co. KG bei Stuttgart, die intelligente Werkzeugmaschinen und Laser für die industrielle Fertigung produziert. Drei Schritte weiter gedacht könne KI Willenserklärungen abgeben, die nicht eins zu eins von demjenigen vorhersehbar waren, der die Software geschrieben hat. „Dann wird es schwieriger, eine menschliche Willenserklärung anzunehmen“, so Greger. Wem ist also eine Fehlbestellung von 100.000 statt einem Stanzwerkzeug durch eine selbststeuernde Maschine zuzurechnen? Nach der gängigen Lesart werden Erklärungen, die ein IT-System automatisiert abgibt, dessen Nutzer zugerechnet. Der Betreiber der Maschine kann sich nicht darauf berufen, deren konkretes Verhalten sei für ihn nicht vorhersehbar gewesen. Ein Lösungsansatz ist die Ausweitung der Anfechtungsmöglichkeiten auf alle fehlerhaften Erklärungen. Auch die Anwendung der Stellvertreterregeln wird diskutiert.

LEITPLANKEN FÜR RECHTSKONFORME SELBSTLERNENDE KI

  1. Der Mensch muss die Entscheidungen von Software, die sich selbst weiterentwickelt, nachvollziehen und kontrollieren können.
  2. Der Entscheidungsfreiraum künstlich intelligenter Systeme darf nicht zu weitreichend sein. Ein Kontrollmechanismus muss die Ergebnisse überwachen und Compliance gewährleisten.
  3. Der Gesetzgeber sollte durch eine Reform des Produkthaftungsrechts Motive schaffen, künstlich intelligente Systeme so sicher wie irgend möglich zu gestalten.
  4. Perfekte Funktionsweise der Programme ist von Anfang zu gewährleisten: Nicht akzeptabel ist, dass Softwarefehler wie bisher nach Meldung durch die Nutzer mehr und mehr ausgemerzt werden.

(Quelle: Prof. Dr. Eric Hilgendorf, Lehrstuhl Robotrecht an der Universität Würzburg)

„Regelungslücken bestehen vor allem im Hinblick auf KI, die sich selbst weiterentwickelt und etwa beim vollautonomen Fahren vollkommen eigenständig entscheidet.“

Dr. Carsten Schulz
Partner, Taylor Wessing

Fehlende Maßstäbe, um Haftungsrisiken zu verteilen

Da die Zuordnung der Verantwortung für eigenständig lernende KI schwierig ist, fehlen handhabbare Maßstäbe, um Haftungsrisiken angemessen zu verteilen und gegebenenfalls versicherungstechnisch zu decken. Die Produkthaftung des Herstellers endet, wenn ein Fehler nach dem Stand von Wissenschaft und Technik nicht erkannt werden konnte. Nach derzeit geltendem Recht kann also niemand explizit haftbar gemacht werden, wenn ein KI-Agent aufgrund seiner Interpretation der Realität Entscheidungen trifft, die sich nicht auf Design oder Herstellung des Programms zurückführen lassen. Zu diesem Ergebnis kommt eine Studie der Versicherungs- und Risikomanagementberatung Allianz Global Corporate & Specialty.

Gesetzgeber soll Motiv für sichere Systeme schaffen

Dies ist umso brisanter, als ein Rennen um die schnelle Markteinführung von KI-Systemen dazu führen könnte, dass Überprüfungen unzureichend durchgeführt werden und somit sichere Anwendungen nicht gewährleistet sind, warnen die Autoren der Studie. Prof. Dr. Dr. Eric Hilgendorf plädiert deshalb dafür, das Produkthaftungsrecht nachzubessern und die Hersteller zu verpflichten, Verantwortung zu übernehmen: „Die Programmierer brauchen ein Motiv, KI sicherer zu machen.“

FÜNF STUFEN DER AUTOMATION DES ENTSCHEIDENS

0. Mensch entscheidet

1. assistiertes Entscheiden

2. teilweises Entscheiden

3. geprüftes Entscheiden

4. delegiertes Entscheiden

5. autonomes Entscheiden

(Quelle: Bitkom-Leitfaden: KI verstehen als Automation des Entscheidens)

weiterlesen...

An seinem Lehrstuhl für Strafrecht, Strafprozessrecht, Rechtstheorie,  Informationsrecht und Rechtsinformatik an der Universität Würzburg wurde 2010 die Forschungsstelle RobotRecht gegründet. Im letzten Jahr hat er als Mitglied im Deutschen Ethikrat Empfehlungen für die Bundesregierung und den Bundestag für ethische, gesellschaftliche sowie rechtliche Fragen künstlicher Intelligenz erarbeitet. Aktuell gehört Hilgendorf der „Expertengruppe für Künstliche Intelligenz“ der  EU-Kommission an, zu deren 52 Mitgliedern Vertreter des Fraunhofer Instituts für Industrial Engineering oder der Pariser Sorbonne genauso zählen wie Zalando oder Nokia, aber auch Nichtregierungsorganisationen wie Algorithm Watch.

Versicherern kommt wesentliche Rolle zu

Auch wenn der Gesetzgeber aktuelle Haftungslücken im Zivilrecht schließt, kommt der Versicherungsbranche eine wesentliche Rolle zu, um neue Risiken durch KI-Software mit innovativen Modellen der Haftpflichtversicherung abzusichern. „Etwaige Regressansprüche gegen Hersteller oder Zulieferer können Versicherer im Vergleich zu Verbrauchern effektiver durchsetzen. Zugleich können sich auch Unternehmen gegen Risiken der KI absichern“, erklärt Dr. Tobias Hammel, der sich als Rechtsreferent der Allianz Versicherungs-AG in München unter anderem mit Fragen der KI befasst. Betreiber autonomer Produktionsmaschinen  könnten ebenfalls als „Gefährder“ haften und Risiken wie die Verletzung von Arbeitern oder Schäden durch Fehler im Endprodukt über eine Versicherung abdecken.

E-Person ist umstritten

Auf  EU-Ebene wird auch über die Einführung  einer sogenannten E-Person diskutiert, die am Lehrstuhl RobotRecht in Würzburg entwickelt wurde. Mithilfe einer solchen elektronischen Person würde ein Haftungssubjekt geschaffen für Fälle, wenn der eigentliche Schädiger rechtlich nicht greifbar ist:  Etwa, wenn sich ein System infolge von Beweis- und Zurechnungsproblemen nicht mehr einer Person zuordnen lässt oder die Manipulateure nach einer Cyberattacke nicht zu ermitteln sind. „Der Geschädigte könnte einen Ausgleich aus einer Vermögenssumme erhalten, die mithilfe einer Versicherung oder durch den Steuerzahler gespeist wird. Künstlich  intelligente Systeme mit einer gewissen Komplexität und Schadenswahrscheinlichkeit dürften dann nicht ohne Zuordnung eines solchen Vermögens vertrieben werden“, erklärt Robot-Recht-Experte Hilgendorf. Zwar sei diese Figur in Deutschland nicht nötig, möglicherweise aber in anderen EU-Staaten.

Allianz-Jurist Hammel sieht die Einführung einer E-Person in Deutschland ebenfalls kritisch: „Es besteht kein Bedürfnis dafür. Am Beispiel der Halterhaftung nach dem Straßenverkehrsgesetz wird deutlich, dass das bisherige Haftungssystem zufriedenstellende Lösungen bietet. Außerdem könnte die Einführung einer E-Person zu einem nachlässigen Umgang mit KI führen, weil die ‚Maschine‘ einzustehen hat“, gibt Hammel zu bedenken. Dies ist umso bedeutsamer, weil Software, die sich selbst weiterentwickelt, auch Fehler lernen kann. „Es darf nicht sein, dass ein autonomes Auto die Geschwindigkeitsbegrenzung  missachtet, weil es sich das Verhalten anderer Fahrzeuge aneignet, die zu schnell fahren. An diesem Beispiel wird erkennbar, dass beim Einsatz von KI sorgsam zu prüfen ist, worauf sie Einfluss nehmen darf.“

Begrenzter Lern- und Entscheidungs-Freiraum minimiert Risiken

Prof.  Eric Hilgendorf nennt eine Stellschraube, um fehlerhaftem Verhalten entgegenzuwirken: „Damit der Schaden, den selbstlernende KI anrichten kann, nicht allzu umfassend wird, sollte der Entscheidungsfreiraum von KI durch entsprechende Programmierung von vornherein eingeschränkt werden. „Sehr weit in die Zukunft gedacht sind bei sicherheitsrelevanten Systemen auch strafrechtliche Regeln vorstellbar. Diese könnten vorgeben, dass Programmierer den Lernraum künstlicher Intelligenz so eingrenzen, dass sie Menschen nicht schädigen können: „Spielzeug darf dann zwar immer mehr Fähigkeiten erwerben, um individuell auf die Spielideen der Kinder einzugehen. Strafrechtliche Konsequenzen drohen aber dann, wenn technisch nicht verhindert wird, dass das Spielzeug irgendwann einen Menschen verletzt“, so Hilgendorf.

Geschäftsleitung bleibt in der Pflicht

Die Frage der Verantwortung für autonome Roboter stellt sich branchenübergreifend:  So hat auch die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) gemeinsam mit Partnerschaft Deutschland, Boston Consulting Group und dem Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme in einer Studie untersucht, welche Implikationen sich für die Aufsicht ergeben, wenn Big Data und künstliche Intelligenz  Daten verarbeitet und analysiert. Sie stellt klar, dass auch bei automatisierten Prozessen in letzter Instanz die Unternehmensleitung für die Entscheidung der Systeme verantwortlich ist.

Schlüsselfaktor Transparenz

Deshalb fordern die Autoren der BaFin-Studie eine angemessene Dokumentation und wirksame Kontrollsysteme für Entscheidungen auf Basis von Big Data- und KI-Anwendungen. Komplexe Modelle dürften nicht zu intransparenten Entscheidungen in einer Blackbox führen. „Wir müssen die Entscheidungsfindung eines voll- oder teilautomatisierten Prozesses jederzeit  nachvollziehen können“, erklärt BaFinPräsident Felix Hufeld. Nur dann habe die BaFin überhaupt die Chance, frühzeitig auf Fehler im Analyseprozess aufmerksam zu werden und entsprechend einzugreifen. Das gilt umgekehrt auch für die Unternehmen selbst. Schließlich berührt der Einsatz von KI häufig sensible Bereiche wie Scoring-Verfahren für die  Kreditwürdigkeit oder Versicherungstarife, die anfällig für Diskriminierungen sind. Last but not least gilt dem Umgang mit Daten ein Augenmerk. „Aktuell diskutieren Syndizi häufig über die Rechte an Daten, die aus der Nutzung von KI entstehen“, berichtet Taylor Wessing-Partner Carsten Schulz. „Entscheidend ist etwa für Zulieferer, dass sie Zugriff auf die Daten behalten, die ihr Produkt nach Einbau in ein Auto oder eine Maschine sendet.“ Dafür gebe es neben vertraglichen auch technische Lösungen. Etwa indem sich Software nicht weiterentwickelt, sobald der Zulieferer keine Daten aus dem Endprodukt mehr erhält, um seine eigenen Zulieferteile und Services zu verbessern.

Daten- und KI-Management integrieren

Da Fragen der Technik, IT und Recht beim Thema Data Governance eng zusammenhängen, müssen Juristen darauf drängen, Daten- und  KI-Management zu integrieren. Was den Umgang mit personenbezogenen Daten betrifft, fordern die  Autoren der BaFin-Studie, Verbraucher stärker für die Nutzungsmöglichkeiten und Bedeutung ihrer  Finanzdaten zu sensibilisieren, weil Big Data-Auswertungen künstlicher Intelligenz tiefe Einblicke in Kundencharakteristika gewähren. Somit kann der Appell von Microsoft-Jurist Brad Smith für die Regulierung neuer Technologien und einen strengen Datenschutz auch eine Orientierungshilfe  für Unternehmen sein, die eine Strategie für KI entwickeln: Transparenz, Data Governance sowie Steuerungsmechanismen für eine vernünftige Kontrolle und Begrenzung  sind Schlüsselfaktoren, um rechtliche Risiken zu minimieren und Vorbehalten gegenüber innovativen Geschäftsmodellen bei Aufsichtsbehörden, aber auch bei Kunden entgegenzuwirken.

Bildnachweise: © Shutterstock.com/THE.STUDIO/Bluehousestudio | © www.martinjoppen.de | © Tina Taege