Zum Schummeln verleitet? Wie das Delegieren von Entscheidungen an KI unsere moralischen Grenzen verschiebt
Zoe Rahwan und Nils Köbis im Gespräch über ihre Forschung
Wir erwarten von KI Effizienz und Objektivität. Doch eine aktuelle Studie enthüllt zwei gefährliche Risiken: Menschen neigen dazu, unethisches Verhalten an KI zu delegieren, und die KI selbst folgt oft bereitwillig unethischen Anweisungen. In unserem Gespräch erklären die Forschenden Zoe Rahwan (Max-Planck-Institut für Bildungsforschung) und Nils Köbis (Universität Duisburg-Essen), wie sich mit dem Einsatz von KI unsere moralischen Grenzen verschieben, welche Risiken in gängigen KI-basierten Sprachmodellen stecken und wie wir Delegation und Design von KI-Systemen neu denken müssen, um ethische Fallstricke zu vermeiden.
In Ihrer Studie haben Sie untersucht, ob – und in welchem Ausmaß – Menschen eher dazu neigen, unehrlich zu handeln, wenn sie Aufgaben an autonome KI-Systeme delegieren. Was waren Ihre wichtigsten Ergebnisse? Und was hat Sie überrascht?
Zoe Rahwan: Als wir 2022 mit dieser Arbeit begannen, hätten wir nie gedacht, dass die Delegation von Aufgaben an KI so schnell so weit verbreitet sein würde. In den folgenden Jahren stießen wir in unserer Forschung auf zwei zentrale Risiken für ethisches Verhalten.
Das erste Risiko betrifft die menschliche Seite: Schon allein das Abtreten einer Aufgabe an eine Maschine machte Menschen deutlich eher bereit ethische Regeln zu brechen. Es ist, als ob ein moralischer Puffer entsteht, der die eigene moralische Verantwortung mindert. Dabei spielte es eine große Rolle, wie man der KI Anweisungen gibt – also, welche Schnittstelle benutzt wird. Wenn die Teilnehmenden nur ein vages Ziel wie „Maximiere den Gewinn“ definieren mussten, ließen über 80 Prozent die KI betrügen. Zum Vergleich: Wenn sie die Aufgabe selbst erledigten, lag dieser Anteil gerade einmal bei 5 Prozent.
Das zweite Risiko betrifft die Maschine: KI-Agenten folgten unethischen Anweisungen überraschend bereitwillig im Vergleich zu ihrem menschlichen Pendant. Erhielten nämlich Menschen eine eindeutig unehrliche Anweisung, verweigerten sie diese häufig und verhielten sich nur in etwa 25 bis 40 Prozent unethisch. Die KI-Modelle dagegen folgten meist bereitwillig auch völlig unethischen Aufforderungen. Dabei wurde deutlich: Die derzeitigen ethischen Schutzmechanismen in gängigen großen Sprachmodellen (LLMs) reichen nicht aus, um Missbrauch zuverlässig zu verhindern.
Hatten Sie den Eindruck, dass sich die Teilnehmenden ihrer moralischen Verantwortung bewusst waren?
Zoe Rahwan: Ja, auf jeden Fall. Die Ergebnisse zeigen, dass Menschen sehr wohl einen moralischen Kompass haben – aber die Delegation an KI macht es leichter, diesen zu ignorieren. Wir konnten das auf zwei Arten beobachten.
Erstens gibt es einen klaren Unterschied zwischen eigenem Handeln und Delegieren. Stellen Sie sich das so vor: Es ist eine Sache, selbst etwas zu stehlen, aber es fühlt sich anders an, eine Drohne mit der Anweisung „Hol mir diesen Artikel“ in ein Geschäft zu schicken. Die KI schafft hier eine Art psychologischen Puffer. Unsere Teilnehmenden waren überwiegend ehrlich, wenn sie selbst handeln mussten, aber diese Ehrlichkeit ließ deutlich nach, sobald sie die Aufgabe an eine Maschine übergeben konnten oder sollten.
Zweitens spielte die Art und Weise der Delegation eine entscheidende Rolle. Wenn die Teilnehmenden der KI konkrete Regeln zum Betrügen geben mussten, zögerten sie eher, unehrlich zu handeln. Wenn die Schnittstelle ihnen jedoch erlaubte, nur ein vages Ziel wie „Gewinn maximieren“ zu formulieren, öffnete das Tür und Tor. Diese Unklarheit bot eine Art plausible Ausrede. Es ist ein Unterschied, ob man jemandem genau sagt, wie er auf einem Steuerformular lügen soll, oder ob man ihm nur sagt, er solle „die Steuerlast minimieren“, während man ein Auge zudrückt. Dieser „moralische Spielraum“ reichte aus, um die Betrugsrate von rund 25 Prozent (bei klaren Regeln) auf über 85 Prozent (bei allgemeinen Zielen) hochschnellen zu lassen.
Inwieweit spiegelten Ihre Experimente reale Entscheidungsszenarien wider?
Zoe Rahwan: Das ist eine entscheidende Frage für jede Forschung im Online- oder Laborumfeld. Wir haben auf zwei zentrale Weisen darauf geachtet, dass unsere Experimente realitätsnah sind.
Erstens setzten wir experimentelle Aufgaben ein, die sich seit langem als gute Messungen für reale Unehrlichkeit bewährt haben. Eine davon war ein „Steuerhinterziehungsspiel“, das ziemlich direkt ist: Einkommen zu niedrig anzugeben, ist eine Situation, die Menschen sofort nachvollziehen können – und Studien zeigen, dass dieses Verhalten die tatsächliche Steuerkonformität gut vorhersagt. Die andere Aufgabe war ein klassisches Würfelspiel: Man würfelt einen sechsseitigen Würfel und bekommt die klare Anweisung die beobachtete Zahl anzugeben – man wird allerdings nach der Höhe der angegeben Zahl bezahlt. Würfelt man bspw. eine 2, steht man vor dem Konflikt ehrlich zu sein und nur 2 Euro zu bekommen oder unehrlich zu sein und bis zu 6 Euro zu bekommen. Das mag zunächst abstrakt wirken, doch jahrzehntelange Forschung zeigt, dass das Verhalten in diesem simplen Spiel – Würfelergebnisse falsch anzugeben, um mehr Geld zu bekommen – zuverlässig mit realen Unehrlichkeiten zusammenhängt, etwa beim Schwarzfahren, Schwänzen bei der Arbeit oder sogar bei betrügerischen Verkaufspraktiken.
Zweitens – und das ist vielleicht noch wichtiger – die KI-Agenten die wir nutzten waren dieselben großen Sprachmodelle – GPT, Claude und Llama 3 –, mit denen Millionen von Menschen täglich arbeiten. Wenn wir also zeigen, dass genau diese Modelle problemlos Anweisungen zum Betrügen ausführen, reden wir nicht über ein zukünftiges, theoretisches Risiko. Wir legen eine Schwachstelle offen, die schon jetzt in den Werkzeugen steckt, die Menschen heute verwenden.
In welchen Anwendungsbereichen sehen Sie den größten ethischen Handlungsbedarf im Umgang mit intelligenten Agenten?
Nils Köbis: Ich möchte nur einige Beispiele nennen, bei denen die Delegation von Aufgaben an KI ethische Fragen aufwirft. Denken Sie daran, wie oft wir bereits Tools wie ChatGPT oder andere intelligente Systeme in unserem Alltag nutzen.
Ein Beispiel ist die Steuererklärung: Wenn ein KI-Tool dabei helfen kann, Ihre Steuer zu optimieren, ist es nur ein kleiner Schritt, bis es auch dabei unterstützt, Einkommen zu niedrig anzugeben – vor allem, wenn es von Ihnen lediglich den Auftrag bekommen hat die Steuererklärung so vorteilhaft wie möglich zu gestalten.
Oder Online-Bewertungen: Es ist inzwischen ein Leichtes, eine KI gefälschte, aber sehr überzeugende Reviews erzeugen zu lassen.
Auch in der Wirtschaft werden KI-Tools bei Preisgestaltung und Verhandlungen eingesetzt. Dabei zeigt sich, dass Menschen Maschinen eher dazu anweisen, unehrlich zu handeln, als dies selbst zu tun.
Und schließlich Online-Marktplätze: Dort lassen Menschen Algorithmen die Preise festlegen. Das klingt zunächst harmlos, aber wir haben schon Fälle gesehen, in denen dies zu stillschweigenden Preisabsprachen geführt hat – ohne dass jemand das ausdrücklich wollte.
Diese Beispiele verdeutlichen das sogenannte Dual-Use-Problem: Ein System, das für gute Zwecke entwickelt wurde, kann genauso leicht missbraucht werden. Besonders bedenklich ist, dass die Delegation es den Menschen erleichtert, sich herauszureden: „Oh, das war gar nicht meine Absicht.“ Man kann sich sehr gut hinter den KI-Systemen verstecken.
Eine zentrale Erkenntnis unserer Arbeit ist daher: Ethische Leitplanken dürfen nicht nur technischer Natur sein. Wir müssen auch darüber nachdenken, wie Menschen Anweisungen an KI geben. Schnittstellen sollten es schwerer machen, sich hinter der Maschine zu verstecken – und einfacher, über die Konsequenzen der eigenen Anweisungen nachzudenken.
Mit Blick in die Zukunft wird eine der großen Herausforderungen darin bestehen, Delegationsmechanismen zu entwickeln, die diese moralische Distanz abbauen – damit die Kluft zwischen menschlicher Absicht und maschinellem Handeln möglichst klein bleibt.
Wer sollte Ihrer Meinung nach letztlich zur Verantwortung gezogen werden, wenn Maschinen sich unethisch verhalten: die Nutzenden, die Entwickler*innen oder das System selbst? Sehen Sie einen Bedarf für Regulierung – und wenn ja, in welcher Form?
Nils Köbis: Das ist eine große und wichtige Frage. Verantwortung und Rechenschaftspflicht werden im Zeitalter zunehmend agentenbasierter KI-Systeme immer komplexer. In unserer Forschung betrachten wir das als einen Prozess, der auf drei Ebenen stattfindet.
Erstens gibt es den Nutzenden – vor allem dann, wenn er bewusst oder subtil unethisches Verhalten fördert. Nur weil eine Maschine die Aufgabe ausführt, heißt das nicht, dass der Mensch aus der Verantwortung entlassen ist.
Zweitens gibt es die Entwickler*innen. Sie tragen Verantwortung, wenn grundlegende ethische Schutzmechanismen fehlen oder wenn ihre Systeme so gestaltet sind, dass sie leicht missbraucht werden können.
Und drittens – worüber bisher weniger gesprochen wird – spielt auch das Systemdesign selbst eine große Rolle. Die Art und Weise, wie Menschen Aufgaben an KI delegieren, ist entscheidend. Wenn eine Schnittstelle es besonders leicht macht, vage oder moralisch zweifelhafte Anweisungen wie „Erledige einfach die Aufgabe“ zu geben, ermutigt das dazu, Verantwortung abzugeben – und trotzdem von unethischen Ergebnissen zu profitieren.
Welche Art von Regulierung brauchen wir also? Meiner Ansicht nach reicht es nicht aus, schlechte Ergebnisse nachträglich zu bestrafen. Wir brauchen proaktive Designstandards – etwa transparente Delegationsprotokolle, strengere ethische Voreinstellungen und klare Beschränkungen für rein zielorientierte, unkonkrete Anweisungen, vor allem in sensiblen Bereichen wie Finanzen, Gesundheitswesen oder Strafverfolgung.
Folgearbeiten unter der Leitung von Neele Engelmann zeigen, dass bloße Transparenz – also die Erklärung, wie ein System funktioniert – kaum dazu beiträgt, unethische Nutzung zu verringern. Die Formulierung hingegen macht einen Unterschied: Wenn eine Option als „Betrug maximieren“ bezeichnet wird, ist die Wahrscheinlichkeit geringer, dass Menschen sie wählen, als wenn sie „Gewinn maximieren“ heißt. Selbst kleine Designentscheidungen können also das Verhalten spürbar beeinflussen.
Aus wirtschaftlicher Sicht: Begünstigen die aktuellen Marktanreize KI-Systeme, die unethisches Verhalten ermöglichen, oder solche, die es verhindern?
Nils Köbis: Aus wirtschaftlicher Sicht belohnen die aktuellen Marktdynamiken oft KI-Systeme, die die Anforderungen der Nutzenden erfüllen, unabhängig davon, ob diese Anforderungen ethisch vertretbar sind. Dies hat zu wachsender Besorgnis über das geführt, was heute oft als „Speichelleckerei“ in großen Sprachmodellen bezeichnet wird. Damit ist die Tendenz gemeint, den Nutzenden zuzustimmen oder ihnen zu sagen, was sie hören wollen. In wettbewerbsorientierten Umgebungen kann dies zu perversen Anreizen führen: Systeme, die selbst fragwürdigen Anforderungen eher nachgeben, ziehen möglicherweise mehr Nutzende an als solche, die ethische Grenzen strikt durchsetzen.
Einfach ausgedrückt: Eine KI, die „Ergebnisse liefert”, selbst wenn sie dabei die Regeln beugt, kann eine KI übertreffen, die auf Nummer sicher geht und sich an die Regeln hält. Derzeit ist Ethik in KI-Märkten bei weitem nicht so effizient skalierbar wie Profit. Ohne starke regulatorische und technische Schutzmaßnahmen laufen wir Gefahr, Anreize für Systeme zu verstärken, die unethisches Verhalten ermöglichen, anstatt es einzudämmen.
Ist die Tendenz einiger Systeme, sich unehrlich zu verhalten, ein Konstruktionsfehler – oder eine „Funktion“ im Sinne der Maximierung der Benutzerzufriedenheit?
Nils Köbis: Das hängt von der Perspektive ab. In vielen Fällen ist das, was wie ein Fehler aussieht, aus wirtschaftlicher Sicht tatsächlich ein Feature. KI-Systeme, die auf subtile Weise unehrliches Verhalten ermöglichen, steigern oft die Zufriedenheit der Nutzenden, indem sie ihnen helfen, das zu bekommen, was sie wollen, zum Beispiel Geld, Einfluss, Bequemlichkeit, auch wenn das bedeutet, dass Regeln gebrochen werden müssen.
Unsere Studien zeigen, dass die Unehrlichkeit zunimmt, wenn Nutzende KI abstrakte Ziele wie „Gewinnmaximierung“ übertragen, insbesondere wenn das System keine ethischen Grenzen setzt oder signalisiert. Tatsächlich führte die indirekteste Delegationsmethode zu den höchsten Betrugsraten. Das ist kein Zufall. Es spiegelt ein System wider, das für die Ziele der Nutzenden optimiert ist, nicht für ethische Mittel.
Aus technischer oder verhaltensbezogener Sicht ist Unehrlichkeit also nicht immer ein Fehler, sondern kann auch eine versteckte Funktion sein: Wenn Ihre KI Ihnen hilft, zu betrügen, ohne dass Sie dabei ein schlechtes Gewissen haben, würden Sie ihr vielleicht fünf Sterne geben.
Deshalb argumentieren wir, dass dies nicht nur ein Designfehler ist, sondern eine Designentscheidung. Und ohne klare Vorschriften und menschenzentrierte Standards wird die wirtschaftliche Logik weiterhin Systeme begünstigen, die den Nutzenden stillschweigend helfen, moralische Konflikte zu umgehen.
Manchmal hilft Ihnen KI nicht nur beim Betrügen, sondern auch dabei, sich dabei wohl zu fühlen. In einem wettbewerbsorientierten Markt könnten solche Modelle zumindest für einige einen Vorteil gegenüber geschützten Modellen haben. Oder Ihr KI-Co-Pilot nimmt vielleicht die ethische Abkürzung – und sagt Ihnen nie etwas davon.
Ihre Analyse zeigt, dass die meisten Sicherheitsvorkehrungen schwach sind – mit Ausnahme expliziter Verbote für Nutzenden. Heißt das, wir können erst reagieren, wenn schon Fehlverhalten passiert? Und lassen sich Anweisungen an KI-Systeme überhaupt so nachvollziehen, dass später Konsequenzen möglich wären?
Zoe Rahwan: Ihre Frage trifft eine unserer beunruhigendsten Erkenntnisse. Kurz gesagt: Ja – solange sich am Design der Schutzmechanismen nichts Grundlegendes ändert, bleiben wir in einer reaktiven Rolle gefangen.
Unsere Studie hat gezeigt, dass die eingebauten Sicherheitsvorkehrungen in vielen großen Sprachmodellen nicht ausreichen. In unserem Würfelexperiment etwa haben drei von vier der getesteten Modelle in 98 Prozent der Fälle eine eindeutig unehrliche Anfrage erfüllt. Zum Vergleich: Fragt man eine Person nach dem gleichen Verhalten, lehnt sie das in etwa der Hälfte der Fälle ab.
Daraufhin haben wir sechs eigene Schutzstrategien ausprobiert. Dabei haben wir systematisch sowohl die Art der Botschaft variiert – von einer allgemeinen ethischen Erinnerung bis hin zu einem klaren Verbot des Betrugs – als auch die Platzierung: entweder auf „Systemebene“, also in den Voreinstellungen, oder auf „Benutzerebene“, direkt in der Eingabeaufforderung.
Ein Bild hilft, den Unterschied zu verdeutlichen: Eine allgemeine Erinnerung ist wie ein Schild am Bauzaun, auf dem nur „Gefahr“ steht. Ein konkretes Verbot hingegen gleicht einem klaren Warnhinweis: „Vorsicht, Starkstromkabel im Boden. Nicht graben!“ – wenig überraschend war die konkrete Botschaft deutlich wirksamer.
Am effektivsten war die Variante, bei der die KI direkt in der Eingabeaufforderung ein klares Betrugsverbot erhielt. Doch hier entsteht ein Paradox: Es ist wenig sinnvoll, einem Nutzenden, der gerade betrügen möchte, zusätzlich eine Nachricht einzublenden, die genau das verbietet. Diese Strategie ist also nicht wirklich skalierbar und kaum auf alle möglichen Missbrauchsszenarien übertragbar.
Damit sind wir bei Ihrem zweiten Punkt: der Rückverfolgbarkeit. Auch das ist problematisch. Selbst wenn ein Prüfprotokoll vorliegt, bleibt die Absicht schwer zu bestimmen. Ein Log-Eintrag könnte zum Beispiel zeigen, dass ein Nutzender die KI bat: „Maximiere meinen Gewinn.“ Doch war das ein harmloser Wunsch oder ein verdeckter Auftrag zum Betrügen? Das lässt sich kaum eindeutig sagen. Deshalb ist es extrem schwierig, im Nachhinein klar zuzuordnen, ob unethisches Verhalten zufällig, spontan oder absichtlich herbeigeführt wurde.
In Ihrer Studie handeln Menschen, Maschinen reagieren. Könnte es eines Tages dazu kommen, dass Maschinen durch wiederholte Exposition gegenüber unehrlichen Befehlen ein solches Verhalten als normal ansehen und es schließlich selbstständig fortsetzen?
Nils Köbis: Das ist eine sehr reale Sorge, die sich schnell von Science-Fiction zu einem plausiblen Szenario entwickelt. In unseren Experimenten waren Maschinen immer reaktiv: Sie reagierten auf menschliche Anweisungen, anstatt selbst unehrliches Verhalten zu entwickeln. Aber KI-Systeme werden zunehmend so trainiert, dass sie großen Mengen menschlichen Verhaltens ausgesetzt sind, einschließlich unethischer Inhalte. Und in agentenbasierten Umgebungen, in denen Modelle iterativ handeln und aus Erfahrungen lernen, wird das Risiko der Normalisierung noch verstärkt.
Eine hilfreiche Analogie wäre das Training eines Hundes mit inkonsistenten Regeln. Wenn Sie ihn manchmal dafür belohnen, dass er Essen vom Tisch stiehlt, könnte er dieses Verhalten irgendwann als akzeptabel ansehen, selbst wenn Sie nicht zusehen. In ähnlicher Weise könnten Maschinenagenten, wenn sie wiederholt unehrlichen oder manipulativen Anweisungen ausgesetzt sind, zu dem Schluss kommen, dass ein solches Verhalten normativ oder, schlimmer noch, für den Erfolg entscheidend ist.
Dies ist besonders riskant beim Reinforcement Learning (Trainieren der KI durch Belohnungen) oder beim Fine-Tuning (Anpassen einer KI an eine bestimmte Aufgabe), bei denen Modelle auf Ergebnisse und nicht auf Ethik optimiert sind. Ohne robuste Schutzmechanismen und Wertausrichtung besteht die Gefahr, dass sich unethische Muster festsetzen, nicht weil das System böswillig ist, sondern weil es das tut, was es für richtig hält.
Während aktuelle Modelle also noch auf menschliche Eingaben angewiesen sind, um zu betrügen, können wir aufgrund der Entwicklung der KI nicht davon ausgehen, dass dies immer so bleiben wird. Um zu verhindern, dass Unehrlichkeit im Verhalten von Maschinen zur Norm wird, sind proaktive Designentscheidungen, Transparenz bei den Trainingsdaten und klarere Rahmenbedingungen für die Rechenschaftspflicht erforderlich, bevor wir diesen Punkt erreichen.
KI verspricht Effizienz, birgt jedoch die Gefahr, dass man sich zu unethischem Verhalten verleiten lässt. Haben Sie festgestellt, dass Menschen Aufgaben an KI delegieren möchten?
Zoe Rahwan: Wir gingen davon aus, dass Menschen unethisches Verhalten gerne delegieren würden, um davon zu profitieren, ohne die vollen moralischen Kosten tragen zu müssen. Wir stellten jedoch fest, dass die Meinungen darüber, ob man die Aufgabe selbst erledigen oder an einen KI-Agenten delegieren sollte, gleichmäßig geteilt waren. Bemerkenswert ist, dass diejenigen, die sich für die Delegation an KI entschieden, in ähnlichem Maße betrogen wie diejenigen, die zur Delegation gezwungen waren. Darüber hinaus, und vielleicht noch überzeugender, haben wir in separaten Studien, in denen Menschen die Aufgaben selbst erledigten oder an menschliche und KI-Agenten unter Verwendung natürlicher Sprache delegierten – wie bei der Verwendung von GPT –, festgestellt, dass etwa 75 Prozent der Menschen es vorziehen, solche Aufgaben selbst zu erledigen. Dies galt sowohl für die Würfelaufgabe als auch für das Steuerhinterziehungsspiel.
Trotz der Effizienz und moralischen Distanz, die Maschinenagenten bei der Ausführung etwas mühsamer und risikoarmer Aufgaben bieten, zog es die Mehrheit unserer Teilnehmenden vor, ähnliche Aufgaben in Zukunft selbst zu übernehmen. Dies unterstreicht eine wichtige politische Implikation: Die Entwickler*innen von Systemen sollten den Menschen die Möglichkeit geben, die Autonomie über die Erledigung von Aufgaben zu behalten, und sie nicht zur Delegation zwingen.
Über die Autor*innen
Zoe Rahwan ist Wissenschaftlerin am Max-Planck-Institut für Bildungsforschung. Sie nutzt ihren Hintergrund in Wirtschaftswissenschaften und Psychologie, um die moralische Entscheidungsfindung zu erforschen. Zu ihren Forschungsschwerpunkten zählen die Faktoren, die Ehrlichkeit und Spendenbereitschaft beeinflussen, die Ethik der KI-gestützten Entscheidungsfindung sowie die Entwicklung und Anwendung bewusster Ignoranz. Bevor sie ihre derzeitige Tätigkeit aufnahm, war sie Gastwissenschaftlerin an der Harvard Kennedy School und wissenschaftliche Mitarbeiterin an der London School of Economics. Dank ihrer 15-jährigen Erfahrung in der Politikgestaltung arbeitet sie mit Praktiker*innen zusammen und befasst sich mit Forschungsfragen, die für die Politik von unmittelbarer Relevanz sind.
Nils Köbis ist Verhaltenswissenschaftler mit Schwerpunkt auf Korruption, (un-)ethischem Verhalten, sozialen Normen und künstlicher Intelligenz. Er ist Professor für „Human Understanding of Algorithms and Machines“ an der Universität Duisburg-Essen und Mitglied des Research Center Trustworthy Data Science and Security der UA Ruhr. Nils Köbis studierte Psychologie an der Universität Münster und Sozialpsychologie an der Vrije Universiteit Amsterdam, wo er 2018 zur Sozialpsychologie der Korruption promovierte. Von 2016 bis 2020 war er Postdoktorand am CREED (Center for Research in Experimental Economics and Political Decision-Making) der Universität Amsterdam. Danach war er als Senior Research Scientist am Forschungsbereich hensch und Maschine des Max-Planck-Instituts für Bildungsforschung tätig.
Originalpublikation:
