Beispielprojekt: Algorithmische Lügenerkennung
Algorithmen zur Lügendetektion verlocken nur wenige Nutzer*innen, erhöhen aber die Rate der Anschuldigungen deutlich.
Die Studie besteht aus zwei Teilen. In Teil 1 schreiben die Teilnehmenden (=Autor*innen) eine wahre und eine falsche Aussage auf; in Teil 2 beurteilt eine separate Stichprobe von Teilnehmenden (=Juror*innen) vier Aussagen. Es gab vier verschiedene Treatments. Im Basistreatment entschieden die Teilnehmenden selbst, ohne Überprüfung (=alle Anschuldigungen führten zu einer Verringerung der Auszahlungen für die/den Autor*in); im Treatment mit Überprüfung entschieden die Teilnehmenden selbst, mit Überprüfung (nur Anschuldigungen, die gerechtfertigt waren, führten zu einer Verringerung der Auszahlungen für die/den Autor*in); im Treatment mit einem Algorithmus zur Erkennung von Lügen konnten die Richter*innen den Rat eines Algorithmus zur Erkennung von Lügen kaufen, aber eine Überprüfung war nicht möglich; im Treatment mit beiden konnten die Richter*innen den Rat eines Algorithmus zur Erkennung von Lügen kaufen.
Menschen sind nicht sehr gut darin, Lügen als solche zu erkennen. Das könnte erklären, warum sie ihre Mitmenschen nicht der Lüge bezichtigen, denn falsche Anschuldigungen sind verbunden mit sozialen Risiken – sowohl für die anklagende als auch für die beschuldigte Person. Im Rahmen des Projekts “Algorithmische Lügenerkennung” untersuchen wir, wie die Verfügbarkeit von KI-basierten Algorithmen zur Lügenerkennung dieses soziale Gleichgewicht beeinflusst. Werden Menschen zur Erkennung von Lügen Algorithmen nutzen, die Menschen überlegen sind? Und wenn ja, werden sie bei ihren Anschuldigungen weniger Zurückhaltung üben? Wir haben einen Algorithmus zur Klassifikation entwickelt, dessen Genauigkeit (67 %) in der Erkennung von Lügen deutlich besser war als die des Menschen (50 %), und ein Experiment zur Erkennung von Lügen mit Anreizen durchgeführt, bei dem wir die Bereitschaft der Teilnehmenden, den Algorithmus zu verwenden, sowie die Auswirkungen dieser Verwendung auf die Rate der Anschuldigungen gemessen haben (vgl. Abbildung 1 für einen Überblick über das Studiendesign).
Unsere Ergebnisse zeigen, dass nur wenige Personen (33 %), die sich für die Nutzung des Algorithmus entscheiden, ihre Anschuldigungsrate drastisch erhöhen (ausgehend von 25 % auf 86 %, wenn der Algorithmus eine Aussage als Lüge kennzeichnet). Sie machen mehr falsche Anschuldigungen (Anstieg um 18 Prozentpunkte), während die Wahrscheinlichkeit, dass eine Lüge unentdeckt bleibt, in dieser Gruppe viel geringer ist (Rückgang um 36 Prozentpunkte). Wir untersuchen die individuellen Beweggründe für die Verwendung von Algorithmen zur Erkennung von Lügen und die sozialen Auswirkungen dieser Algorithmen (siehe Abbildung 2 für die Ergebnisse).
(A) Anschuldigungsrate in jedem der vier Treatments. Beim Treatment mit dem Lügenerkennungsalgorithmus und dem Treatment mit beiden (= bei der die Teilnehmenden Zugang zu unserem KI-Lügenerkennungsalgorithmus hatten) sind die Anschuldigungsraten auch für die Untergruppe der Teilnehmenden dargestellt, die sich für die Verwendung des Algorithmus entschieden haben, sowie für die Untergruppe dieser Teilnehmenden, deren Lügenerkennungsalgorithmus die Zielaussage als Lüge markierte. (B) Detaillierte stufenweise Daten für das Treatment mit dem Algorithmus zur Erkennung von Lügen und das Treatment mit beiden, die die Vermutung der KI (nicht angefordert, blockiert, Lüge, Wahrheit) für falsche und wahre Zielaussagen, die anschließende Entscheidung des Teilnehmenden in Abhängigkeit von der Vermutung des Algorithmus und die Genauigkeit dieser Entscheidung zeigen.
Publikationen
von Schenk, A., Klockmann, V., Bonnefon, J. F., Rahwan, I., & Köbis, N. (2022). Lie detection algorithms attract few users but vastly increase accusation rates. arXiv preprint arXiv:2212.04277.