AMS-Algorithmus

Die Deutsche Zeitung „Die Zeit“ hat zum Thema „Digitale Verwaltung“ in einem Artikel vom 9. Mai 2019 Österreich besonders viel Aufmerksamkeit geschenkt. Österreich dient hier allerdings als negativ Beispiel – der sogenannte AMS-Algorithmus aber auch die App Digitales Amt stehen hier in der Kritik.

Ziel des österreichischen Arbeitsmarktservices (AMS) war es ein Modell zu entwickeln, das Prognosen zur Integration von Arbeitslosen am Arbeitsmarkt zulässt. Diesem AMS-Algorithmus wurde in den vergangenen Wochen auch in österreichischen Medien viel Kritik entgegengebracht. Handelt es sich hier einfach nur um Furcht vor dem Unbekannten und Unverständnis gegenüber Innovationen? Liegt in maschinell getroffenen Entscheidungen nicht auch eine Chance Fairness zu erhöhen und die eventuell negativen Auswirkungen der subjektiven und intuitiven Komponente menschlicher Entscheidungen zu minimieren? Dazu drängt sich jedoch, nicht nur angesichts des AMS-Algorithmus, die Frage auf, inwiefern vorurteilsfreie, maschinelle Entscheidungen möglich sind. Algorithmen werden auf Basis von Daten trainiert – ob diese Daten vorurteilsfrei sind, ist nicht immer einfach festzustellen. Auch zur Bewertung der Qualität eines Algorithmus wird dieser oft menschlichen Ergebnissen gegenübergestellt und menschliche Ergebnisse werden als das zu erreichende Ziel definiert. Öfter als gedacht sind dadurch menschliche Vorurteile den vermeintlich objektiven Algorithmen inhärent.

Das AMS Arbeitsmarktchancen Modell

Anhand eines Modells möchte das AMS zukünftig Prognosen über die Integrationschancen von vorgemerkten Arbeitslosen erstellen. Anhand dieser Prognosen werden Jobsuchende in drei Kategorien A, B und C eingeteilt, abhängig von den individuellen kurzfristen bzw. langfristigen Integrationschancen (IC) am Arbeitsmarkt.

Eine gute kurzfristige Integration beteuted in diesem Zusammenhang mindestens 90 Beschäftigungstage innerhalb der ersten sieben Monate nach Beginn der Arbeitslosigkeit. Eine gute langfristige Integration wird wiederum bei 180 Beschäftigungstagen innerhalb von zwei Jahren nach Beginn der Arbeitslosigkeit gesehen.

Für Personen in Kategorie A werden sehr guten Chancen (über 66%), sich kurzfristig wieder in den Arbeitsmarkt zu integrieren prognostiziert. Personen, für die eine langfristig schlechte Prognose (weniger als 25%) zur Integration am Arbeitsmarkt berechnet wird, fallen in Kategorie C, alle übrigen Personen in Kategorie B.

Zur Berechnung dieser Prognosen wurden die folgenden Angaben / Merkmale verwendet:

• Geschlecht
• Alter
• Staatsbürgerschaft
• Ausbildung
• Betreuungspflichten
• Gesundheitliche Einschränkungen
• Bisheriger Beruf
• Ausmaß der Beschäftigung
• Häufigkeit und Dauer von AMS-Geschäftsfällen
• AMS-Maßnahmeneinsatz
• Regionales Arbeitsmarktgeschehen (Hauptwohnsitz)

Logistische Regression

Zur Berechnung der Integrationschancen wird logistische Regression in Abhängigkeit von den Merkmalen der betreffenden Personengruppe herangezogen. Logistische Regressionsanalysen finden zum Beispiel in der Marktforschung häufigen Einsatz und dienen dazu, ein Modell zu entwickeln, dass auf Basis der Ausprägung einer oder mehreren unabhängigen Variablen die Wahrscheinlichkeit des Eintretens bestimmter Ereignisse erlaubt. Eine logistische Funktion kann nur Werte zwischen 0 und 1 annehmen und kann damit die Eintrittswahrscheinlichkeit eines Ereignisses anzeigen.

Für ein konkretes Modell werden auf Basis eines Datensatzes Koeffizienten der Regressionsfunktion ermittelt und dadurch eine bestimmte Regressionsfunktion definiert. Dabei spiegeln die Koeffizienten die Stärke des Einflusses der unabhängigen Variablen auf die Eintrittswahrscheinlichkeit des Ereignisses wider.

Wie könnte ein konkretes Beispiel dafür aussehen?
Ein Handelsunternehmen möchte wissen, für welche seiner Kunden die Wahrscheinlichkeit am höchsten ist, dass sie ein bestimmtes Produkt X kaufen werden. Dazu werden die in der Vergangenheit getätigten Verkäufe dieses Produkts bzw. die dazugehörigen Käufer analysiert. Von Kunden/Käufern liegen dem Handelsunternehmen die folgenden Merkmale vor: Wohnort, Alter, Geschlecht, durchschnittliche monatliche Einkaufssumme beim Handelsunternehmen, bisher gekaufte Produkte beim Handelsunternehmen, Angaben zu Interessen (Film, Musik und/oder Literatur).
Auf Basis der Kundendaten kann nun mittels logistischer Regression ermittelt werden, wie wahrscheinlich es ist, dass bestimmte Kunden zukünftig Produkt X kaufen werden. Die erwähnten Merkmale (Wohnort, Alter, etc.) der Kunden sind hier die unabhängigen Variablen, die unterschiedlich starken Einfluss auf die Eintrittswahrscheinlichkeit des Kaufes von Produkt X haben können. So können die Koeffizienten der Regressionsfunktion in unserem Beispiel zeigen, dass der Wohnort nur einen geringen Einfluss darauf hat, ob Produkt X gekauft wird, oder nicht. Alter und Geschlecht hingegen haben einen starken Einfluss darauf. Als idealer (weil wahrscheinlichster Kunde) konnte daraus resultierend zum Beispiel die folgende Zielgruppe ermittelt werden: weiblich, zwischen 40 und 50, interessiert sich für Literatur.

Für die Erstellung des AMS Arbeitsmarktchancen Modells wurde eine ähnliche Vorgangsweise angewendet: Ausgehenden von den AMS-Geschäftsfällen der Jahre 2015 und 2016 und den Merkmalen der entsprechenden Arbeitssuchenden wurden logistische Regressionsfunktionen ermittelt. Als Basisgruppe wurden folgende Personen ermittelt:

• junge Männer
• mit Pflichtschulabschluss,
• österreichischer Staatsbürgerschaft,
• ohne Betreuungspflichten,
• ohne gesundheitlichen Beeinträchtigungen,
• in einem Arbeitsmarktbezirk des RGS-Typs 1 (d.h. bei einer AMS-Geschäftsstelle in einem Bezirk mit den besten „Jobchancen“ gemeldet),
• bisher im Dienstleistungsbereich tätig,
• in den vergangenen vier Jahren mehr als 1.028 Beschäftigungstage (also ca. 70% der letzten vier Jahre in einem Beschäftigungsverhältnis),
• keine vergangenen AMS-Geschäftsfälle.

Für diese Basisgruppe liegt die Integrationschance bei 52%. Ausgehenden von der Basisgruppe werden Zu- bzw. Abschläge für von der Basisgruppe abweichenden Merkmale berücksichtigt, die die Integrationschancen entsprechend verändern. So erhöht sich zum Beispiel die Integrationschance auf 59% liegt bei einer Person der Basisgruppe anstelle eines Pflichtschulabschlusses ein Lehrabschluss vor.

Ist das Künstliche Intelligenz?

Nein. Es erfolgt zwar eine automatisierte Einteilung von Personen in vordefinierte Kategorien, die dabei zum Einsatz kommende Technologie kann allerdings nicht der Künstlichen Intelligenz (KI) zugeordnet werden. Der Grundgedanke der Künstlichen Intelligenz ist es, automatisierte Entscheidungen zu fällen, die nicht auf Basis einer explizit programmierten Entscheidungsfolge beruhen. Genau eine solche Entscheidungsfolge liegt beim AMS-Algorithmus jedoch vor.

Zu beachten ist, dass unabhängig davon, ob eine eingesetzte Technologie der KI zugerechnet werden kann oder nicht, automatisierte Entscheidungen der Datenschutzgrundverordnung (DSGVO), insbesondere Artikel 22, unterliegen können.

Artikel 22 der DSGVO besagt:
„Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung — einschließlich Profiling — beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.“

Hier wird also das Recht eingeräumt nicht ausschließlich einer automatisiert getroffen Entscheidung zu unterliegen, wenn diese gegenüber einer betroffenen Person rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Zugang zum Arbeitsmarkt und damit der Wirkungsbereich des „AMS-Algorithmus“ wird in Diskussionen und Auslegungen dieses Artikels der DSGVO immer wieder ausdrücklich als ein einer rechtlichen Wirkung ähnliches Szenario genannt.

Computer says NO!

Im Rahmen des AMS Arbeitsmarktchancen Modells wurde seitens des AMS darauf verwiesen, dass die automatisiert gefällten Entscheidungen des Algorithmus noch von MitarbeiterInnen des AMS entsprechend überprüft bzw. korrigiert werden. In diesem Zusammenhang ist allerdings zu bedenken, dass Studien wie die der Harvard Business School [5] bereits gezeigt haben, dass wir Menschen automatisierten Entscheidung sehr oft vertrauen bzw. uns sehr leicht von diesen beeinflussen lassen. Es könnte also seitens der AMS-MitarbeiterInnen eine bewusst hohe Skepsis dem Algorithmus gegenüber benötigen, um eine Entscheidung des Algorithmus überhaupt in Frage zu stellen.

Vorurteilsbehaftete Daten?

Maschinell getroffenen Entscheidungen wird oft eine höhere Objektivität als menschlichen Entscheidungen zugeschrieben. Maschinelle Entscheidungen basieren jedoch auf Algorithmen, die üblicherweise anhand von Daten abgeleitet oder trainiert werden. Nur wenn diese Daten als Basis eines automatisierten Entscheidungsprozesses vorurteilsfrei sind, kann von einer objektiven Entscheidung durch den Algorithmus ausgegangen werden. Die Daten als Basis eines Algorithmus liefern jedoch wir Menschen und geben damit (meist unbewusst) unsere eigenen Vorurteile weiter.

Im Fall des AMS-Algorithmus ist zum Beispiel die Basisgruppe als männlich definiert. Dieser Fakt alleine ist an sich unbedenklich. Ändert man jedoch einzig das Geschlecht einer arbeitssuchenden Person von männlich auf weiblich, so führt dies zu Abschlägen und somit prozentuell schlechteren Integrationschancen. Der Vorstand des AMS Johannes Kopf sagt im Zeit-Interview dazu:

„Der Algorithmus ist nicht diskriminierend, er bildet die Realität ab.”

Aber was, wenn man(n) in der Realität diskriminiert? Studien belegen durchaus, dass weibliche Arbeitssuchende bei gleicher Qualifikation oft schwerer vermittelbar sind als männliche Arbeitssuchende – nicht zuletzt auf Grund von Vorurteilen. Dass die für die Erstellung des Algorithmus herangezogenen Daten diesen Umstand ebenfalls abbilden ist anzunehmen. So gesehen, bildet der AMS-Algorithmus wohl tatsächlich die Realität ab, allerdings inklusive vorhandener und bekannter Vorurteile. Zu einem ähnlichen Ergebnis kam auch Amazon, als der Konzern eine KI-basierte Lösung zur Bewertung von BewerberInnnen umsetzte: Das System wurde anhand erfolgreicher Bewerbungen im Amazon-Konzern trainiert. Da Amazon jedoch gerade in gehobenen Positionen eine vorwiegend männliche Belegschaft beschäftigt, hat sich das KI-System an diese Realität angepasst und männliche Bewerber ihren weiblichen Kontrahenten vorgezogen.

Grundsätzlich ist die Erwartungshaltung, dass durch den Einsatz automatisierter Entscheidungsverfahren objektivere Entscheidungen gefällt werden, zu begrüßen. Dazu bedarf es aber ebenso objektiver Daten als Basis dieser Entscheidungssysteme. Bilden wir eine vorurteilsbehaftete Realität in einem automatisierten System ab, werden diese Vorurteile nicht entkräftet, ganz im Gegenteil, diese Vorurteile bilden damit die Entscheidungsgrundlage automatisierter Systeme. So werden veraltete Denkweisen in Stein bzw. Bits gemeißelt und bleiben unter dem Deckmantel einer objektiven, künstlichen Intelligenz auch für zukünftigen Generationen bestehen.

Quellen

[1] Die Zeit | Digitale Verwaltung: Das Amt und meine Daten
[2] Der Standard | Jobchancen-Berechnung: Testen Sie einen der 96 AMS-Algorithmen
[3] Der Standard | Leseanleitung zum AMS-Algorithmus
[4] Hochschule Luzern | Ressourcen für empirische Methoden: Logistische Regression
[5] Harvard Business School | Algorithm Appreciation: People Prefer Algorithmic To Human Judgment
[6] Focus | Künstliche Intelligenz erachtet Bewerbungen von Frauen als minderwertig – Amazon muss reagieren