KAPITEL 2

Apples Pay Card: Sexismus pur?

Im November 2019 beantragten David Heinemeier Hansson und seine Frau Jamie jeweils eine Apple Card. Und weil Apple die Firma ist, die sie ist, ist die Beantragung der Kreditkarte sehr einfach und komplett digital: Man kann sie direkt über ein Apple-Gerät beantragen, und sobald die AGB anerkannt wurden, bekommt der Nutzer eine Entscheidung, ob er eine Karte bekommt und wo die Kreditlinie liegt. Das geht so blitzschnell, dass dahinter natürlich eine Software-Entscheidung steht. Und siehe da: Seine Frau Jamie Heinemeier Hansson bekam einen Kreditrahmen von um die 50 US-Dollar und ihr Ehemann David einen um die 1 000 US-Dollar. Und damit begann der Ärger von David Heinemeier Hansson. Aber das kann er selbst Ihnen besser erzählen als ich:[1]

Ich konnte nach diesen starken Worten einfach nicht anders, als mir Heinemeier Hansson als Ritter vorzustellen, der seiner Ehefrau und allen anderen Frauen beispringt:

Wir sehen ihn also jetzt in seiner polierten Rüstung, das Schwert zur Verteidigung gezogen – und plötzlich geht sein Tweet viral. Denn David Heinemeier Hansson ist ein interessanter Typ – Rennfahrer, Softwareentwickler, Autonarr, dem auf Twitter viele Personen folgen: Über 11 000 Mal wird der Tweet am Ende weiterverbreitet, über 25 000 Mal klicken die Leser und Leserinnen auf »like«. Die Autorin Safiya Noble, die das Buch »Algorithms of Oppression« schrieb, twitterte beispielsweise: »This is an algorithm of oppression if I’ve ever seen one.« Völlig überraschend mischte sich dann auch Steve Wozniak in die Unterhaltung ein, der sich demütig wie folgt vorstellte: »Ich bin momentan Apple-Mitarbeiter und Gründer der Firma.« Er bestätigte, dass auch seine Ehefrau einen zehnfach geringeren Kreditrahmen erhalten hatte, obwohl sie all ihr Vermögen teilen würden, und ermahnte Apple, hier Verantwortung zu zeigen. Dieser Kommentar war eine gewichtige Unterstützung von Heinemeier Hanssons Anliegen.

Andere Kommentare dagegen erzürnten Heinemeier Hansson dagegen fast so sehr wie die Entscheidung des Algorithmus. Dazu gehören insbesondere die drei folgenden Argumentationslinien:

1. »Aber das ist ja gar nicht Apple selbst, sondern Goldman Sachs, also die Bank, die die Apple Pay Card in Zusammenarbeit ausstellt. Warum Apple an den Pranger stellen?«
2. »Hat deine Frau nicht vielleicht einfach eine schlechtere Kreditwürdigkeit als du?«
3. »Wieso denkst du, dass das sexistisch ist, könnte doch auch andere Gründe geben?«

Nun, all das lässt Heinemeier Hansson natürlich nicht auf sich sitzen. Das erste Argument ist tatsächlich keines: Denn wer nun genau den Algorithmus verantwortet, ist unerheblich für die Frage, ob er funktioniert, wie er soll. Das Beispiel ist damit auch eine Warnung für Unternehmen, die Software nutzen, um Entscheidungen automatisch zu berechnen: Für die Kunden und Kundinnen ist am Ende immer in erster Linie die Person verantwortlich, die den Algorithmus nutzt – unabhängig davon, wer ihn entwickelt hat. Das ist ein wichtiger Punkt, den ich später nochmals aufgreifen werde: Der Verwender eines KI-Systems für einen sozialen Prozess ist die Person, an die sich die Kunden und Kundinnen nachher wenden werden – unabhängig davon, ob er die eigentliche Entscheidungslogik dahinter verantwortet oder nicht.

Die zweite Frage bringt Heinemeier Hansson dazu, dass sich beide für schlappe 25 US-Dollar pro Monat (!) bei TransUnion anmelden, um ihren Kreditwürdigkeits-Score zu bekommen, den sogenannten FICO-Score – das ist im Wesentlichen dasselbe wie in Deutschland der Schufa-Score. Und, hey, Heinemeier Hansson ist immer noch auf 180: »Also melden wir uns natürlich beide wutentbrannt für verdammte 25 Dollar pro Monat bei der Krediteinsichtsschwachsinnsabzocke namens TransUnion an. Vielleicht hat ja jemand die Identität meiner Frau gestohlen? Obwohl wir vorher schon einmal geprüft hatten, dass alles okay ist. Aber, ratet mal: IHRE KREDITWÜRDIGKEIT IST SOGAR HÖHER ALS MEINE!!!«[2]

Sein Ärger ist natürlich irgendwie nachvollziehbar, aber mir persönlich gefällt diese Frage der Twitternutzer nach ihrer Kreditwürdigkeit, denn tatsächlich muss es in den Eingangsdaten, die eine Software bekommt, irgendeinen Unterschied bei den beiden Personen geben.

Denn zumindest darauf können wir uns bei Software verlassen: Wenn genau dieselben Daten hineingehen, dann kommt auch genau dasselbe dabei heraus.[3]

Die Frage danach, was sich bei den beiden Personen unterscheidet, ist also erst einmal in Ordnung und auch sehr wichtig – und dass es der FICO-Score sein könnte, liegt auf der Hand. Ärgerlich ist, dass Heinemeier Hansson und seine Frau nicht einfach direkt von Goldman Sachs Einsicht in die jeweils über sie verwendeten Eingangsdaten und deren Werte bekamen. Denn es sollte nicht so sein, dass die bewertete Person weder weiß, welche Daten relevant sind, noch ob diese Daten vielleicht fehlerhaft sind. Heinemeier Hansson und seine Frau sind jetzt nicht schlauer als zuvor: An dieser Stelle unterscheiden die beiden sich zwar, aber tendenziell würde man erwarten, dass der Kreditrahmen für seine Frau hätte höher ausfallen sollen als seiner.

Auch der dritte Kommentar stellt eine valide Frage, da wir oft mit »Sexismus« die absichtsvolle Schlechterstellung von Menschen wegen ihres Geschlechts meinen. Daneben gibt es aber die unbeabsichtigte Schlechterstellung, die ebenfalls manchmal mitgemeint ist: gerade in den USA unterscheidet man im Bürgerrechtsgesetz zwischen intendierter Diskriminierung (disparate treatment) und der Schlechterstellung von Gruppen (disparate impact) mit oder ohne Intention. Auch Letzteres ist laut Title VI des Bürgerrechtsgesetzes in den USA beispielsweise für alle Programme verboten, die staatliche Förderung erhalten.[4] Um Schlechterstellung nachzuweisen, reicht es dabei aus, zu zeigen, dass eine Gruppe basierend auf einem Merkmal, das gesetzlich geschützt ist, statistisch signifikant schlechtergestellt ist. Die Frage, ob diese Schlechterstellung durch eine gewollte Diskriminierung passiert, oder durch eigentlich neutral formulierte Gesetze und Prozesse geschieht, ist dabei erst einmal unerheblich – die staatliche Förderung wird gestrichen. Diese amerikanische Idee von disparate impact, der Schlechterstellung von Gruppen, ist es, die David und Jamie Heinemeier Hansson hier antreibt. Jamie Heinemeier Hansson schreibt in einem Blogpost, dass sie eigentlich Privatheit sehr schätzt und sie darum mit ihrem Mann beschlossen hat, dass er ihre Apple-Card-Geschichte erzählt. Als Millionärin ist es für sie nicht so relevant, dass ihr persönlicher Kreditrahmen erhöht wird.[5] Es geht ihr um etwas anderes: »Es ist relevant für die Frau, die gerade ein Geschäft eröffnet in einer Welt, die immer noch denkt, dass Frauen weniger erfolgreich und kreditwürdig sind als Männer. Es ist relevant für die Ehefrau, die versucht, aus einer gewalttätigen Beziehung auszubrechen. Es ist relevant für Minderheiten, die durch systemische Vorurteile beeinträchtigt werden.«[6] Aufgrund des hohen Medienechos wurde Jamie Heinemeier Hanssons Kreditrahmen schleunigst hochgesetzt – aber aus den genannten Gründen reichte ihr das nicht: »Das ist nicht einfach eine Geschichte über Sexismus und Blackbox-Kreditvergabealgorithmen, sondern darüber, dass Reiche immer irgendwie ihren Kopf durchsetzen. Gerechtigkeit für irgendeine reiche weiße Frau ist überhaupt keine Gerechtigkeit.«

Das Ehepaar bezieht sich hier also auf disparate impact, und daher lohnt es sich, die Bedeutung dieses Begriffes etwas näher anzugucken. Ein Handbuch zum Umgang mit dieser Art von statistischer Ungleichbehandlung gibt ein interessantes Beispiel für einen ungewollt schlechterstellenden Prozess: An einer Schule müssen alle Schüler und Schülerinnen, die zu spät kommen, zum Gespräch zur Schulleiterin. Damit verpassen sie natürlich noch mehr Unterricht als durch das Zuspätkommen allein. Es stellt sich nun heraus, dass eine Gruppe, die asiatisch-amerikanischen Kinder, viel öfter zur Schulleiterin muss als andere Kinder. Eine genauere Untersuchung ergibt, dass diese Kinder weiter weg von der Schule wohnen und selbst der früheste Schulbus oft zu spät zur Schule kommt. Da es ja eigentlich um einen Schutz des Unterrichts geht, der durch Disziplinlosigkeit entsteht, die Schüler und Schülerinnen für ihre Verspätung aber nichts können, gilt das als disparate impact. Daher muss der Prozess laut amerikanischem Recht hier geändert werden: Zum Beispiel könnte die Regel für Kinder, die aufgrund einer Verspätung des Schulbusses zu spät kommen, nicht gelten, oder die Schule sorgt dafür, dass die Schulbusse früher losfahren.

Für uns in Deutschland ist diese statistische...