Algorithmen bestimmen sehr viel darüber, wie wir online leben und arbeiten.
Sie bestimmen, was wir online sehen, und können uns sagen, welche Art von Gesundheitsversorgung wir erhalten werden.
In dieser Episode von Fast Forward erklärt Michael Kearns, Co-Autor von The Ethical Algorithm: The Science of Ethical Algorithm Design, wie KI-Systeme die Welt zum Besseren verändern werden - wenn wir sie richtig gestalten.
Dan Costa: Sie sind Professor für Computer- und Informationswissenschaft an der University of Pennsylvania und haben ein Buch mit dem Titel geschrieben Der ethische Algorithmus: Die Wissenschaft des sozialbewussten Algorithmusdesigns mit Co-Autor Aaron Roth, ebenfalls an der University of Pennsylvania.
Es bietet wirklich einen Rahmen dafür, wie wir moralische Maschinen bauen können, die tatsächlich den ethischen Richtlinien entsprechen, die wir anstreben.
Beginnen wir damit, warum Algorithmen wichtig sind, was wir meinen, wenn wir Algorithmus in Bezug auf KI sagen und was die Leute über Algorithmen selbst nicht wissen.
Michael Kearns: Erstens gibt es Algorithmen natürlich schon sehr, sehr lange, seit es Computer gab.
KI und maschinelles Lernen sind ebenfalls sehr alte Bereiche, aber ich denke, was sich in den letzten 20 Jahren und insbesondere in den letzten 10 Jahren wirklich geändert hat, ist, dass KI und maschinelles Lernen früher in wissenschaftlichen Anwendungen verwendet wurden, da dort genügend Daten vorhanden waren, um Vorhersagen zu trainieren Modelle.
Der Aufstieg des Verbraucher-Internets hat dazu geführt, dass wir alle unzählige Daten über unsere Aktivitäten, unsere Standorte, unsere Vorlieben, unsere Hoffnungen, unsere Ängste usw.
generieren.
Jetzt ist es möglich, maschinelles Lernen zu verwenden, um algorithmische Entscheidungen zu personalisieren, einige Entscheidungen, die wir kennen und die Algorithmen für uns treffen sollen, und manchmal Entscheidungen, die wir nicht einmal kennen.
Welche Entscheidungen sind den Menschen möglicherweise nicht bekannt?
In vielen Beispielen in unserem Buch hat die Entscheidung eine große Konsequenz für den Einzelnen, und sie wissen möglicherweise nicht einmal, dass Algorithmen verwendet werden oder zur Unterstützung des Entscheidungsprozesses verwendet werden.
Beispiele wären Dinge wie Konsumentenkredite, ob Sie bei der Beantragung ein Darlehen oder eine Kreditkarte erhalten, Entscheidungen über die Zulassung zum College, Einstellungsentscheidungen in Personalabteilungen und sogar sehr konsequente Dinge wie das Gesundheitswesen; und auch, welche strafrechtliche Verurteilung Sie erhalten oder ob Sie eine Bewährung erhalten, wenn Sie inhaftiert wurden.
Die meisten Menschen wissen nicht, dass dies sowohl in privaten Unternehmen als auch in der Regierung geschieht.
Idealerweise werden diese Dinge eingeführt, um den Entscheidungsprozess besser und informierter und weniger voreingenommen zu gestalten.
Warum passiert das nicht?
Ich denke nicht, dass das Hauptziel der meisten algorithmischen Entscheidungen darin besteht, die Dinge weniger voreingenommen zu machen.
Oft geht es darum, sie effizienter zu gestalten und die Tatsache auszunutzen, dass wir über riesige Datenmengen verfügen, die zum Erstellen von Vorhersagemodellen verwendet werden können .
Anstatt dass Menschen direkt Entscheidungen treffen, die oft langsam und auf verschiedene Weise voreingenommen sind, ist es einfacher und zweckmäßiger, die Daten, die Sie haben, zu erfassen und im Wesentlichen ein Modell zu trainieren.
Es ist wirklich eine Form der Selbstprogrammierung, oder? Anstatt dass ein Computerprogrammierer anhand der in einen Kreditantrag eingegebenen Attribute sagt, wer einen Kredit erhalten soll und wer nicht, nehmen Sie einfach eine Reihe historischer Daten über Personen, denen Sie Kredite gewährt haben, die zurückgezahlt haben und die nicht zurückgezahlt haben.
und Sie versuchen, ein Modell zu lernen, das die kreditwürdigen von den nicht kreditwürdigen trennt.
Ich denke, dass in Unternehmen und anderswo der Haupttreiber häufig die Effizienz ist, und in unserem Buch geht es wirklich um den Kollateralschaden, der durch die Verfolgung dieser Effizienz entstehen kann.
Lassen Sie uns über einige dieser Beispiele sprechen.
Vor ein paar Wochen gab es eine Studie über ein Krankenhaus Dabei wurde ein Algorithmus verwendet, um zu bestimmen, wem und wie viel medizinische Versorgung gegeben werden soll.
Es gab einige Analysen, und es wurde festgestellt, dass der Algorithmus afroamerikanische Patienten systematisch unterversorgte und daher weiße Patienten überversorgte.
Ja, und ich denke, es war tatsächlich kein einziges Krankenhaus, sondern viele Krankenhäuser, die alle einen Algorithmus von Drittanbietern verwendeten, der das von Ihnen beschriebene Problem hatte.
Es zeigt eine der verschiedenen Möglichkeiten auf, wie sich Dinge wie Rasse, Geschlecht und andere Vorurteile in Algorithmen einschleichen können.
In diesem speziellen Fall lag das Problem nicht wirklich beim Algorithmus, der häufig zu Verzerrungen oder Diskriminierungen führt, und auch nicht bei den Daten selbst.
Es war tatsächlich das Ziel, mit dem das Unternehmen das Modell trainierte.
Der Zweck dieses Modells bestand darin, zu versuchen, die Gesundheit der Patienten zu bewerten, um zu entscheiden, welche Gesundheitsversorgung sie benötigen, oder um in eine Behandlung einzugreifen.
Aber tatsächlich die Gesundheit eines Menschen zu messen, ist eine komplizierte, mehrdimensionale Sache.
Mit anderen Worten, es ist schwierig, die richtigen Daten zu sammeln, um für dieses Ziel zu trainieren.
Anscheinend sagte dieses Unternehmen: "Nun, verwenden wir einfach die Gesundheitskosten als Proxy für die Gesundheitsversorgung.
Nehmen wir an, dass in unserem historischen Datensatz die Menschen mit höheren Gesundheitsausgaben die krankeren und die Menschen mit niedrigeren Gesundheitsausgaben die gesünderen waren Einsen." Das Problem dabei ist, dass es gelernt hat, Afroamerikaner zu diskriminieren, weil sie systematisch insgesamt niedrigere Gesundheitskosten hatten, nicht weil sie weniger krank waren, sondern weil sie weniger Zugang zur Gesundheitsversorgung hatten.
Dies ist ein klassisches Beispiel, bei dem es schwierig ist, dieses Ziel zu erreichen, wenn Sie ein Ziel haben, oder einen teureren Datenerfassungsprozess erfordern würde.
Dann verwenden sie diesen Proxy und dieser Proxy hat diese Tendenz in ihrem Modell im Wesentlichen aufrechterhalten.
Es ist interessant, denn wenn Sie von Voreingenommenheit im Algorithmus hören, denken Sie, dass es sicherlich irgendwann einen Punkt gibt, an dem Sie nach rassistischen Hintergründen fragen.
Das ist eigentlich sehr selten der Fall, es sind diese sekundären Konsequenzen, diese Korrelationen, die Sie möglicherweise nicht verstehen, wenn Sie den Algorithmus zum ersten Mal programmieren.
Korrekt.
Tatsächlich denke ich, dass eines der Dinge, die wir in den letzten Jahren gelernt haben, ist, dass nur weil Sie keine Variable wie Rasse oder Geschlecht in Ihr Modell aufnehmen, dies absolut keine Garantie dafür ist, dass Ihr Modell nicht diskriminierend wird nach Rasse und Geschlecht.
Es gibt eine Reihe von Gründen, warum dies passieren kann, und es ist interessant, weil es zum Beispiel bei Kreditvergabe und Krediten in den USA langjährige Gesetze gibt, die besagen: "Du sollst Rasse nicht als Input für deine Vorhersagemodelle verwenden." In der Zeit, in der diese Gesetze entwickelt wurden, war es meines Erachtens die Absicht, rassische Minderheiten vor Diskriminierung durch Modelle zu schützen, aber es passiert trotzdem.
Einer der vielen Gründe, warum dies passieren kann, ist, dass heutzutage, insbesondere wenn so viel über uns bekannt ist, so viele Datenquellen über uns verfügbar sind.
Es gibt einfach zu viele Proxies für Dinge wie Rasse.
Ich meine, Sie müssen mir nicht sagen, was Ihre Rasse für mich ist, um es herauszufinden, zumindest im statistischen Sinne aus anderen Datenquellen.
Ein unglückliches Beispiel ist, dass in den USA Ihre Postleitzahl bereits ein ziemlich guter Indikator für Ihre Rasse ist.
So etwas kann also passieren.
Lassen Sie uns über ein weiteres Beispiel eines missverstandenen Algorithmus sprechen.
Sie haben über Algorithmen zur Bewertung des kriminellen Risikos gesprochen, die einen dieser Algorithmen umfassen, der seit fast 20 Jahren verwendet wird.
Viele Leute haben das System durchlaufen, es gab einige Berichte, dass es Fehler und Fairnessprobleme im Algorithmus gibt, aber das Problem ist tatsächlich ziemlich kompliziert und nuanciert.
Dies war wieder eine relativ junge Kontroverse, die meines Erachtens dazu beigetragen hat, die Herausforderungen der algorithmischen Fairness besser zu verstehen.
Ein Campus baute dieses kriminelle Rückfall-Vorhersagemodell, fast wie ein Minderheitsbericht-Typ eines Modells, das auf der Grundlage der Kriminalgeschichte einer Person vorhersagt, ob sie in den nächsten zwei Jahren ein Gewaltverbrechen rezidivieren oder im Wesentlichen erneut begehen wird.
Diese Art von Risikobewertungsmodellen wird häufig in verschiedenen Gerichtsbarkeiten von Richtern verwendet, die entscheiden, ob Personen auf Bewährung entlassen werden sollen oder nicht.
Es ist also sehr, sehr folgerichtig.
Die gemeinnützige ProPublica untersuchte dieses Modell eingehend und zeigte, dass es systematisch rassistisch ausgerichtet war und Afroamerikaner und andere rassistische Minderheiten diskriminierte.
Es gab also Kontroversen und es gab ein Hin und Her zwischen ProPublica und dem Unternehmen, das das Modell entwickelt hatte, wobei ProPublica sagte: "Ihr Modell ist unfair." Dann kam NorthPointe, das Unternehmen, das es entwickelt hat, zurück und sagte: "Nein, wir waren uns dieser Probleme bewusst und haben sichergestellt, dass unser Modell fair ist, aber wir haben diese andere Definition von Fairness verwendet.
Wenn Sie sich mit dem Unkraut befassen In dieser Hinsicht sind diese beiden Definitionen von Fairness völlig vernünftig und wünschenswert.
Tatsächlich möchten Sie beide haben.
" Dann kratzten sich die Forscher am Kopf und sagten: "Okay, wer ist hier richtig?" Dann setzten sich einige von ihnen, die eher theoretisch veranlagt waren, hin und dachten: "Ist es überhaupt mathematisch möglich, diese beiden Fairness-Definitionen gleichzeitig zu erfüllen?" Dann haben sie bewiesen, dass es nicht so war.
Dies ist je nach Ihrer Sichtweise besonders aufschlussreich oder beunruhigend, da es zeigt, dass das algorithmische Studium der Fairness oder die Umsetzung der Fairness etwas chaotisch sein wird und dass Sie möglicherweise, wenn Sie nach einer Art von Fairness fragen, dies möglicherweise tun müssen einen anderen aufgeben.
Ich denke, wir waren uns ziemlich klar darüber, wie kompliziert dies sehr schnell wird.
In Ihrem Buch geben Sie einige Ratschläge, wie Sie von Anfang an Ethik in diese Algorithmen einbauen können.
Wie machen wir das?
Der Hauptzweck unseres Buches ist, dass wir Optimisten und Forscher des maschinellen Lernens sind, aber wir sind uns auch des asozialen Verhaltens bewusst, das Algorithmen in den letzten fünf Jahren gezeigt haben, und der zunehmenden Art von populärem Alarm darüber.
Wir teilen diesen Alarm und wir hatten das Gefühl, dass die meisten Bücher, die wir gelesen haben und von denen uns viele sehr gut gefallen haben, sehr gut darauf hinweisen können, was die Probleme sind.
aber...
