Gli algoritmi determinano moltissimo il modo in cui viviamo e lavoriamo online.
Determinano ciò che vediamo online e possono dirci che tipo di assistenza sanitaria riceveremo.
In questo episodio di Fast Forward, Michael Kearns, coautore di The Ethical Algorithm: The Science of Ethical Algorithm Design, spiega come i sistemi di intelligenza artificiale cambieranno il mondo in meglio, se li progettiamo nel modo giusto.
Dan Costa: Sei un professore di informatica e scienze dell'informazione all'Università della Pennsylvania e hai scritto un libro intitolato L'algoritmo etico: la scienza della progettazione di algoritmi socialmente consapevoli con il coautore Aaron Roth, anche lui all'Università della Pennsylvania.
Presenta davvero un quadro su come possiamo costruire macchine morali che aderiranno effettivamente al tipo di linee guida etiche a cui aspiriamo.
Cominciamo con il motivo per cui gli algoritmi sono importanti, cosa intendiamo quando diciamo algoritmo in termini di AI e cosa le persone non si rendono conto degli algoritmi stessi?
Michael Kearns: Prima di tutto, gli algoritmi esistono ovviamente da molto, molto tempo, da prima che esistessero i computer.
Anche l'intelligenza artificiale e l'apprendimento automatico sono campi molto vecchi, ma penso che ciò che è veramente cambiato negli ultimi 20 anni, e in particolare negli ultimi 10, è che l'intelligenza artificiale e l'apprendimento automatico venivano utilizzati in applicazioni scientifiche perché era lì che c'erano dati sufficienti per la formazione predittiva Modelli.
L'ascesa dell'Internet dei consumatori ha ora fatto generare a tutti noi risme e risme di dati sulle nostre attività, le nostre posizioni, le nostre preferenze, le nostre speranze, le nostre paure, eccetera.
Ora è possibile utilizzare l'apprendimento automatico per personalizzare il processo decisionale algoritmico, alcune decisioni che conosciamo e che vogliamo che gli algoritmi prendano per noi, e talvolta decisioni di cui non siamo nemmeno a conoscenza.
Quali sono alcune decisioni di cui le persone potrebbero non essere a conoscenza?
Molti degli esempi nel nostro libro sono dove la decisione ha una grande conseguenza per l'individuo e potrebbero anche non essere consapevoli che gli algoritmi vengono utilizzati o utilizzati per aiutare il processo decisionale.
Esempi potrebbero essere cose come il prestito al consumo, se si ottiene un prestito o una carta di credito quando lo si richiede, decisioni di ammissione all'università, decisioni di assunzione nei dipartimenti delle risorse umane e persino cose molto importanti come l'assistenza sanitaria; e anche quale condanna penale ricevi o se ottieni la libertà condizionale se sei stato incarcerato.
La maggior parte delle persone non si rende conto che questo sta accadendo sia nelle aziende private che nel governo.
Idealmente queste cose vengono introdotte per rendere il processo decisionale migliore, più informato e meno parziale.
Perché non sta succedendo?
Non credo che l'obiettivo principale della maggior parte dei processi decisionali algoritmici sia rendere le cose meno distorte, spesso è renderle più efficienti e sfruttare il fatto che abbiamo enormi quantità di dati che possono essere utilizzati per costruire modelli predittivi .
Quindi, piuttosto che essere gli esseri umani a prendere direttamente le decisioni, che spesso possono essere lente e anche essere distorte in vari modi, è più facile e conveniente prendere i dati che hai ed essenzialmente addestrare un modello.
È davvero una forma di autoprogrammazione, giusto? Piuttosto che un programmatore di computer che dice chi dovrebbe ottenere un prestito e chi no, in base agli attributi inseriti in una richiesta di prestito, prendi semplicemente un mucchio di dati storici sulle persone a cui hai dato prestiti, che hanno rimborsato e non hanno rimborsato, e cerchi di apprendere un modello che separa i meritevoli dai non meritevoli.
Penso che spesso negli affari e altrove, il motore principale sia l'efficienza e il nostro libro parla davvero dei danni collaterali che possono derivare dalla ricerca di tali efficienze.
Parliamo di alcuni di questi esempi.
Qualche settimana fa, c'era un file studiare su un ospedale che utilizzava un algoritmo per determinare a chi fornire cure mediche e quante cure mediche dare.
Sono state effettuate alcune analisi ed è stato stabilito che l'algoritmo era sistematicamente insufficiente nei pazienti afroamericani e quindi eccessivo nei pazienti bianchi.
Sì, e penso che in realtà non fosse un ospedale, erano molti ospedali che utilizzavano tutti un algoritmo di terze parti che presentava il problema che hai descritto.
Sottolinea uno dei diversi modi in cui cose come razzismo, genere e altri pregiudizi possono insinuarsi negli algoritmi.
In quel caso particolare, il problema non era realmente con l'algoritmo, che è spesso una fonte di pregiudizi o discriminazione, e inoltre non era con i dati stessi, era in realtà l'obiettivo utilizzato dall'azienda per addestrare il modello.
Lo scopo di questo modello era cercare di valutare la salute dei pazienti per decidere di quale livello di assistenza sanitaria avevano bisogno o per intervenire con un trattamento di qualche tipo.
Ma in realtà misurare la salute di qualcuno è una cosa complicata e multidimensionale.
In altre parole, è difficile raccogliere i dati giusti per allenarsi per quell'obiettivo.
Ciò che apparentemente ha fatto questa azienda è stato: "Bene, usiamo i costi sanitari come proxy per l'assistenza sanitaria.
Supponiamo che nel nostro set di dati storici, le persone che avevano spese sanitarie più elevate fossero quelle più malate e le persone con spese sanitarie inferiori fossero quelle più sane quelli.
" Il problema con questo è che ha imparato a discriminare gli afroamericani perché sistematicamente nell'insieme avevano costi sanitari inferiori, non perché erano meno malati, ma perché avevano meno accesso all'assistenza sanitaria.
Questo è un classico esempio in cui, quando hai un obiettivo, è difficile raggiungere quell'obiettivo o richiederebbe un processo di raccolta dati più costoso.
Quindi usano questo proxy e quel proxy ha essenzialmente perpetuato questo pregiudizio nel loro modello.
È interessante perché quando senti parlare di pregiudizi nell'algoritmo, pensi che, beh, certamente c'è un punto in cui chiedi informazioni su origini razziali.
In realtà è molto raro, sono quelle conseguenze secondarie, quelle correlazioni che potresti non capire quando stai programmando per la prima volta l'algoritmo.
Giusto.
In effetti, penso che una delle cose che abbiamo imparato negli ultimi anni sia che, solo perché non includi una variabile come razza o sesso nel tuo modello non è assolutamente alcuna garanzia che il tuo modello non finirà per discriminare per razza e per sesso.
Ci sono una serie di ragioni per cui questo può accadere, ed è interessante perché, ad esempio, nel prestito e nel credito, ci sono leggi di vecchia data negli Stati Uniti che dicono: "Non devi usare la razza come input per i tuoi modelli predittivi".
Nell'era in cui sono state sviluppate queste leggi, penso che l'intento fosse quello di proteggere le minoranze razziali dalla discriminazione da parte dei modelli, ma ciò nonostante accade.
Uno dei tanti motivi per cui può accadere è che in questi giorni, soprattutto quando si sa così tanto su di noi, ci sono così tante fonti di dati su di noi che sono disponibili.
Ci sono troppe deleghe per cose come la razza.
Voglio dire, non devi dirmi qual è la tua razza per me per capirlo, almeno in senso statistico da altre fonti di dati.
Un esempio sfortunato è che negli Stati Uniti, il tuo codice postale è già un indicatore piuttosto buono della tua razza.
Quindi questo è il genere di cose che possono accadere.
Parliamo di un altro esempio di algoritmo frainteso.
Hai parlato di algoritmi di valutazione del rischio criminale, che comprende uno di questi algoritmi che è stato utilizzato per quasi 20 anni.
Molte persone hanno esaminato il sistema, ci sono state alcune segnalazioni che ci sono difetti, problemi di equità nell'algoritmo, ma il problema è in realtà piuttosto complicato e sfumato.
Anche questa è stata una controversia relativamente recente che penso abbia contribuito a far progredire la nostra comprensione delle sfide dell'equità algoritmica.
Un campus ha costruito questo modello di previsione della recidiva criminale, una specie di Rapporto di minoranza-tipo di modello che, sulla base della storia criminale di qualcuno, cerca di prevedere se recidiverà, o essenzialmente, ricomincerà un crimine violento nei prossimi due anni.
Questi tipi di modelli di valutazione del rischio vengono spesso utilizzati in diverse giurisdizioni da giudici che decidono se concedere o meno la libertà condizionale.
Quindi sono cose molto, molto consequenziali.
L'organizzazione non profit investigativa ProPublica ha esaminato attentamente questo modello e ha dimostrato che aveva un pregiudizio razziale sistematico, che discriminava gli afroamericani e altre minoranze razziali.
Quindi c'è stata polemica e c'è stato avanti e indietro tra ProPublica e la società che aveva sviluppato il modello, con ProPublica che diceva: "Il tuo modello è ingiusto".
Poi NorthPointe, che era la società che lo ha sviluppato, è tornata e ha detto: "No, eravamo consapevoli di questi problemi e ci siamo assicurati che il nostro modello fosse giusto, ma abbiamo usato quest'altra definizione di equità.
Se scavi tra le erbacce su questo, entrambe queste definizioni di equità sono del tutto ragionevoli e desiderabili.
In effetti, ti piacerebbe averle entrambe ".
Poi i ricercatori hanno iniziato a grattarsi la testa e dire: "Ok, chi c'è qui?" Poi alcuni di loro più inclini alla teoria si sedettero e pensarono: "È anche matematicamente possibile soddisfare entrambe queste definizioni di equità contemporaneamente?" Poi hanno dimostrato che non lo era.
Ciò è particolarmente illuminante o inquietante a seconda del tuo punto di vista perché mostra che lo studio algoritmico dell'equità o l'implementazione dell'equità, sarà un po 'complicato e che potresti dover, quando chiedi un tipo di equità, potresti avere rinunciare a un altro.
Penso che siamo stati abbastanza chiari su quanto complicato diventi molto rapidamente.
Nel tuo libro offri alcuni consigli su come integrare l'etica in questi algoritmi fin dall'inizio.
Come lo facciamo?
Lo scopo principale del nostro libro è che siamo ottimisti, siamo ricercatori di machine learning, ma siamo anche consapevoli del comportamento antisociale che gli algoritmi hanno dimostrato negli ultimi cinque anni e del crescente tipo di allarme popolare su questo.
Condividiamo questo allarme e ci siamo resi conto che la maggior parte dei libri che abbiamo letto, molti dei quali ci sono piaciuti moltissimo, sono molto bravi a sottolineare quali sono i problemi; ma...
