Algoritmid määravad tohutu hulga selle kohta, kuidas me veebis elame ja töötame.
Nad määravad kindlaks, mida me veebis näeme, ja saavad öelda, millist tüüpi tervishoiuteenust me saame.
Selle kiire edasisaatmise osa kohta selgitab raamatu The Ethical Algorithm: The Science of Ethical Algorithm Design kaasautor Michael Kearns, kuidas tehisintellekti süsteemid maailma paremaks muudavad - kui me neid õigesti kujundame.
Dan Costa: Te olete Pennsylvania ülikooli arvuti- ja infoteaduste professor ja olete kirjutanud raamatu nimega Eetiline algoritm: sotsiaalselt teadliku algoritmi kujundamise teadus kaasautori Aaron Rothiga, samuti Pennsylvania ülikoolis.
See esitab tõepoolest raamistiku, kuidas saaksime ehitada moraalimasinaid, mis peavad tegelikult kinni sellistest eetilistest juhistest, mille poole me püüdleme.
Alustame sellest, miks algoritmid on olulised, mida me mõtleme, kui ütleme algoritmi tehisintellekti mõistes ja mida inimesed ise algoritmidest aru ei saa?
Michael Kearns: Esiteks on algoritmid muidugi olnud väga-väga pikka aega olemas, sest enne olid arvutid olemas.
Tehisintellekt ja masinõpe on ka väga vanad valdkonnad, kuid arvan, et mis on viimase 20 aasta jooksul ja eriti viimase 10 aasta jooksul tegelikult muutunud, on see, et tehisintellekti ja masinõpet kasutati teadusrakendustes, sest just seal oli prognoositava teabe treenimiseks piisavalt andmeid mudelid.
Tarbija Interneti kasv on nüüd pannud meid kõiki koguma andmeid meie tegevuse, asukohtade, eelistuste, lootuste, hirmude jms kohta.
Nüüd on võimalik kasutada masinõpet, et isikupärastada algoritmiline otsustusprotsess, mõned otsused, millest me teame ja soovime, et algoritmid meie jaoks teeksid, ja mõnikord otsused, millest me isegi ei tea.
Millised on mõned otsused, millest inimesed ei pruugi teada olla?
Paljud meie raamatu näited on sellised, kus otsusel on üksikisikule suured tagajärjed ja nad ei pruugi isegi teadlik olla, et algoritme kasutatakse või kasutatakse otsustusprotsessi abistamiseks.
Näideteks võivad olla sellised asjad nagu tarbijalaenud, kas saate selle taotlemisel laenu või krediitkaardi, kõrgkooli vastuvõtmise otsused, personaliosakondade töölevõtmise otsused ja isegi väga tagajärjed nagu tervishoid; ja ka seda, millise kriminaalkaristuse saate või kas saate tingimisi vangistuse.
Enamik inimesi ei mõista, et see toimub nii eraettevõtetes kui ka valitsuses.
Ideaalis tutvustatakse neid asju selleks, et muuta otsustusprotsess paremaks ja teadlikumaks ning vähem erapoolikuks.
Miks seda ei juhtu?
Ma ei usu, et enamiku algoritmiliste otsuste tegemise peamine eesmärk on muuta asjad vähem kallutatud, sageli on see selle tõhusamaks muutmine ja selle ära kasutamine, et meil on tohutul hulgal andmeid, mida saab kasutada ennustavate mudelite loomiseks .
Nii et selle asemel, et kumbki inimene otseselt otsuseid langetaks, mis võib sageli olla aeglane ja olla ka erapoolik, on lihtsam ja otstarbekam omada olemasolevaid andmeid ja sisuliselt mudelit koolitada.
See on tõesti iseprogrammeerimise vorm, eks? Selle asemel, et arvutiprogrammeerija ütleks, kes peaks laenu saama ja kes mitte, võtate laenutaotlusele sisestatud atribuutide põhjal lihtsalt hulga ajaloolisi andmeid inimeste kohta, kellele andsite laenu, kes maksis tagasi ja ei maksnud tagasi, ja proovite õppida mudelit, mis eraldaks krediidi väärtuse mitte-krediidi väärilisest.
Ma arvan, et sageli äris ja mujal on peamine tegur efektiivsus ja meie raamat räägib tõepoolest kaasnevatest kahjudest, mis võivad tuleneda nende tõhususe tagaajamisest.
Räägime mõnest neist näidetest.
Mõni nädal tagasi oli a uuring haigla kohta see kasutas algoritmi, et aidata kindlaks teha, kellele ja kui palju arstiabi osutada.
Tehti mõningane analüüs ja tehti kindlaks, et algoritm teenindas Aafrika-Ameerika patsiente süstemaatiliselt ja seega ka valgeid patsiente.
Jah, ja ma arvan, et see ei olnud tegelikult üks haigla, vaid paljud haiglad, kes kõik kasutasid mõnda kolmanda osapoole algoritmi, oli teie kirjeldatud probleem.
Selles tuuakse välja üks paljudest viisidest, kuidas sellised asjad nagu rassiline, sooline ja muu eelarvamused võivad algoritmidesse pugeda.
Sel konkreetsel juhul ei olnud probleem tegelikult algoritmis, mis on sageli kallutatuse või diskrimineerimise allikas, samuti ei olnud see andmete endaga, see oli tegelikult eesmärk, mida ettevõte mudeli koolitamiseks kasutas.
Selle mudeli eesmärk oli proovida hinnata patsientide tervist, et otsustada, millist tervishoiuteenuse taset nad vajavad, või sekkuda mingisuguse raviga.
Kuid tegelikult on kellegi tervise mõõtmine keeruline, mitmemõõtmeline asi.
Teisisõnu on raske selle eesmärgi saavutamiseks treenida õigeid andmeid.
See, mida see ettevõte ilmselt tegi, oli: "Noh, kasutagem vaid tervishoiukulusid tervishoiu asendusena.
Oletame, et meie ajaloolises andmekogus olid haiged inimesed, kellel olid suuremad tervisekulud, ja väiksemate tervisekuludega inimesed olid tervemad ühed.
" Selle probleem on selles, et ta õppis diskrimineerima afroameeriklasi, kuna neil olid süstemaatiliselt madalamad tervishoiukulud mitte seetõttu, et nad olid vähem haiged, vaid seetõttu, et neil oli vähem juurdepääsu tervishoiuteenustele.
See on klassikaline näide, kus ühe eesmärgi saavutamisel on seda eesmärki raske sihtida või see nõuaks kallimat andmete kogumise protsessi.
Siis kasutavad nad seda puhverserverit ja see puhverserver püsis selle kallutatuse sisuliselt nende mudelis.
See on huvitav, sest kui kuulete algoritmis erapoolikusest, siis arvate, et kindlasti on siin mõni punkt, kus küsite rassilise tausta kohta.
See on tegelikult väga harva, just need sekundaarsed tagajärjed, need korrelatsioonid, millest te ei pruugi algoritmi esmakordsel programmeerimisel aru saada.
Täpselt nii.
Tegelikult arvan, et üks asi, mida oleme viimastel aastatel õppinud, on see, et lihtsalt sellepärast, et te ei sisalda oma mudelis sellist muutujat nagu rass või sugu, pole absoluutselt mingit garantiid, et teie mudel ei hakka lõpuks diskrimineerima rassi ja soo järgi.
Sellel võib juhtuda mitmel põhjusel ja see on huvitav, sest näiteks USA-s on laenude ja krediidi valdkonnas pikaajalised seadused, mis ütlevad: "Ärge kasutage rassi oma ennustavate mudelite sisendina." Nende seaduste väljatöötamise ajastul oli minu arvates eesmärk kaitsta rassilisi vähemusi mudelite järgi diskrimineerimise eest, kuid see juhtub sellegipoolest.
Üks paljudest põhjustest, miks see juhtuda võib, on see, et tänapäeval, eriti kui meie kohta on nii palju teada, on meie kohta nii palju kättesaadavaid andmeallikaid.
Rasside jaoks on lihtsalt liiga palju volikirju.
Ma mõtlen, et te ei pea mulle ütlema, milline on teie rass, et ma saaksin sellest aru, vähemalt statistilises mõttes muudest andmeallikatest.
Üks kahetsusväärne näide on see, et Ameerika Ühendriikides on teie sihtnumber teie rassi kohta juba üsna hea näitaja.
Nii et selline asi võib juhtuda.
Räägime veel ühest näitest valesti mõistetud algoritmist.
Rääkisite kriminaalsete riskide hindamise algoritmidest, mis hõlmavad ühte neist algoritmidest, mida on nüüdseks kasutatud peaaegu 20 aastat.
Paljud inimesed on süsteemi läbi käinud, on teatatud, et algoritmis on vigu, õiglusprobleeme, kuid tegelikult on see küsimus üsna keeruline ja nüansirikas.
See oli jällegi väga suhteliselt hiljutine poleemika, mis minu arvates aitas meil mõista algoritmilise õigluse väljakutseid.
Ülikoolilinnak ehitas selle kriminaalse retsidiivsuse ennustamise mudeli, umbes nagu a Vähemuste aruanne-tüüp mudelit, mis püüab kellegi kriminaalse ajaloo põhjal ennustada, kas nad korduvad järgmise kahe aasta jooksul või vägivaldse kuriteo sisuliselt uuesti.
Selliseid riskihindamise mudeleid kasutavad kohtunikud, kes otsustavad, kas anda inimestele tingimisi tingimisi või mitte, erinevates jurisdiktsioonides.
Nii et see on väga-väga tagajärglik värk.
Uuriv mittetulundusühing ProPublica vaatas seda mudelit tõsiselt ja näitas, et sellel oli süstemaatiline rassiline eelarvamus, et see diskrimineeris aafrikaameeriklasi ja teisi rassilisi vähemusi.
Niisiis tekkis poleemika ning ProPublica ja mudeli välja töötanud ettevõte olid edasi-tagasi, kusjuures ProPublica ütles: "Teie mudel on ebaõiglane." Siis tuli NorthPointe, mis oli selle väljatöötanud ettevõte, tagasi ja ütles: "Ei, me olime teadlikult nendest probleemidest teadlikud ja hoolitsesime selle eest, et meie mudel oleks õiglane, kuid me kasutasime seda muud õigluse määratlust.
Kui uurite umbrohtu selles osas on mõlemad õigluse definitsioonid täiesti mõistlikud ja soovitavad.
Tegelikult soovite, et need mõlemad oleksid.
" Siis hakkasid teadlased pead kratsima ja ütlesid: "Olgu, kes siin on?" Siis istusid mõned neist teoreetilisema kalduvusega ja mõtlesid: "Kas on isegi matemaatiliselt võimalik mõlemat õigluse määratlust samaaegselt rahuldada?" Siis tõestasid nad, et pole.
See on eriti valgustav või häiriv, sõltuvalt teie vaatepunktist, sest see näitab, et õigluse või õigluse rakendamise algoritmiline uuring tuleb kuidagi räpane ja peate võib-olla ühte tüüpi õigluse taotlemisel pidama teisest loobuma.
Ma arvan, et meil on olnud üsna selge, kui keeruline see väga kiiresti muutub.
Oma raamatus pakute mõnda nõu, kuidas eetikat nendesse algoritmidesse algusest peale lisada.
Kuidas me seda teeme?
Meie raamatu põhieesmärk on, et oleme optimistid, oleme masinõppe uurijad, kuid oleme teadlikud ka antisotsiaalsest käitumisest, mida algoritmid on viimase viie aasta jooksul demonstreerinud, ja selle üle kasvavast rahvahäirest.
Me jagame seda ärevust ja tundsime, et enamik raamatuid, mida oleme lugenud ja millest paljud on meile väga meeldinud, oskavad probleemide väljatoomisel väga hästi hakkama saada; aga...
