Les algorithmes déterminent énormément la façon dont nous vivons et travaillons en ligne.
Ils déterminent ce que nous voyons en ligne et peuvent nous dire quel type de soins de santé nous allons obtenir.
Dans cet épisode de Fast Forward, Michael Kearns, co-auteur de The Ethical Algorithm: The Science of Ethical Algorithm Design, explique comment les systèmes d'IA changeront le monde pour le mieux - si nous les concevons de la bonne manière.
Dan Costa: Vous êtes professeur d'informatique et d'informatique à l'Université de Pennsylvanie et vous avez écrit un livre intitulé L'algorithme éthique: la science de la conception d'algorithmes socialement conscients avec le co-auteur Aaron Roth, également à l'Université de Pennsylvanie.
Il présente vraiment un cadre sur la façon dont nous pouvons construire des machines morales qui adhéreront réellement au type de directives éthiques auxquelles nous aspirons.
Commençons par pourquoi les algorithmes sont importants, ce que nous entendons quand nous disons algorithme en termes d'IA et ce que les gens ne réalisent pas sur les algorithmes eux-mêmes?
Michael Kearns: Tout d'abord, les algorithmes existent bien sûr depuis très, très longtemps, depuis avant qu'il y ait des ordinateurs.
L'IA et l'apprentissage automatique sont également des domaines très anciens, mais je pense que ce qui a vraiment changé au cours des 20 dernières années, et en particulier des 10 dernières, est que l'IA et l'apprentissage automatique étaient utilisés dans les applications scientifiques car c'est là qu'il y avait suffisamment de données pour former des prédictifs.
des modèles.
La montée en puissance de l'internet grand public nous a maintenant tous fait générer des rames et des rames de données sur nos activités, nos emplacements, nos préférences, nos espoirs, nos peurs, etc.
Il est désormais possible d'utiliser l'apprentissage automatique pour personnaliser la prise de décision algorithmique, certaines décisions que nous connaissons et que nous voulons que les algorithmes prennent pour nous, et parfois des décisions dont nous ne sommes même pas conscients.
Quelles sont certaines des décisions dont les gens ne sont peut-être pas au courant?
Beaucoup d'exemples de notre livre montrent où la décision a une grande conséquence pour l'individu et ils peuvent même ne pas être conscients que des algorithmes sont utilisés ou sont utilisés pour aider le processus de prise de décision.
Des exemples seraient des choses comme les prêts à la consommation, si vous obtenez un prêt ou une carte de crédit lorsque vous en faites la demande, les décisions d'admission à l'université, les décisions d'embauche dans les départements des ressources humaines et même des choses très importantes comme les soins de santé; et quelle peine criminelle vous recevez ou si vous obtenez une libération conditionnelle si vous avez été incarcéré.
La plupart des gens ne réalisent pas que cela se produit à la fois dans les entreprises privées et au gouvernement.
Idéalement, ces éléments sont introduits pour rendre le processus de décision meilleur, plus éclairé et moins biaisé.
Pourquoi cela n'arrive-t-il pas?
Je ne pense pas que l'objectif principal de la plupart des prises de décision algorithmiques soit de rendre les choses moins biaisées, c'est souvent de le rendre plus efficace et de tirer parti du fait que nous avons d'énormes quantités de données qui peuvent être utilisées pour construire des modèles prédictifs.
.
Ainsi, plutôt que les êtres humains prennent directement les décisions, qui peuvent souvent être lentes et également biaisées de diverses manières, il est plus facile et plus rapide de prendre les données dont vous disposez et de former essentiellement un modèle.
C'est vraiment une forme d'auto-programmation, non? Plutôt qu'un programmeur informatique disant qui devrait obtenir un prêt et qui ne devrait pas, en fonction des attributs saisis dans une demande de prêt, vous prenez simplement un tas de données historiques sur les personnes à qui vous avez accordé des prêts, qui ont remboursé et n'ont pas remboursé, et vous essayez d'apprendre un modèle séparant les solvables de ceux qui ne le sont pas.
Je pense que souvent dans les affaires et ailleurs, le principal moteur est l'efficacité et notre livre traite en réalité des dommages collatéraux qui peuvent résulter de la recherche de ces gains d'efficacité.
Parlons de certains de ces exemples.
Il y a quelques semaines, il y avait un étude sur un hôpital qui utilisait un algorithme pour aider à déterminer à qui donner des soins médicaux et combien de soins médicaux donner.
Il y avait une analyse, et il a été déterminé que l'algorithme était systématiquement sous-desservant les patients afro-américains et donc sur-desservant les patients blancs.
Oui, et je pense qu'il ne s'agissait en fait pas d'un hôpital, c'était de nombreux hôpitaux qui utilisaient tous un algorithme tiers qui présentait le problème que vous avez décrit.
Il met en évidence l'une des nombreuses façons dont des éléments tels que la race, le sexe et d'autres préjugés peuvent s'insinuer dans les algorithmes.
Dans ce cas particulier, le problème n'était pas vraiment l'algorithme, qui est souvent une source de biais ou de discrimination, et ce n'était pas non plus avec les données elles-mêmes, c'était en fait l'objectif utilisé par l'entreprise pour former le modèle.
Le but de ce modèle était d'essayer d'évaluer la santé des patients pour décider du niveau de soins dont ils avaient besoin ou d'intervenir avec un traitement quelconque.
Mais mesurer la santé d'une personne est une chose complexe et multidimensionnelle.
En d'autres termes, il est difficile de rassembler les bonnes données pour s'entraîner à atteindre cet objectif.
Ce que cette société a apparemment fait, c'est dire: Eh bien, utilisons simplement le coût des soins de santé comme indicateur des soins de santé.
Supposons que dans notre ensemble de données historiques, les personnes qui avaient des dépenses de santé plus élevées étaient les plus malades et les personnes dont les dépenses de santé étaient les plus faibles étaient les plus saines ceux.
" Le problème avec cela est qu'il a appris à discriminer les Afro-Américains parce qu'ils avaient systématiquement dans l'ensemble des coûts de santé inférieurs, non pas parce qu'ils étaient moins malades, mais parce qu'ils avaient moins accès aux soins de santé.
Il s'agit d'un exemple classique où, lorsque vous avez un objectif, il est difficile de le cibler ou nécessiterait un processus de collecte de données plus coûteux.
Ensuite, ils utilisent ce proxy et ce proxy a essentiellement perpétué ce biais dans leur modèle.
C'est intéressant parce que lorsque vous entendez parler de biais dans l'algorithme, vous pensez que, eh bien, il y a certainement un moment où vous vous interrogez sur les origines raciales.
C'est en fait très rarement le cas, ce sont ces conséquences secondaires, ces corrélations que vous ne comprenez peut-être pas lorsque vous programmez l'algorithme pour la première fois.
C'est vrai.
En fait, je pense que l'une des choses que nous avons apprises ces dernières années est que le simple fait d'inclure une variable telle que la race ou le sexe dans votre modèle ne garantit absolument pas que votre modèle ne finira pas par discriminer.
par race et par sexe.
Il y a un certain nombre de raisons pour lesquelles cela peut arriver, et c'est intéressant parce que, par exemple, dans le domaine des prêts et du crédit, il y a des lois de longue date aux États-Unis qui disent: "Vous n'utiliserez pas la race comme intrant dans vos modèles prédictifs." À l'époque où ces lois ont été élaborées, je pense que l'intention était de protéger les minorités raciales de la discrimination par les modèles, mais cela arrive quand même.
L'une des nombreuses raisons pour lesquelles cela peut arriver est que ces jours-ci, surtout quand on en sait tant sur nous, il y a tellement de sources de données sur nous qui sont disponibles.
Il y a tout simplement trop de procurations pour des choses comme la race.
Je veux dire, vous n'avez pas besoin de me dire quelle est votre race pour que je le découvre, du moins dans un sens statistique à partir d'autres sources de données.
Un exemple malheureux est qu'aux États-Unis, votre code postal est déjà un assez bon indicateur de votre race.
C'est donc le genre de chose qui peut arriver.
Parlons d'un autre exemple d'algorithme mal compris.
Vous avez parlé d'algorithmes d'évaluation des risques criminels, qui englobe l'un de ces algorithmes qui est utilisé depuis près de 20 ans maintenant.
Beaucoup de gens sont passés par le système, il y a eu des rapports faisant état de défauts, de problèmes d'équité dans l'algorithme, mais le problème est en fait assez compliqué et nuancé.
C'était encore une controverse très relativement récente qui, je pense, a contribué à faire progresser notre compréhension des défis de l'équité algorithmique.
Un campus a construit ce modèle de prédiction de la récidive criminelle, un peu Rapport minoritaire- type de modèle qui, en se basant sur les antécédents criminels d'une personne, essaie de prédire si elle récidivera ou recommencera essentiellement un crime violent au cours des deux prochaines années.
Ces types de modèles d'évaluation des risques sont souvent utilisés dans différentes juridictions par les juges qui décident d'accorder ou non une libération conditionnelle aux gens.
Ce sont donc des choses très, très conséquentes.
L'organisme d'enquête à but non lucratif ProPublica a examiné de près ce modèle et a démontré qu'il avait un préjugé racial systématique, qu'il était discriminatoire à l'égard des Afro-Américains et d'autres minorités raciales.
Il y a donc eu une controverse et des allers-retours entre ProPublica et la société qui avait développé le modèle, ProPublica disant: Votre modèle est injuste.
Puis NorthPointe, qui était la société qui l'a développé, est revenu et a dit: "Non, nous étions délibérément conscients de ces problèmes et nous nous sommes assurés que notre modèle était juste, mais nous avons utilisé cette autre définition de l'équité.
Si vous creusez dans les mauvaises herbes.
sur ce point, ces deux définitions de l'équité sont tout à fait raisonnables et souhaitables.
En fait, vous aimeriez les avoir toutes les deux.
" Puis les chercheurs ont commencé à se gratter la tête et à dire: "D'accord, qui est ici?" Puis certains d'entre eux plus enclins à la théorie se sont assis et ont pensé: "Est-il même mathématiquement possible de satisfaire simultanément ces deux définitions d'équité?" Ensuite, ils ont prouvé que ce n'était pas le cas.
Ceci est particulièrement éclairant ou dérangeant selon votre point de vue car cela montre que l'étude algorithmique de l'équité ou la mise en œuvre de l'équité, va être un peu désordonnée et que vous devrez peut-être, lorsque vous demandez un type d'équité, vous pourriez avoir renoncer à un autre.
Je pense que nous avons été assez clairs sur la façon dont cela se complique très rapidement.
Dans votre livre, vous offrez des conseils sur la manière d'intégrer l'éthique dans ces algorithmes dès le départ.
Comment allons-nous faire cela?
L'objectif principal de notre livre est que nous sommes optimistes, nous sommes des chercheurs en apprentissage automatique, mais nous sommes également conscients du comportement antisocial que les algorithmes ont démontré au cours des cinq dernières années et du type croissant d'alerte populaire à ce sujet.
Nous partageons cette alarme et nous avons l'impression que la plupart des livres que nous avons lus, dont beaucoup nous ont beaucoup plu, sont très bons pour signaler quels sont les problèmes; mais...
