Los algoritmos determinan en gran medida la forma en que vivimos y trabajamos en línea.
Ellos determinan lo que vemos en línea y pueden decirnos qué tipo de atención médica vamos a recibir.
En este episodio de Fast Forward, Michael Kearns, coautor de The Ethical Algorithm: The Science of Ethical Algorithm Design, explica cómo los sistemas de IA cambiarán el mundo para mejor, si los diseñamos de la manera correcta.
Dan Costa: Eres profesor de informática y ciencias de la información en la Universidad de Pensilvania y has escrito un libro llamado El algoritmo ético: la ciencia del diseño de algoritmos con conciencia social con el coautor Aaron Roth, también de la Universidad de Pennsylvania.
Realmente presenta un marco de cómo podemos construir máquinas morales que realmente se adhieran al tipo de pautas éticas a las que aspiramos.
Comencemos con por qué los algoritmos son importantes, a qué nos referimos cuando decimos algoritmo en términos de IA y lo que la gente no se da cuenta de los algoritmos en sí mismos.
Michael Kearns: En primer lugar, los algoritmos, por supuesto, han existido durante mucho, mucho tiempo, desde antes de que existieran las computadoras.
La inteligencia artificial y el aprendizaje automático también son campos muy antiguos, pero creo que lo que realmente ha cambiado en los últimos 20 años, y especialmente en los últimos 10, es que la inteligencia artificial y el aprendizaje automático solían usarse en aplicaciones científicas porque ahí es donde había suficientes datos para entrenar la capacidad predictiva.
modelos.
El auge de la Internet de los consumidores ahora nos ha hecho generar montones y montones de datos sobre nuestras actividades, nuestras ubicaciones, nuestras preferencias, nuestras esperanzas, nuestros miedos, etcétera.
Ahora es posible utilizar el aprendizaje automático para personalizar la toma de decisiones algorítmicas, algunas decisiones que conocemos y queremos que los algoritmos tomen por nosotros y, a veces, decisiones de las que ni siquiera somos conscientes.
¿Cuáles son algunas de las decisiones de las que la gente puede no estar consciente?
Muchos de los ejemplos de nuestro libro son en los que la decisión tiene una gran consecuencia para el individuo y es posible que ni siquiera se dé cuenta de que se están utilizando o se están utilizando algoritmos para ayudar en el proceso de toma de decisiones.
Algunos ejemplos serían cosas como préstamos al consumidor, ya sea que obtenga un préstamo o una tarjeta de crédito cuando lo solicite, decisiones de admisión a la universidad, decisiones de contratación en los departamentos de recursos humanos e incluso cosas muy importantes como la atención médica; y también qué sentencia penal recibe o si obtiene libertad condicional si ha estado encarcelado.
La mayoría de la gente no se da cuenta de que esto está sucediendo tanto en las empresas privadas como en el gobierno.
Idealmente, estas cosas se están introduciendo para que el proceso de decisión sea mejor, esté más informado y menos sesgado.
¿Por qué no está pasando eso?
No creo que el objetivo principal de la mayoría de las decisiones algorítmicas sea hacer las cosas menos sesgadas, a menudo es hacerlo más eficiente y aprovechar el hecho de que tenemos cantidades masivas de datos que se pueden usar para construir modelos predictivos.
.
Entonces, en lugar de que los seres humanos tomen las decisiones directamente, que a menudo pueden ser lentas y también estar sesgadas de varias maneras, es más fácil y conveniente tomar los datos que tiene y, esencialmente, entrenar un modelo.
Es realmente una forma de autoprogramación, ¿verdad? En lugar de que un programador de computadoras diga quién debería obtener un préstamo y quién no, en función de los atributos ingresados ??en una solicitud de préstamo, solo toma un montón de datos históricos sobre las personas a las que otorgó préstamos, quienes pagaron y no pagaron y trata de aprender un modelo que separa a los que son dignos de crédito de los que no lo son.
Creo que a menudo en los negocios y en otros lugares, el factor principal es la eficiencia y nuestro libro trata realmente sobre el daño colateral que puede provenir de perseguir esas eficiencias.
Hablemos de algunos de esos ejemplos.
Hace unas semanas, hubo un estudiar sobre un hospital que estaba usando un algoritmo para ayudar a determinar a quién brindar atención médica y cuánta atención médica brindar.
Hubo algunos análisis y se determinó que el algoritmo atendía sistemáticamente a los pacientes afroamericanos de forma insuficiente y, por lo tanto, a los pacientes blancos en exceso.
Sí, y creo que en realidad no fue un hospital, fueron muchos hospitales que estaban usando algún algoritmo de terceros que tenía el problema que describiste.
Destaca una de las diversas formas en las que factores como la raza, el género y otros prejuicios pueden introducirse en los algoritmos.
En ese caso particular, el problema no fue realmente con el algoritmo, que a menudo es una fuente de sesgo o discriminación, y tampoco fue con los datos en sí, sino con el objetivo que la empresa usó para entrenar el modelo.
El propósito de este modelo era intentar evaluar la salud de los pacientes para decidir qué nivel de atención médica necesitaban o intervenir con algún tipo de tratamiento.
Pero, en realidad, medir la salud de alguien es algo complicado y multidimensional.
En otras palabras, es difícil recopilar los datos correctos para capacitarse para ese objetivo.
Lo que aparentemente hizo esta empresa fue decir: "Bueno, usemos el costo de la atención médica como un sustituto de la atención médica.
Supongamos que, en nuestro conjunto de datos históricos, las personas que tenían mayores gastos de salud eran las más enfermas y las personas con menores gastos de salud eran las más saludables.
unos." El problema con esto es que aprendió a discriminar a los afroamericanos porque sistemáticamente en conjunto tenían costos de atención médica más bajos, no porque estuvieran menos enfermos, sino porque tenían menos acceso a la atención médica.
Este es un ejemplo clásico en el que, cuando tiene un objetivo, es difícil alcanzar ese objetivo o requeriría un proceso de recopilación de datos más costoso.
Luego usan este proxy y ese proxy esencialmente perpetuó este sesgo en su modelo.
Es interesante porque cuando escuchas sobre prejuicios en el algoritmo, piensas que, bueno, ciertamente hay algún punto en el que estás preguntando sobre antecedentes raciales.
En realidad, eso es muy raro, son esas consecuencias secundarias, esas correlaciones que puede que no entiendas cuando estás programando el algoritmo por primera vez.
Así es.
De hecho, creo que una de las cosas que hemos aprendido en los últimos años es que el hecho de que no incluyas una variable como la raza o el género en tu modelo no es garantía alguna de que tu modelo no termine discriminando.
por raza y por género.
Hay varias razones por las que esto puede suceder, y es interesante porque, por ejemplo, en préstamos y crédito, existen leyes de larga data en los EE.
UU.
Que dicen: "No usarás la raza como entrada para tus modelos predictivos".
En la época en que se desarrollaron estas leyes, creo que la intención era proteger a las minorías raciales de la discriminación por parte de los modelos, pero sucede de todos modos.
Una de las muchas razones por las que puede suceder es que en estos días, especialmente cuando se sabe tanto sobre nosotros, hay tantas fuentes de datos disponibles sobre nosotros.
Hay demasiados proxies para cosas como la raza.
Quiero decir, no tienes que decirme cuál es tu raza para que yo lo averigüe, al menos en un sentido estadístico de otras fuentes de datos.
Un ejemplo desafortunado es que en los Estados Unidos, su código postal ya es un indicador bastante bueno de su raza.
Así que este es el tipo de cosas que pueden suceder.
Hablemos de otro ejemplo de algoritmo incomprendido.
Ha hablado de los algoritmos de evaluación de riesgos penales, que abarca uno de estos algoritmos que se ha utilizado durante casi 20 años.
Mucha gente ha pasado por el sistema, ha habido algunos informes de fallas, problemas de equidad en el algoritmo, pero el problema es bastante complicado y matizado.
Esa fue nuevamente una controversia muy relativamente reciente que creo que ayudó a avanzar en nuestra comprensión de los desafíos de la equidad algorítmica.
Un campus construyó este modelo de predicción de reincidencia criminal, una especie de casi un Informe de minorías-tipo de modelo que, basándose en los antecedentes penales de una persona, intenta predecir si reincidirá o esencialmente volverá a cometer un delito violento en algún momento de los próximos dos años.
Este tipo de modelos de evaluación de riesgos se utilizan a menudo en diferentes jurisdicciones por jueces que deciden si conceder a las personas la libertad condicional o no.
Así que son cosas muy, muy importantes.
La organización investigadora sin fines de lucro ProPublica examinó detenidamente este modelo y demostró que tenía un sesgo racial sistemático, que discriminaba a los afroamericanos y otras minorías raciales.
Así que hubo controversia y hubo idas y venidas entre ProPublica y la empresa que había desarrollado el modelo, y ProPublica dijo: "Su modelo es injusto".
Luego, NorthPointe, que fue la compañía que lo desarrolló, regresó y dijo: "No, deliberadamente estábamos al tanto de estos problemas y nos aseguramos de que nuestro modelo fuera justo, pero usamos esta otra definición de equidad.
sobre esto, ambas definiciones de equidad son completamente razonables y deseables.
De hecho, le gustaría tener ambas ".
Luego, los investigadores comenzaron a rascarse la cabeza y a decir: "Está bien, ¿quién está aquí?" Entonces, algunos de ellos, los más inclinados a la teoría, se sentaron y pensaron: "¿Es posible matemáticamente satisfacer ambas definiciones de equidad simultáneamente?" Luego demostraron que no lo era.
Esto es especialmente esclarecedor o perturbador dependiendo de su punto de vista porque muestra que el estudio algorítmico de la equidad o la implementación de la equidad va a ser un poco complicado y que es posible que tenga que hacerlo, cuando pida un tipo de equidad, es posible que tenga estar renunciando a otro.
Creo que hemos sido bastante claros sobre lo complicado que se vuelve esto muy rápidamente.
En su libro, ofrece algunos consejos sobre cómo incorporar la ética en estos algoritmos desde el principio.
¿Cómo lo hacemos?
El propósito principal de nuestro libro es que somos optimistas, somos investigadores de aprendizaje automático, pero también somos conscientes del comportamiento antisocial que los algoritmos han demostrado en los últimos cinco años y el tipo de alarma popular creciente al respecto.
Compartimos esa alarma y sentimos que la mayoría de los libros que hemos leído, muchos de los cuales nos han gustado mucho, son muy buenos para señalar cuáles son los problemas; pero...
