2018-09-10

Descubriendo algoritmos sesgados

Un verificador de programas...
Cuando se informatizan procesos se introducen, de manera casi inevitable, los sesgos de las personas implicadas en los desarrollos: por especificación (o por falta de ella), por diseño, por las pruebas...
Cuando un proceso es aplicado por personas (que piensen y tomen decisiones, claro), esos sesgos pueden manifestarse y puede que no. Pero con un programa informático, si están en el proceso de alguna forma terminan apareciendo.

Sobre esto tenemos varias alternativas: impedir la automatización, o asumirla. En este segundo caso podemos ignorar los problemas, o encontrarlos y tratar de resolverlo.s

En This Breakthrough Tool Detects Racism And Sexism In Software nos hablan de una herramienta que trataría de apoyar en el segundo enfoque: detectar racismo y sexismo en los programas informáticos.

Nos habla de un caso relacionado con el Prime de Amazon y cómo analizaron
todo tipo de métricas para seleccionar los 'mejores' barrios:


Last year, Amazon was figuring out where it should offer free same-day delivery service to reach the greatest number of potential Prime customers. So the company did what you’d expect: It used software to analyze all sorts of undisclosed metrics about each neighborhood, ultimately selecting the “best” based on its calculations.


¿El problema? Nunca salían seleccionados barrios negros.

El segundo problema es que es muy difícil estudiar estos sesgos: no se
puede mirar dentro de algunos de estos algoritmos para ver cómo actúan y en
qué basan sus decisiones:


Amazon’s biased algorithm, like the Justice Department’s, doesn’t just illustrate how pervasive bias is in technology. It also illustrates how difficult it is to study it. We can’t see inside these proprietary “black box” algorithms from the outside. Sometimes even their creators don’t understand the choices they make.


La solución propuesta por Alexandra Meliou y Yuriy Brun se basa en la inferencia causal: se trata de cambiar de manera métodica algunos de los parámetros que se incluyen en los análisis (raza, género y otros más complejos) y ver si esos cambios afectan al resultado.


By changing specific variables methodically–whether it be race, gender, or something far more abstract–it can spot patterns of prejudice in any web form.


Los cambios pueden ser sutiles, a veces intentando evitar los sesgos racistas, introducimos o potenciamos otros diferentes:


“Sometimes, trying to not discriminate against a gender actually makes your system discriminate more against something like race. Because you constrain your system not to discriminate against a popular attribute, it forces your system to do things against other attributes.”


Interesante.

2018-09-10 17:57 | 0 Comentarios | In English, please | En PDF | Para enlazar # |
| Compartir/Share | por correo | en Twitter | en LinkedIn | en Facebook | en Google+ | en Delicious |

Referencias (TrackBacks)

URL de trackback de esta historia http://fernand0.blogalia.com//trackbacks/77560

Comentarios

Nombre
Correo-e
URL
Dirección IP: 54.221.9.6 (463763b4ba)
Comentario
¿Cuánto es: diez mil + uno?