«WE KILL PEOPLE BASED ON METADATA» un réquiem por la Explicabilidad en la Inteligencia Artificial
La
Inteligencia Artificial, en general, y el Machine Learning, en particular,
cuando implican aspectos relevantes de la vida de las personas y no pueden
explicar sus resultados, son un peligro.
El Dataísmo es la religión del siglo XXI, a
decir de Yuval Noah Harari: «los
dataístas creen que los humanos ya no pueden hacer frente a los inmensos flujos
de datos actuales… el trabajo de procesar los datos debe encomendarse a
algoritmos»[1].
En los albores de
la humanidad la religión predominante en el hombre era la animista, si le surgía
una duda simplemente preguntaba, por medio del chamán de turno, a la diosa
montaña o al dios sol y ella/él le mostraba la verdad a través de semillas o
cenizas. Luego el hombre abrazó el monoteísmo, así, ante la duda preguntaba al
sacerdote, quien encontraba la verdad en los libros sagrados, la palabra de
Dios. Posteriormente es él mismo quien se deidifica y nace una nueva religión:
el humanismo, ante cualquier duda, el hombre recurre al psicoanalista que lo
escucha con paciencia, para luego decirle que busque la verdad dentro de sí,
que lo que lo haga feliz es la única verdad. Hoy en día, el Dataísmo le dice al hombre que cuando le
asalte una duda – si está siendo un buen trabajador, si su nueva dieta le hace
bien, si él/ella es la pareja perfecta - recurra a los datos, lo que digan
ellos será la verdad, innumerables discusiones y debates han sido zanjados con
un gráfico, una estadística o el resultado de un algoritmo, ante evidencias datológicas no cabe la vacilación, son
la verdad absoluta, incontrovertible.
Como toda
religión el Dataísmo tiene dogmas,
uno de ellos es la Veracidad – una de las famosas seis “V’s” del Big Data. La
Veracidad afirma que los datos representan fielmente la realidad[2],
así, en tanto los datos representan lo que es real, por lógica, la verdad
reside en los datos y en todo lo que sea sustentado por estos ¡amén!
Y como a cada
religión le corresponde una era, al Dataísmo
le corresponde el Algoritmoceno. En
el Algoritmoceno la inteligencia
artificial[3]
(IA), en general, y el machine learning[4]
(ML), en particular, están monopolizando la toma de decisiones en todos los
aspectos de la vida humana, tal como lo dice Cathy O’Neil: «Vivimos en la era de los algoritmos… Cada vez en mayor medida, las
decisiones que afectan nuestras vidas - a qué escuela ir, si podemos o no
obtener un préstamo, o cuánto pagamos por nuestro seguro sanitario - no están
tomadas por humanos, sino por modelos matemáticos»[5].
Es así que poco a poco nos estamos convirtiendo en una sociedad regida por la IA
y el ML.
Resumiendo mucho,
podemos decir que el ML[6]
aprende por inducción/generalización, se nutre de un gran número de ejemplos -
casos - y de ellos deriva una regla – una generalización - que usa para
predecir. Un ejemplo exprés: una aseguradora introduce en un algoritmo de ML
los datos – perfil – de los últimos 100 mil clientes que han contratado un
seguro de vida, el algoritmo los estudia – sin intervención humana - y
determina que los hombres, entre 53 y 58 años, que residen en ciudades de más
de 1 millón de habitantes y que ocupan puestos directivos tienen un 95% de
probabilidad de contratar el seguro[7].
Entonces la aseguradora convertirá este hallazgo en un algoritmo – sí, ML son
algoritmos que crean algoritmos – y cada vez que encuentre un prospecto con las
características anteriores “predecirá”
que hay una alta probabilidad que esa persona compre el seguro, si el algoritmo
está bien hecho acertará en 95 de cada 100 ventas.
ML puede ser
aplicado a la venta de seguros, a la predicción de fraudes en tarjetas de
crédito, al mantenimiento predictivo de maquinarias, al pronóstico del tiempo, a
la aparición de brotes epidémicos y un largo y espectacular etcétera. ¿No es un
milagro poder predecir, usando ML, con tres meses de anticipación el lugar
donde surgirá un brote de dengue con una precisión de 400m?[8],
pero…
El ML – y por
extensión la IA – tiene algunos problemas sobre los que queremos llamar la
atención, uno es de carácter trascendente y el otro de carácter técnico.
El primer problema:
el ML no es ético, las máquinas no son capaces de incluir moduladores
éticos/morales dentro de sus resultados.
Algunos ejemplos:
§ Un joven negro llamado Kabir Alli se
filmó buscando en Google “three black
teenagers” y “three white teenagers”
las imágenes de la primera búsqueda eran de jóvenes negros en fotos policiales,
los resultados de la segunda fueron jóvenes blancos sonrientes en ambientes
diáfanos[9].
§ En septiembre de 2016, Tom Egeland,
escritor y periodista noruego, posteó una de las fotos en contra de la guerra
más impactante de la historia - Phan Thi Kim Phu, una niña vietnamita de nueve
años corre desnuda huyendo de un ataque con napalm. El algoritmo automático de
Facebook censuró la imagen porque violó sus normas comunitarias contra la
desnudez[10].
§ SKYNET es un software de ML de la NSA –
Agencia de Seguridad Nacional de los EEUU - que usa datos de la red de
telecomunicaciones de Pakistán para detectar sospechosos de terrorismo[11].
Los creadores del software dicen que su tasa de falsos positivos – personas
identificadas como terroristas, que no lo son – es de 0,008% lo cual es un
número más que aceptable en ML, pero traspuesto a la población de Pakistán
hablamos de ¡15.000 personas identificadas erróneamente como terroristas! Es
célebre el caso de la identificación como terrorista de Ahmed Zaidan, jefe de
la oficina de Al-Jazeera en Islamabad, de quien a ciencia cierta se sabe que no
es terroristas, pero que se comunica con ellos por razones de su profesión. Respecto
a SKYNET todas las alarmas saltaron cuando el exjefe de la CIA y de la NSA
general Michael Hayden pronunció la frase que da el título de este artículo: «Matamos gente basados en metadatos»[12].
A pesar de sendos artículos de The
Guardian[13]
no hemos encontrado pruebas concluyentes que SKYNET haya servido para matar
inocentes, y no es el objetivo de este artículo demostrarlo; pero la
latencia/riesgo de este hecho queda patente.
La falta de ética
del ML, deviene de que al basarse en la historia – aprende de hechos sucedidos
en el pasado – perpetua sesgos. Supongamos que estamos en 1963 y creamos un
algoritmo para la asignación de becas a universitarios, queremos asignarlas a
los estudiantes con mayor probabilidad de graduarse con excelencia, basados en
los casos anteriores, y si alimentamos el algoritmo con TODOS los datos y
dejamos que aprenda SOLO – el mantra del ML - el algoritmo no asignará becas a
estudiantes negros[14].
Si repetimos la
operación en 1980, pero esta vez buscando al mejor CEO para una empresa del Dow Jones, cualquier mujer aparecería
con un score muy bajo.
La segunda
característica a la que debemos prestar atención es la “Tragedia de los grandes conjuntos de datos” - ¿les suena Big Data?
– que dice que entre más variables y más ocurrencias de estas se tengan la
probabilidad de encontrar correlaciones espurias crece exponencialmente.
¿Qué es una
correlación espuria? Técnicamente
hablando es una relación matemática entre dos acontecimientos que no
tienen conexión lógica.
Estas correlaciones
se pueden deber a dos causas:
a) El azar.
“Existen datos que demuestran, fehacientemente, que a más
películas filmadas por Nicolas Cage, más ahogamiento en piscinas en los Estados
Unidos”[15].
Es fácil darse cuenta que esta correlación es
fruto del azar, el peligro está en que existen otros casos en los cuales el
error no es tan obvio.
b) El
factor de confusión.
“Está demostrado estadísticamente que ante un crecimiento en el
número de nidos de cigüeñas el número de nacimientos de niños se incrementa.”[16]
En este caso se presenta un tercer
factor no detectado, llamado factor de confusión, que es el que hace “mover” a los dos primeros. El caso de
las cigüeñas y los niños es un estupendo ejemplo presentado por el CSIC –
Consejo Superior de Investigaciones Científicas de España - donde se demuestra el
efecto de un factor de confusión oculto, que es el tamaño de las ciudades, al
incrementarse éste se incrementa el número de nacimientos y el número de nidos
de cigüeñas.
Entonces, antes
de deducir que las películas de Nicolas Cage producen ahogamientos o que las
cigüeñas traen a los niños debemos recurrir al sabio consejo: «No confundas casualidad con causalidad».
El mejor antídoto contra la falta de ética en el ML y las
correlaciones espurias es la Explicabilidad[17],
es así que arribamos a la tesis central de este artículo:
El gran reto de la Inteligencia Artificial
y del Machine Learning es la Explicabilidad
El mayor problema
del ML es lo difícil que resulta en muchas ocasiones explicar sus resultados,
de manera que se puedan modular/corregir sus hallazgos, pero en este Algoritmoceno con su Dataísmo “es más barata la correlación que la causalidad”.
El verdadero
peligro viene cuando los resultados del ML afectan a aspectos fundamentales de
la vida de las personas.
En 2016, Eric
Loomis fue condenado por eludir un control policial – Loomis se declaró
culpable. La controversia surgió cuando el juez del proceso reconoció que para imponer
la condena de 6 años de cárcel se basó, en parte, en un informe emitido por un
algoritmo que determinaba que Loomis tenía un alto riesgo de reincidencia. El algoritmo
de inteligencia artificial que usa el sistema judicial de Wisconsin se llama Compas
y es propiedad de Northpointe Inc.
La defensa apeló
la sentencia. Michael D. Rosenberg, abogado de Loomis, dijo: «el Sr. Loomis debería ser capaz de revisar
el algoritmo y hacer argumentos sobre su validez como parte de su defensa».
Jeffrey Harmon, CEO de Northpointe fue taxativo ante el requerimiento: «Los hemos creado [los algoritmos], y no los
liberamos porque es ciertamente una parte fundamental de nuestro negocio»[18].
Nuestra visión,
más allá de probables errores de sesgo de Compas[19]
es, que el problema central en el caso Loomis no es el algoritmo propiamente
dicho, sino el derecho de toda persona a saber por qué recibe la pena que se le
carga. O sea, un problema de Explicabilidad.
Este problema
podría tornarse más dramático aún si programas como SKYNET son conectados a
drones que realicen ejecuciones inmediatas sin realmente comprender a ciencia
cierta porqué se seleccionó a una persona como objetivo.
En situaciones
tan patentes como las anteriores la necesidad de la Explicabilidad es obvia, pero hay otras que llamamos de “baja intensidad” que pueden afectar significativamente
la vida de las personas sin que sean fácilmente detectables. Por ejemplo: una
universidad privada que reemplaza los exámenes de admisión por algoritmos de ML,
que pueden generar exclusión académica y por ende social[20];
un banco privado cuyos algoritmos de riesgo deniegan el acceso al crédito a amplios
segmentos de la población[21],
que pueden generar exclusión financiera; lo mismo es aplicable a la evaluación
para la admisión en seguros de salud, procesos de contratación laboral,
otorgamiento de visados y un gran etcétera.
La Inteligencia
Artificial, en general, y el Machine Learning, en particular, cuando implican
aspectos relevantes de la vida de las personas y no pueden explicar sus
resultados, son un peligro.
Nuestra apuesta
por la Explicabilidad no pretende
interferir, ni cambiar la forma de operar de empresas privadas, que mientras se
ajusten a la ley son libre de hacer lo que deseen con su capital intelectual,
más aún las animamos a un uso más intensivo de éste; nuestra posición se enfoca en el
derecho que tienen las personas a estar informadas completamente sobre las
decisiones que afectan trascendentalmente sus vidas[22].
Aun así, nos permitimos recomendar fuertemente a las empresas enfocarse en la Explicabilidad pues podría ser un filtro
poderoso que les permita detectar problemas éticos o errores técnicos en la
aplicación que hacen de la IA.
La Unión Europea
trabaja ya en el polémico “Derecho a la
Explicación” recogido en el Reglamento General de Protección de Datos de la
UE (GDPR) – que se publicará en 2018 - que a la sazón enuncia en su inciso (f)
que es un deber del controller - quien
almacena y trata información personal – proveer:
«The existence of automated decision-making, including profiling,
referred to in Article 22(1) and (4) and, at least in those cases, meaningful
information about the logic involved, as well as the significance and the
envisaged consequences of such processing for the data subject»[23]
Citamos la
opinión de Bryce y Flaxman acerca del impacto de esta ley: «… restringirá la toma de decisiones individual automatizada… [o sea] que
"afectan significativamente" a los usuarios. La ley también creará
efectivamente un "derecho a la explicación", por el cual un usuario
puede pedir una explicación de una decisión algorítmica que se hizo sobre
ellos. Sostenemos que, si bien esta ley planteará grandes desafíos para la
industria, destaca las oportunidades para que los científicos de la computación
tomen la iniciativa en el diseño de algoritmos y marcos de evaluación que
eviten la discriminación y permitan la explicación»[24]
Para terminar,
nos permitimos parafrasear a George Sand: «La
Inteligencia Artificial es el corcel y la Explicabilidad su jinete»
Nota:
todas las referencias web están activas en agosto de 2017.
[2] Tenemos
reservas personales en este punto, pero debemos de aceptar el pensamiento
mayoritario, aunque no podemos dejar de mencionar la frase de Mark Twain - que
achacó a Benjamin Disraeli: «Hay tres
tipos de mentiras: las mentiras, las malditas mentiras y las estadísticas».
[3] Inteligencia
Artificial es la replicación de la inteligencia humana (facultad de aprender,
entender, razonar, resolver problemas, tomar decisiones y formarse una idea) en
máquinas.
[4] Machine
Learning es una rama de la inteligencia artificial que desarrolla algoritmos
que permiten aprender a las computadoras sin intervención de los humanos.
Algoritmos que aprenden solos.
[5] “Weapons
of Math Destruction: How Big Data Increases Inequality and Threatens
Democracy”. Crown. 2016.
[6] El machine
learning es un cuerpo de conocimiento tan amplio como complejo, el resumen siguiente
cubre un gran espectro de su campo de actividad, pero hay excepciones que no
mencionamos por la brevedad del espacio de este artículo y para no incluir
complejidad innecesaria.
[8] AIME es
la plataforma de la Universidad de la Singularidad que ha logrado esto (http://www.bbc.com/mundo/noticias-37185030).
[9] Pueden ver el
vídeo en: https://www.youtube.com/watch?v=gg0hFfwhbcc. Cabe mencionar
que en nuestra opinión el algoritmo de Google no fue racista, simplemente
reflejó lo que hacen los internautas en la red.
[12] General
Michael Hayden discurso dado en abril de 2014 en la Universidad John Hopkins (https://www.youtube.com/watch?v=kV2HDM86XgI).
[14] James
Howard Meredith el 1 de octubre de 1962 fue el primer estudiante afroamericano
en cursar estudios en una universidad de los Estados Unidos, asistió acompañado
de la policía a su primer día de clases en la Universidad de Misisipi.
[15] También existen
datos que confirman que en cuanto disminuye el consumo de margarina en Maine la
tasa de divorcios disminuye. Estas y otras correlaciones espurias son recogidas
en la estupenda web de Tyler Vigen (http://tylervigen.com/spurious-correlations).
[17] Pedimos
perdón por el agravio al español con el término, pero no encontramos uno mejor,
nos encantaría recibir sugerencias.
[19] La juez
Ann Walsh Bradley se refirió a un informe de ProPublica sobre Compas que
concluyó que los acusados de raza negra en el condado de Broward eran mucho más
propensos que los de raza blanca a ser calificados incorrectamente con un nivel
más alto de reincidencia (https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing).
[20] En ciertos
países, está estadísticamente comprobado que los hijos de familias de nivel
socio-económico alto, hijos de profesionales, de escuelas privadas tienen mejor
desempeño académico que los de otros segmentos de la sociedad.
[21] Recuerdo
nítidamente una reunión durante la Gran Crisis en la cual un directivo bancario
ordenó que se dejarán de otorgar tarjetas de crédito a inmigrantes
sudamericanos; yo era inmigrante sudamericano… y él también.
[22] Reconocemos
que en este punto se abre un importante debate para lograr un equilibrio entre
la Explicabilidad y la protección del capital intelectual de las empresas. La
posición de Jeffrey Harmon CEO de Northpointe es totalmente razonable.
[24]“European Union
regulations on algorithmic decision-making and a right to explanation".
Bryce Goodman, Seth Flaxman presentado en el 2016 ICML Workshop on Human
Interpretability in Machine Learning (https://arxiv.org/pdf/1606.08813v3.pdf).
Comentarios