No es ningún secreto que las generalizaciones implican discriminaciones a las minorías. La estadística esencialmente es una herramienta que utilizamos los humanos de manera humana. Sin embargo, a los fines de la toma de cualquier decisión, siempre tenemos en claro que la definición de las personas no pasa por ahí. Ahora bien, si de la extracción de patrones de la realidad llegáramos a conclusiones tales como “la estadística dice que, entre las personas procesadas por delitos a la propiedad, la mayoría pertenece a determinada zona de la ciudad”, no es un obstáculo para pensar que en esa zona puede residir una persona muy valiosa para un puesto laboral.
En la selección de personal y decisiones relativas al área de Recursos Humanos, es incorrecto utilizar la información sobre el domicilio de una persona para la toma de decisiones.
No ha sido así para la Inteligencia Artificial aplicada, por ejemplo, a la selección de personal. Una situación de este tipo fue noticia en 2018 en la firma Amazon cuando un software de IA prefería postulantes masculinos porque se basaba en datos históricos masculinizados.
Los ejemplos pueden darse en múltiples situaciones de aplicación de la IA, como dijimos, en la selección de personal (HireVue), y también en aplicaciones judiciales de riesgo de reincidencia (Caso Compas); aplicaciones de calificaciones de riesgo crediticio (Apple Card); publicidades discriminatorias que eligen sus destinatarios por criterios raciales (Facebook); aplicaciones de traslados que penalizan racialmente con precios o tiempos de espera (Uber), y redes sociales que ocultan personas con discapacidad, sobrepeso o bajos recursos (Tik Tok), entre otros muchos casos.
Sesgos y discriminación
La discriminación proveniente de la IA puede venir de distintos sesgos:
– Sesgo de entrenamiento: la información sobre la que se entrena la IA ya contiene el resultado de conductas discriminatorias.
– Sesgo de selección de variables: el criterio de decisión tiene como base patrones que no son representativos de los valores humanos.
– Sesgo de confirmación: el sistema refuerza sus propias decisiones erróneas por retroalimentación.
– Sesgo de representación: se focaliza en las mayorías.
– Sesgo de evaluación: la información sobre la que se analiza la eficacia es parcial o incompleta.
El problema, como dijimos, se puede resumir en la aplicación de estadísticas en la toma de decisiones que no valoran la diversidad humana. Y la consecuencia, además de ser presente, es especialmente proyectable a futuro. La discriminación de las minorías no incorporadas al sistema solamente se agrava y confirma.
Y la situación se agrava si tomamos en cuenta los algoritmos que seleccionan el material que se consume a través de nuestros dispositivos. De nuevo partimos de datos estadísticos demográficos, en donde se estimulará a la uniformidad en aspectos mucho más profundos. El tema merece una nota independiente, no profundizaremos ahora.
La IA, una herramienta
Planteado el problema, entendemos que la solución pasa por comprender que la IA no es más que una herramienta, que como cualquier otra magnificará nuestras posibilidades y puede ser usada para hacer el bien o no.
Nuestra legislación es clara en cuanto a la prohibición de discriminación y es un poco más específica por cuanto en la Ley de Datos Personales, que específicamente prohíbe la apreciación de conductas humanas de manera exclusivamente informatizada en lo que a decisiones judiciales o administrativas atañe.
La solución, por supuesto que es accesible y pasa por auditorías algorítmicas externas e independientes, evaluaciones previas de impacto sobre derechos fundamentales, explicabilidad y trazabilidad del sistema, incorporación de principios de justicia algorítmica en el diseño y la ponderación del derecho a revisión humana significativa.
El uso de estas herramientas puede mejorar notablemente nuestros procesos y mejorar nuestras vidas, o no. Como con toda herramienta, dependerá de la calidad del humano que la opere y amplificará sus posibilidades en el sentido que se la utilice. Un uso responsable, crítico, inclusivo y dedicado es lo que hará la diferencia.
(*) Socio – Jaskowsky Bistocco Barrios – Abogados