Alejandro Urueña - Ética e Inteligencia Artificial (IA). Founder y CEO Clever Hans Diseño de Arquitectura y Soluciones en Inteligencia Artificial. Magister en Inteligencia Artificial
La escena: es sábado a la tarde, llegás al estadio con tu familia para ver el partido. En la entrada hay cámaras de seguridad conectadas a un sistema de reconocimiento facial que compara tu cara contra una base de datos de personas con prohibición de ingreso. El sistema dice que sos vos. Pero no sos vos. Te separan de tu familia, te llevan a un cuarto, perdés el partido, y tenés que demostrar que no sos quien la computadora dice que sos. Esto no es ciencia ficción: ya pasó al menos un par de veces en Estados Unidos con arrestos policiales por reconocimiento facial erróneo. En enero de 2020, Robert Williams fue detenido frente a sus dos hijas pequeñas en Detroit por un robo que nunca cometió. La única evidencia: una coincidencia del algoritmo. Pasó varias horas preso.
¿Cómo funciona esto? El sistema toma tu foto, la pasa por una red neuronal (un programa que aprendió a reconocer caras viendo millones de fotos), y la convierte en una lista de 128 o 512 números que representan las características de tu rostro: la distancia entre tus ojos, la forma de tu nariz, el contorno de tu mandíbula. Tu cara se convierte literalmente en un vector matemático. Después, el sistema compara ese vector contra todos los vectores guardados en su base de datos y calcula qué tan parecidos son. Si la distancia entre dos vectores es menor que cierto umbral, el sistema dice: “son la misma persona”. El problema es que “parecido” no significa “igual”. Y cuando el sistema se entrena viendo mayormente caras de un solo grupo de personas, aprende a distinguir mejor las diferencias dentro de ese grupo. Uno de los conjuntos de datos más usados para entrenar estos sistemas, llamado “Labeled Faces in the Wild”, tiene 83.5% de caras blancas. En diciembre de 2019, el Instituto Nacional de Estándares y Tecnología de Estados Unidos (NIST) probó 189 algoritmos de 99 empresas con 18 millones de fotos: los sistemas identificaban erróneamente a personas negras y asiáticas entre 10 y 100 veces más seguido que a personas blancas.
El MIT Sloan School of Management y el MIT Computer Science and Artificial Intelligence Laboratory (Csail) llevan años investigando por qué pasa esto. En su curso “Machine Learning in Business”, los profesores Thomas Malone y Catherine Tucker dedicaron un módulo completo a analizar el sesgo algorítmico. Tucker, economista especializada en el impacto social de la tecnología, identificó tres fuentes fundamentales de sesgo que aplican a cualquier sistema de inteligencia artificial: “La primera es lo que yo llamo la ‘hipótesis del hombre blanco’: si vas a muchas oficinas de empresas tecnológicas, vas a ver muchos hombres blancos, y hay una sospecha de que quizás simplemente conocen gente de su mismo perfil, y entonces lo codifican así. La segunda es que potencialmente entrenaste tu algoritmo con un conjunto de datos que tenía más de un grupo que de otro. Y la tercera es que el algoritmo podría aprenderlo del comportamiento real del usuario.” Lo que Tucker está diciendo es que el sesgo no es un bug accidental sino el resultado predecible de decisiones humanas: quién diseña el sistema, con qué datos lo entrena, y cómo la gente lo usa después. El reconocimiento facial combina las tres fuentes: desarrolladores mayormente blancos, datasets 83% blancos, y bases de datos policiales donde las minorías están sobrerrepresentadas por tasas de arresto históricamente desiguales.
Pero la investigación del MIT va más allá del algoritmo y entra en territorio más inquietante: el comportamiento humano frente a las máquinas. Tucker y Malone documentaron un fenómeno llamado “automation bias”: la tendencia a confiar ciegamente en lo que dice la computadora, incluso cuando hay evidencia contradictoria. Malone observó que “hay toda una literatura en psicología sobre cómo, para muchos tipos de predicciones, los algoritmos simplemente lo hacen mejor que la gente”, lo cual crea una confianza que puede ser peligrosa. Tucker agregó una paradoja reveladora: “Si sentís que tenés el poder de decirle que no al algoritmo, en realidad sos más propenso a seguirlo. Cuando podés decir que no, sos más propenso a decir que sí.” En los casos de arrestos erróneos, la policía no verificó coartadas en parte de ellos, no buscó huellas ni ADN en 5, y en otros casos ignoró evidencia de ADN que apuntaba a otra persona. La máquina dijo que era él. Eso fue suficiente. El ex jefe de policía de Detroit admitió que si usaran reconocimiento facial como única evidencia, se equivocarían “el 96% del tiempo”. Aun así, su departamento siguió usándolo.
Volvamos al estadio. Supongamos que el sistema tiene una tasa de error del 1% para personas blancas y del 10% para personas negras (valores conservadores según NIST). Si entran 50.000 personas y 5.000 son negras, el sistema va a generar aproximadamente 450 falsas alarmas con personas blancas y 500 con personas negras, aunque sean solo el 10% del público. Si sos negro, tenés diez veces más probabilidades de que te paren por error. Y una vez que el guardia de seguridad ve “COINCIDENCIA” en su pantalla, ¿cuántas veces va a cuestionar a la máquina? El problema no es solo matemático: es que el humano que tiene el poder de dudar, no duda.
Sin embargo, la investigación del MIT también ofrece un camino de salida. Tucker presentó el caso de Bo Cowgill, de Columbia University, que estudió algoritmos de contratación laboral. A diferencia del famoso caso de Amazon (que entrenó un algoritmo para replicar sus contrataciones pasadas y terminó discriminando mujeres porque históricamente contrataban más hombres), Cowgill entrenó el algoritmo para predecir éxito real en el trabajo. El resultado: “El algoritmo hizo un gran trabajo ampliando el pool de candidatos. Los reclutadores humanos tendían a enfocarse en un conjunto muy estrecho de universidades. Pero el algoritmo seleccionó candidatos exitosos de escuelas donde el reclutador usualmente no contrataba.” La lección es clara: si le pedís al algoritmo que replique el pasado (incluyendo sus sesgos), lo replica. Si le pedís que optimice resultados reales, puede descubrir talento que los humanos ignoran. Aplicado al reconocimiento facial: se puede entrenar para minimizar errores en todos los grupos demográficos, no solo para maximizar coincidencias globales. En junio de 2024, Detroit implementó exactamente esto tras la demanda de Robert Williams: reconocimiento facial solo para crímenes violentos, toda coincidencia debe corroborarse con evidencia independiente, y prohibido para vigilancia en tiempo real.
Y mientras en Estados Unidos se empiezan a poner límites, en Argentina se abren las puertas. Según informó Página/12 en enero de 2025, tres acontecimientos recientes tienen a la empresa de cibervigilancia Palantir como telón de fondo: el cambio en la Ley de Inteligencia por decreto de Milei, el ingreso de Estados Unidos en Venezuela, y la ola de detenciones del ICE que incluyó el asesinato de Renee Nicole Good en Mineápolis. Palantir, fundada por Peter Thiel y Alex Karp (parte de la misma de Zuckerberg y Musk), es una megaempresa valuada en 400.000 millones de dólares que se dedica a ingeniería de datos, reconocimiento biométrico y, sobre todo, a predecir comportamientos humanos mediante inteligencia artificial. “A este tipo de empresa el gobierno de Milei le facilitó los datos de millones de argentinos y en este momento se están monitoreando cada uno de nuestros movimientos”, alertó el periodista Juan Alonso. Los mismos algoritmos que en Detroit generaron arrestos erróneos, serian los mismos sistemas que el NIST demostró que discriminan por raza, los mismos que el MIT documenta que los humanos siguen ciegamente, ahora tienen acceso a las bases de datos de los argentinos. Tu cara ya era un número. Ahora ese número tiene dueño.
Tucker cerró su clase del MIT con una herramienta que cualquier organización debería usar antes de implementar un algoritmo: “Lo que siempre aconsejo a mis estudiantes es: ¿cuál es la peor cosa que podrías imaginar que tu algoritmo haga? ¿Cómo te sentirías si el New York Times escribiera un artículo de portada sobre ese resultado?” Para el reconocimiento facial en Estados Unidos, ese artículo ya se escribió. Varias veces. La pregunta ahora es cuántos artículos van a tener que escribirse en Argentina antes de que alguien aplique esa prueba. La matemática de convertir una cara en un vector y comparar distancias funciona. El problema son las decisiones humanas: con qué fotos entrenamos el sistema, a quién le damos acceso a los datos, y si alguien se toma el trabajo de dudar antes de actuar. Tu cara es un número. La pregunta es quién lo tiene, qué hace con él, y si va a haber alguien que cuestione a la máquina antes de que te separen de tu familia.
