Inteligencia artificial: la “perplejidad” en el campo científico de la IA

En una sociedad cada vez más guiada por algoritmos, la transparencia y responsabilidad en el desarrollo, entrenamiento y despliegue de sistemas de inteligencia artificial (IA) son elementales para nuestro futuro y el de nuestros hijos.

Una noción central en este debate es la “perplejidad” dentro del campo científico de la IA, un término que encapsula tanto la probabilidad como la incertidumbre en el contexto de los modelos de lenguaje grandes (LLM), como por ejemplo aquellos desarrollados por OpenAI.

Perplejidad como un Medidor de Claridad y Confiabilidad: En el ámbito técnico, la perplejidad si bien no es la única medida del rendimiento de un LLM, se refiere en el ambito de la IA, “a la probabilidad promedio de tokens en la respuesta de un LLM” , en esta línea de pensamiento se refiere a la medida en que un modelo de lenguaje predice una secuencia de palabras.

No es simplemente una métrica de error, sino una expresión de cuán bien el modelo comprende y anticipa el lenguaje natural basado en su entrenamiento. Cuanto menor es la perplejidad, mayor es la probabilidad de que el modelo genere respuestas coherentes y precisas, dado un conjunto de datos.

La perplejidad, calculada como la medida de la entropía (la entropía es una medida de la incertidumbre o el desorden en un sistema de información) cruzada entre la distribución de probabilidad de las palabras predichas y las observaciones reales, sirve como un indicador crítico de la “confianza” del modelo en sus propias predicciones.

Esto es fundamental, ya que una baja perplejidad en la salida de un modelo sugiere que el sistema tiene un alto grado de certeza en sus respuestas, lo cual es crucial para aplicaciones que van desde asistentes virtuales hasta sistemas de diagnóstico médico, como asistentes jurídicos y muchos otros usos más.

La perplejidad fuera del ámbito de la IA dentro de lo humano, se entiende comúnmente como el estado de estar perplejo y confundido. Este significado coloquial no está desconectado del uso técnico del término en la inteligencia artificial. Ambas acepciones evocan una situación de incertidumbre o complicación que requiere resolución o clarificación.

Particularmente en lo que respecta a los LLM, a medida que estos modelos se integran en más aspectos de la vida cotidiana, la capacidad de los desarrolladores y reguladores para medir y comprender la perplejidad no sólo asegura la funcionalidad técnica, sino que también salvaguarda la ética, transparencia y responsabilidad.

Algunos ejemplos de algunas salidas erróneas son por ejemplo el chatbot “MyCity” de Nueva York proporcionaba respuestas incorrectas a las preguntas de los empresarios sobre las regulaciones locales; el chatbot de Air Canada generaba información falsa sobre las políticas de devolución, lo que provocó que la aerolínea fuera acusada de difundir datos erróneos y que un tribunal ordenara una indemnización para un cliente; un bufete de abogados fue penalizado por un magistrado federal al descubrir que sus letrados utilizaron ChatGPT para redactar un escrito legal plagado de citas inventadas. Un modelo con una perplejidad adecuadamente baja y comprensible puede ser auditado más efectivamente.

Un principio para superar las alucinaciones con el Modelo de Lenguaje Confiable. El 25 de abril, de Cleanlab “una empresa de IA surgida de un laboratorio de computación cuántica del MIT (Instituto Tecnológico de Massachusetts, EE UU)” lanzaron el Modelo de Lenguaje Confiable (TLM), diseñado para abordar uno de los desafíos más significativos en la implementación de los LLM: las alucinaciones (las alucinaciones se refieren a la capacidad de los modelos de lenguaje grande LLM para generar contenido falso o inventado). https://cleanlab.ai/blog/trustworthy- language-model/. El TLM introduce una puntuación de confiabilidad para cada respuesta generada por el modelo, permitiendo una distinción clara entre las respuestas confiables y las potencialmente engañosas, si bien “TLM requiere un cálculo adicional para proporcionar estos beneficios, internamente llama al LLM subyacente varias veces para reflexionar sobre las respuestas y evaluar la coherencia entre las respuestas”.

Este desarrollo no solo mejora la precisión de los modelos en comparación con los estándares actuales, sino que también ofreceria un principio de nuevas posibilidades para la implementación segura de IA generativa en entornos empresariales y profesionales, donde la mayor precisión y la fiabilidad son esenciales.

Con la regulación algorítmica emergiendo como un campo de interés legislativo, preventivo y público, es fundamental que los desarrolladores de IA adopten la perplejidad no solo como una métrica técnica, sino como un principio rector en la creación de tecnología consciente y responsable alineando las nuevas tecnologías con los valores humanos fundamentales.

Por Alejandro Urueña.

Etica e Inteligencia Artificial (IA) - Founder & CEO Clever Hans Arquitectura y Soluciones en Inteligencia Artificial. Abogado. Diplomado en Derecho del Trabajo y Relaciones Laborales, Universidad Austral.