Los peligros de la alucinación en los modelos de lenguaje como Chat GPT

Inteligencia Artificial en Salud

Los peligros de la alucinación en los modelos de lenguaje como Chat GPT

Los modelos de lenguaje

Los peligros de la alucinación en los modelos de lenguaje como Chat GPT y la ingeniería de los prompts: una mirada técnica

Introducción:

Diferentes medios de comunicación han presentado hoy (31-5-2023)  una agradable noticia, en la que se anuncia que un grupo de diputados costarricenses de diversos partidos políticos, están preparando un proyecto de ley con el propósito de regular de alguna forma los alcances de la inteligencia artificial en Costa Rica.  Otros países como los Estados Unidos desarrollan precisamente en estos días una importante discusión alrededor de estos temas y han tenido dificultades para lograr un concenso. Por su parte la Unión Europea ha realizado importantes avances.   En este sentido, los documentos generados por la UE sin duda pueden ser una buena base para los esfuerzos que se quieren hacer en nuestro país.

La noticia también menciona de forma anecdótica,  que el proyecto de ley,  en su versión borrador ha sido elaborado  inicialmente,  con ayuda de modelos LLM  (Large Language Models) que son redes neuronales de aprendizaje profundo  y que conocemos por el nombre comercial de: chat – GPT.  Sin duda esto también resulta particularmente interesante,  porque estamos creando regulación para la IA utilizando la misma IA.  Esto en realidad no tendría ningún problema,  si el modelo de  red neuronal utilizado fuese,  lo suficientemente «inteligente»,  como para analizar un contexto político-legal y  que le permita crear legislación .   Acá estaríamos frente a los que llamamos la Inteligencia Artificial fuerte IAF.   Sin embargo en nuestra realidad mundial ,  toda esta revolución de los últimos meses opera sobre lo que se conoce como la inteligencia artificial débil.  Veamos esta infografía de Huawei,  donde se explican gráficamente estas diferencias.

 

 

 

 

Un  efecto indeseado

Sin ninguna duda ,los modelos de procesamiento de lenguaje natural basados en Inteligencia Artificial, y que utilizan  Aprendizaje Profundo llamados (LLM) como Chat GPT, han experimentado un rápido desarrollo en los últimos meses incuestionable.  Esta es  posiblemente una de las tecnologías que más rápidamente se han extendido entre la población en pocos meses, acumulando inicialmente más de 100.000.000 de usuarios en pocas semanas.  Estos modelos de lenguaje, que muchos de ustedes habrán visto y utilizado  tienen la capacidad de generar texto coherente y relevante en respuesta a una entrada de texto dada.  Sin embargo, a medida que los LLM se han vuelto más poderosos, también han surgido preocupaciones sobre los peligros que enfrentan los usuarios debido a un fenómeno conocido como «alucinación». En este artículo, exploraremos en detalle la arquitectura de los LLM, su comportamiento  y cómo la ingeniería de los prompts puede ayudar a mitigar los peligros asociados con la «alucinación».

Definiciones y arquitectura de los LLM: (Large Language Models)

Antes de abordar los peligros y la alucinación en los LLM, es importante comprender su arquitectura y funcionamiento. Los LLM se basan en redes neuronales recurrentes (RNN) o transformadores, una tecnologia de aparicion reciente.  Estos modelos son capaces de aprender patrones y estructuras de texto mediante el procesamiento secuencial de las palabras. Estos modelos se entrenan en grandes conjuntos de datos para capturar la distribución estadística del lenguaje humano.

Un modelo de lenguaje de aprendizaje automático (LLM) típico está estructurado con capas de unidades recurrentes o transformadoras que procesan secuencialmente una serie de palabras. Cada una de estas unidades analiza la información de entrada y genera una salida en función de su estado interno y los datos de entrada previos. A medida que el modelo procesa más palabras en la secuencia, va generando una distribución de probabilidad que predice las palabras siguientes.

Es esencial comprender que, aunque estos modelos son generadores de palabras «prácticamente aleatorios» , aunque a simple vista pareciera que generan un texto coherente y significativo.  La coherencia en el texto, se verá significativamente afectada,  por el contexto inicial que se les proporciona.(a traves de prompts)

Los llamados prompts ó comandos , NO son meros detalles, sino que desempeñan un papel crucial en la formación de la salida del modelo. Alimentar el codificador con prompts detallados y bien estructurados ,  puede guiar al modelo de manera más eficaz, permitiéndole generar respuestas más precisas y pertinentes. Sin esta regulación, el modelo puede comenzar a «alucinar», generando salidas que pueden parecer incoherentes o irrelevantes.

 

Cómo se comportan los LLM ?

Los LLM son altamente efectivos en tareas como la generación de texto coherente, traducción automática, resumen de texto, entre otras. Su entrenamiento masivo les permite capturar patrones gramaticales, semánticos y estilísticos presentes en los datos de entrenamiento. Sin embargo, lo mas importante es reconocer que los LLM, NO poseen una comprensión real del significado detrás del texto que generan, aunque los textos a primera vista parecen muy coherentes.  No nos dejemos engañar !

Esta característica del comportamiento de los LLM puede dar lugar a textos «sin sentido»  cuando se utilizan sin supervisión o sin conocimiento del dominio. En algunos casos, los modelos pueden generar información incorrecta, engañosa o incluso dañina, sin ser conscientes de su veracidad o consecuencias. Este fenómeno se conoce como alucinación, donde los modelos generan información que parece coherente y plausible, pero que si analizamos con profundidad veremos que carece de fundamento.

La ingeniería de los prompts como enfoque de mitigación:

Para abordar los peligros de la alucinación en los modelos de lenguaje como Chat GPT, la comunidad de investigación ha propuesto el uso de técnicas de ingeniería de los prompts. La ingeniería de los prompts, se refiere al proceso de diseñar cuidadosamente esas entradas ( o sea la forma en como se formulan las preguntas a Chat GPT ) para influir positivamente en la generación de salidas. De esta forma al utilizar estratégicamente los prompts, los usuarios pueden guiar el comportamiento del modelo y reducir la probabilidad de alucinaciones.

Una técnica común en la ingeniería de los prompts es la especificación del conjunto de  restricciones para la generación de texto. Por ejemplo, se pueden incluir instrucciones explícitas que indiquen al modelo que se adhiera a hechos verificables, que evite contenido ofensivo o que responda solamente a preguntas específicas. Estas restricciones pueden ayudar a mitigar los riesgos asociados con la alucinación y garantizar la generación de texto más confiable.

Ingeniería de prompts

Ingeniería de prompts. ejemplo de como utilizar un buen balance entre complejidad y variedad.

Adicionalmente también es posible ajustar otros parámetros técnicos del modelo para evitar otras desviaciones como repeticiones, etc. Veámoslas con mas detalle

Ajuste de parámetros:

Dentro de los parámetros que chat GPT y otros LLM requieren de ajuste destacan:

a.) El tipo de modelo a utilizar.

Hemos escuchado últimamente de la existencia de un chat GT 3.5 y de un chat GT 4.0 que aún está restringido solamente para usuarios de pago además de estos dos modelos existen otros muchos que están especializados en distintas tareas como por ejemplo los modelos de pregunta y respuesta o bien los modelos que nos ayudan a escribir código informático.

otro parámetro de importancia es la temperatura, qué pasaré a explicar:

b.) El parámetro de la Temperatura:

Cuando se habla de la «temperatura» en el contexto de los modelos de lenguaje como ChatGPT, se refiere a un parámetro que controla la aleatoriedad de la generación de texto. La temperatura determina la suavidad o rigidez de las distribuciones de probabilidad utilizadas por el modelo para seleccionar la siguiente palabra o frase en su respuesta. En un modelo de lenguaje, cada palabra en el vocabulario tiene asociada una probabilidad de ser seleccionada como la siguiente palabra en una secuencia de texto generada. La temperatura ajusta cómo se eligen esas palabras en función de sus probabilidades.

Una temperatura baja (por ejemplo, 0.1) hace que el modelo sea más determinista y tienda a elegir las palabras con las probabilidades más altas, . Esto resulta en una generación más coherente pero potencialmente más repetitiva.

Por otro lado, una temperatura alta (por ejemplo, 1.0 o más) hace que el modelo sea más aleatorio y explore más opciones en su generación. Esto puede llevar a respuestas más diversas, pero también puede aumentar la probabilidad de generar respuestas incoherentes o irrelevantes. La elección de la temperatura depende del contexto y de las preferencias del usuario.

Una temperatura más baja puede ser adecuada para generar respuestas más seguras y predecibles, mientras que una temperatura más alta puede ser útil. Sin embargo podría generar respuestas más creativas pero potencialmente menos confiables. Es importante encontrar un equilibrio adecuado en función de las necesidades específicas y el contexto de uso.

c.) Los parámetros de penalidad:

Los parámetros de penalidad son utilizados para controlar aspectos como la longitud de las respuestas generadas o la repetición de palabras o frases en el texto generado. Estos parámetros permiten establecer restricciones adicionales o introducir penalizaciones para evitar ciertos comportamientos indeseables en la generación de texto.

Uno de los parámetros de penalidad comúnmente utilizados es el «parámetro de longitud», que controla la extensión de las respuestas generadas. Este parámetro puede estar definido en términos de la cantidad de palabras, caracteres o tokens permitidos en una respuesta.

Al establecer un límite máximo, se puede evitar la generación de respuestas excesivamente largas que pueden ser menos relevantes o confusas para los usuarios. Además, se pueden utilizar parámetros de penalidad para evitar la repetición excesiva de palabras o frases en el texto generado.  Esto se conoce como «penalización de repetición». Al asignar una penalización mayor a la generación de palabras o frases que ya han aparecido recientemente en el texto. De esta forma , se fomenta la diversidad y se evita la generación de respuestas repetitivas.

d.) Interacción humano-modelo

Otro enfoque en la ingeniería de los prompts es el uso de interacción humano-modelo. Al permitir que los usuarios interactúen de manera iterativa con el modelo, se puede refinar y mejorar la calidad de la generación de texto, al tiempo que se minimizan las alucinaciones. Esta interacción puede involucrar retroalimentación en tiempo real y ajuste de los parámetros del modelo para obtener resultados más precisos y confiables.  Esto es particularmente evidente cuando interactuamos intensivamente con los modelos y al cabo de los minutos, pareciera que el modelo utiliza el contexto de las conversaciones previas en beneficio del resultado.

Ajustes que se basan en técnicas empíricas

El ajuste de los parámetros de los LLM  puede ser una tarea empírica que requiere experimentación y ajuste fino. Los valores óptimos de estos parámetros pueden variar dependiendo del contexto y las preferencias del usuario. En algunos casos, por ejemplo , los parámetros de penalidad pueden ser ajustados manualmente por los desarrolladores o usuarios. Se busca  un equilibrio deseado entre la coherencia, la relevancia y la diversidad en las respuestas generadas.

Conclusiones:

Los peligros de la alucinación en modelos de lenguaje como Chat GPT,  puede resultar perjudicial para la generación de información coherente. Por tanto, es vital usar estos modelos con conciencia de sus limitaciones y verificar siempre la información producida , ya que su uso inadecuado puede causar enormes perjuicios .

Sin embargo, mediante el uso de la ingeniería de los prompts,  y el ajuste minucioso de los diferentes parámetros podría resultar de enorme beneficio.  Estos ajustes a los modelos permitiría una generación de texto más confiable y segura. Es fundamental que los investigadores, desarrolladores y usuarios estén conscientes de los peligros potenciales de la alucinación en los LLM. Se requiere un trabajo conjunto para establecer prácticas y estándares éticos en el desarrollo y uso de estas tecnologías. La ingeniería de los prompts es un enfoque prometedor en esta dirección y puede ayudar a evitar consecuencias negativas al tiempo que se aprovecha el potencial de los LLM para mejorar diversas tareas basadas en el lenguaje. Pero no perdamos de vista que los LLM NO están diseñados para muchas de las labores que los humanos quisiéramos delegar, precisamente porque no tienen aún capacidad de pensamiento.   Hay una colección de +500 prompts que yo utilizo con frecuencia:  pueden visitarlos en el siguiente enlace

El presente artículo:  Los peligros de la alucinación en los modelos de lenguaje como Chat GPT, fue escrito por el Doctor Juan Ignacio Barrios.  El Dr. Barrios  es médico y cirujano especialista en informática médica.  Es  Máster en Business Intelligence  y  experto en ciencia de datos ( Big Data).  Aplica técnicas de Machine Learning al campo de la salud. Actualmente es profesor invitado de la cátedra de ingeniería biomédica de la escuela de física en la Universidad de Barcelona. También es faculty member de la Universidad de Rochester en los Estados Unidos de Norteamérica.

 

 

One Response

  1. freddy dice:

    un trabajo muy profesional y realmente interesante la comparativa

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

HTML Snippets Powered By : XYZScripts.com