Unidad 4.2. Ampliando el chat. Integración de nuevos datos y RAG

Vídeo en el que Sam Altman demuestra la nueva funcionalidad de chatGPT para contruir chatBots personalizados

Introducción

La inteligencia artificial y, en particular, los modelos de procesamiento del lenguaje natural (PLN), han experimentado avances significativos en estos dos últimos años, avances que se traducen en un crecimiento exponencial de aplicaciones en todos los ámbitos y sectores empresariales, gubernamentales y de cualquier entidad u organización.

Modelos de lenguaje, como GPT, BERT, Llama y otros, han demostrado ser extremadamente potentes para comprender y generar texto en lenguaje natural proporcionando mecanismos para facilitar y automatizar la gestión de la información y del conocimiento. Sin embargo, para aprovechar al máximo su potencial, a menudo es necesario personalizarlos y adaptarlos a conjuntos de datos específicos o a dominios particulares. No hay que olvidar que estos modelos se entrenan con datos de fuentes diversas como Wikipedia pero que no están actualizados por lo que en muchas ocasiones deben tener la posibilidad navegar en internet para accder a contenidos más específicos o actuales. No solo eso sino que hay información poco o nada accesible que los modelos desconocen.

Es por ello que se requieren métodos de actualización de dichos modelos, métodos que no deben pasar por el re-entrenamiento que es absolutamente inasumible por pequeñas empresas o usuarios individuales.

Para ello existen diversas estrategias o como suele decirse 'Workarounds' que están implantándose con rapidez en todos los chatbots actuales.

¿Por qué Personalizar?

La personalización de un modelo de lenguaje es crucial cuando trabajamos con datos específicos de un dominio particular o cuando queremos que el modelo realice tareas muy concretas. Los modelos de lenguaje preentrenados son generalistas; han sido entrenados en grandes cantidades de texto de internet, lo que los hace versátiles, pero no necesariamente expertos en áreas específicas. Personalizar estos modelos con nuestros propios datos nos permite ajustarlos para que se alineen mejor con nuestras necesidades particulares, mejorando así su rendimiento y relevancia.

Transfer-Learning: Ajustando el Modelo a tus Datos

Una de las técnicas más comunes para personalizar modelos de lenguaje es el llamado Transfer-Learning o transferencia de conocimiento.

Este proceso implica tomar un modelo preentrenado y continuar su entrenamiento en un conjunto de datos de un dominio específico, evitando del coste de entranar el modelo de nuevo.

Hasta hace poco este proceso se hacía mediante programación. Hoy en día, herramientas como chatGPT ya permiten la generación de modelos personalizados para campos específicos.

Por ejempo puedo crear un chatBot personalizado y especialista en el campo de la historia medieval y compartirlo con mis alumnos, o centrar mi chatBot en la programación de videojuegos.

En el proceso de creación de estos chats puedo agregar prompts específicos, urls, bases de datos propias e incluso documentos en pdf, vídeos y audios.

Aumento de Datos

El aumento de datos es otra estrategia clave para mejorar el rendimiento de los modelos de lenguaje en conjuntos de datos específicos. Consiste en generar variaciones de los datos de entrenamiento para crear un conjunto de datos más amplio y diverso. Esto puede incluir técnicas como la paráfrasis, la traducción a otros idiomas y la vuelta al idioma original, y la manipulación sintáctica.

Consideraciones Éticas y de Sesgo

Al personalizar modelos de lenguaje, es importante tener en cuenta las consideraciones éticas y el potencial de sesgo en los datos. Los modelos aprenden de los datos en los que son entrenados, y si esos datos contienen sesgos, el modelo los replicará. Es crucial ser consciente de esto y tomar medidas para mitigar los sesgos tanto como sea posible.

Vectores de datos (embeddings)

Los almacenes de datos que utilizan datos vectorizados están diseñados para mejorar el rendimiento de las consultas y operaciones analíticas en grandes conjuntos de datos. La vectorización es un método de procesamiento de datos en el que se operan vectores enteros de datos, en lugar de procesar un único elemento de datos a la vez. Esto se alinea con las capacidades de las CPU modernas que pueden realizar operaciones en vectores de datos simultáneamente, resultando en un rendimiento significativamente mejorado. A continuación, se describen algunos de los usos y beneficios de los almacenes de datos con datos vectorizados:

Los almacenes de datos juegan un papel crucial en el mundo de la inteligencia artificial (IA). Son grandes repositorios que almacenan datos estructurados de manera eficiente para análisis y consultas. Su aplicación en IA incluye:

Entrenamiento de Modelos de IA: Los datos almacenados son esenciales para entrenar modelos de IA. Proporcionan el volumen y la variedad necesarios para desarrollar algoritmos precisos y robustos.
Análisis Predictivo y Descriptivo: La IA utiliza los datos de estos almacenes para realizar análisis predictivos (como proyecciones de ventas) y descriptivos (como patrones de comportamiento del cliente).
Mejora de la Toma de Decisiones: Los insights obtenidos a través de la IA a partir de los datos almacenados ayudan a las empresas a tomar decisiones informadas y estratégicas.
Personalización y Segmentación: En marketing y ventas, la IA utiliza datos de almacenes para personalizar ofertas y segmentar clientes de manera más efectiva.

Los almacenes de datos proporcionan la base necesaria para que la IA realice estas funciones de manera eficiente, convirtiéndolos en un activo valioso en la era digital.

La vectorización en los almacenes de datos no solo mejora el rendimiento y la eficiencia en la manipulación de grandes conjuntos de datos, sino que también facilita significativamente la búsqueda de similitudes. Esta capacidad es crucial en una amplia gama de aplicaciones, desde el análisis forense hasta las recomendaciones personalizadas y el machine learning. Al proporcionar métodos rápidos y eficientes para identificar similitudes y patrones en los datos, los almacenes de datos vectorizados juegan un papel clave en la extracción de valor y conocimientos a partir de grandes volúmenes de información.

Conclusión

En muchos casos, estas técnicas se utilizan juntas en aplicaciones de NLP. Por ejemplo, un modelo de lenguaje podría ser afinado para una tarea específica, y luego las representaciones vectoriales generadas por este modelo podrían ser almacenadas y consultadas utilizando un almacén de vectores de datos como Pinecone. Esto permite tanto la personalización del modelo (a través del fine-tuning) como la búsqueda eficiente y la similitud semántica (a través del almacén de vectores de datos).

El afinamiento (fine-tuning) y el uso de almacenes de vectores de datos son técnicas complementarias más que excluyentes, y cada una tiene su lugar en el procesamiento del lenguaje natural (NLP).

La personalización de modelos de lenguaje para adaptarlos a nuestros propios datos es un paso crucial para aprovechar al máximo el potencial de la inteligencia artificial en el procesamiento del lenguaje natural. Mediante técnicas como el "fine-tuning", la transferencia de conocimientos, el aumento de datos y la inyección de conocimiento, podemos ajustar los modelos para que se alineen mejor con nuestras necesidades específicas, mejorando así su rendimiento y relevancia en tareas concretas. Sin embargo, es importante abordar este proceso con un enfoque reflexivo y crítico, teniendo en cuenta las consideraciones éticas y los potenciales sesgos en los datos. Con un enfoque cuidadoso y metódico, podemos personalizar los modelos de lenguaje para desbloquear nuevas posibilidades y obtener insights valiosos de nuestros datos.

Dejamos a continuación algunas aplicaciones para el uso de chat con tus propios datos que permiten añadir documentos e imágenes para interpretar

Herramienta	Fecha de Lanzamiento	Descripción
ChatPDF	15-07-2023	Chatea con documentos pdf.
Pagechat	15-07-2023	Chatea con cualquier web o documento.
Chatshape	15-07-2023	Chatea con tu website.
ChatDOC	15-07-2023	Chatea con documentos. Respuestas instantáneas con cita de fuentes. Basado en ChatGPT (pdf, docx, documentos escaneados OCR).
Chatbase	15-07-2023	Adapta chatGPT a tus datos. Sube documentos o añade el link de una web y usa el chatbot para tus datos. Añade el widget a tu web.
Scrol (antes Corpora)	15-07-2023	Chatea, busca entre tus datos.
ChatGPT con Carga de Documentos	Fecha no disponible	Permite cargar documentos para interacción directa con ChatGPT, solo versión 4
Bard con Carga de imágenes	Fecha no disponible	Permite cargar imágenes para interacción directa con Bard.
GitHub Copilot con imágenes	Fecha no disponible	Permite cargar imágenes para interacción directa con Bard.

RAG o Retrieval Augmented Generation

El origen del concepto de "Retrieval-Augmented Generation" (RAG) en el campo de la inteligencia artificial (IA) se encuentra en la intersección de dos áreas bien establecidas: la recuperación de información y la generación de lenguaje natural. Este enfoque se ha desarrollado significativamente con el avance de las tecnologías de procesamiento de lenguaje natural (NLP) y los modelos de aprendizaje profundo. Vamos a explorar brevemente cómo surgió RAG:

Recuperación de Información: Durante décadas, la recuperación de información ha sido un campo clave en la informática, centrado en encontrar documentos relevantes o datos dentro de grandes conjuntos de información. Los motores de búsqueda son un ejemplo común de sistemas de recuperación de información.
Generación de Lenguaje Natural: Paralelamente, el campo de la generación de lenguaje natural ha buscado desarrollar sistemas capaces de producir texto coherente y relevante. Con el tiempo, gracias a modelos como los basados en redes neuronales y Transformer, esta capacidad ha mejorado sustancialmente.
Avances en Aprendizaje Profundo y Modelos de Lenguaje: El verdadero impulso para RAG llegó con el desarrollo de modelos de lenguaje de gran escala basados en el aprendizaje profundo, como GPT (Generative Pretrained Transformer), BERT (Bidirectional Encoder Representations from Transformers), y otros. Estos modelos mostraron una capacidad notable para entender y generar texto con un contexto relevante.
Integración de Ambos Campos: La idea de combinar la recuperación de información con la generación de lenguaje natural surgió como una solución para mejorar la calidad y relevancia de las respuestas generadas por los sistemas de IA. En lugar de depender únicamente del conocimiento pre-almacenado o del aprendizaje de ejemplos durante su entrenamiento, los sistemas RAG buscan activamente información adicional cuando se enfrentan a una consulta.
Desarrollo de RAG: La formulación específica de RAG, como un modelo integrado de recuperación y generación, fue propuesta y popularizada en trabajos más recientes, sobre todo a partir de la segunda mitad de la década de 2010. Este enfoque ha sido impulsado por la necesidad de que los sistemas de IA manejen consultas complejas y proporcionen respuestas más precisas y fundamentadas.

En resumen, RAG es el resultado de la convergencia de la recuperación de información y la generación de lenguaje natural, impulsado por los avances en aprendizaje profundo y modelos de lenguaje. Su desarrollo refleja el esfuerzo continuo en la IA para crear sistemas más sofisticados y capaces de interactuar de manera más efectiva con los usuarios.

concepto en el campo de la inteligencia artificial que combina la recuperación de información con la generación de texto. Aquí tienes un ejemplo para ilustrar cómo funciona:

Ejemplo de RAG en IA:

Supón que estás utilizando un asistente de IA para obtener información sobre un tema complejo, digamos "los efectos del cambio climático en los arrecifes de coral". El proceso sería algo así:

Consulta y Recuperación: Primero, haces tu pregunta al sistema. El componente de recuperación del sistema RAG entonces busca en una vasta base de datos de documentos, que podría incluir artículos científicos, informes, y datos relevantes sobre el cambio climático y los arrecifes de coral.
Selección de Información Relevante: De esta gran cantidad de información, el sistema selecciona fragmentos de texto que son más relevantes para tu pregunta. Por ejemplo, podría encontrar un párrafo en un artículo científico que detalla cómo el aumento de la temperatura del agua afecta a los arrecifes de coral.
Generación de Respuesta: Una vez que tiene esta información, el componente de generación de texto del sistema RAG toma esos fragmentos y los usa para construir una respuesta coherente y detallada. La respuesta generada se basa en la información recuperada pero está formulada de una manera que es comprensible y directamente relevante para tu pregunta original.

Este proceso combina lo mejor de ambos mundos: la capacidad de recuperar información detallada y específica de una gran base de datos (algo en lo que los humanos no son especialmente buenos o rápidos) y la habilidad de generar respuestas coherentes y contextualmente relevantes (una tarea compleja para las máquinas por sí solas).

RAG representa un paso adelante significativo en la creación de sistemas de IA más sofisticados y útiles, capaces de manejar preguntas complejas y proporcionar respuestas bien informadas y precisas.

Vídeo introductorio del concepto de RAG