Unidad 3.3. Más allá del texto. IA Generativa
"La inteligencia artificial generativa es como una máquina que puede soñar y crear mundos nuevos."
- Ian Goodfellow, uno de los científicos de la computación más influyentes en el campo de la inteligencia artificial generativa y creador de la técnica conocida como Generative Adversarial Networks (GANs).
Introducción
Inicialmente las aplicaciones de aprendizaje automático se centraban en su posibilidad de clasificar y predecir categorías o valores.
En el caso de valores categóricos (frío, caliente o rojo, azul) hablamos de predicción por clasificación, en el caso de valores numéricos (temperatura, valor de un stock o matrícula de alumnos) hablamos de regresión.
Podemos resumirlo en el siguiente esquema
En este caso partimos de un modelo que ha sido entrenado con valores reales y es capaz de determinar, a partir de nuevos casos, la nueva etiqueta, valor, imagen o predicción en general en el caso de regresión o clasificar (aprendizaje supervisado), ó también agrupar conjuntos de datos similares (clustering o aprendizaje no supervisado).
Sin embargo el auge de las arquitecturas de red convolucionales (para detección de objetos) y de transformers ha abierto la puerta a la parte de más potente de la IA como es la IA generativa.
Sus posibilidades son inmensas y ha generado un miríada de aplicaciones y usos con un potencial enorme y una cantidad de aplicaciones creciente.
Todas ellas o la mayoría se basan en la conversión (generación o modificación) de información en distintos formatos destacando las que generan vídeo o imágenes a partir de texto (prompts). Pero existen muchas otras, como texto a juegos, texto a voz o música, texto a vídeo en tiempo real, amplicación de imágenes o texto a aplicación informática entre muchas otras.
La idea central nace de la posilidad de codificar cualquier objeto (texto, imagen o sonido) en forma numérica (recuerda los wrod embeddings explicados en el módulo anterior) y ser capaces de predecir, dada una secuencia de entrada, el valor siguiente, o sea el pixel siguiente, la palabra siguiente o el sonido siguiente.
Asi es como funcionan estos sistemas que dan lugar a tantas aplicaciones.
La lista de posibilidades es larga pero podemos sintetizarla de algún modo en el siguiente esquema según el cual todos los procesos implican la conversión de una entrada en otra de una forma multimodal, es decir, que pasamos al mismo o diferente formato entendiendo por formato la forma en que se presenta la información (texto, imagen, audio o vídeo).
Incluso recientemente se ha demostrado la posibilidad de capturar el sueño de un humano a partir de las ondas generadas convirtiendo este a imágenes.
Este esquema describe sucintamente el proceso que ocurre en la mayoría de aplicaciones de IA basado inicialmente en generar cualquier tipo de formato a partir de texto, texto a vídeo, texto a audio etc... pero también para mejorar imágenes (imagen a imagen) o extraer el texto de un vídeo (audio a texto).
Veremos más ejemplos en la última sección de este módulo.
Inteligencia Artificial Generativa
La Inteligencia Artificial Generativa (IA generativa) es una rama de la inteligencia artificial que se enfoca en la creación de modelos capaces de generar contenido nuevo y creativo. Utiliza técnicas avanzadas de aprendizaje profundo, especialmente las Redes Neuronales Generativas (GANs) y las Redes Neuronales Recurrentes (RNN), para producir contenido que a menudo es indistinguible del creado por seres humanos.
Se centra en la creación de datos, contenido y modelos a través de algoritmos autónomos. A diferencia de la IA tradicional, que se enfoca en tareas específicas y predefinidas, la IA generativa tiene como objetivo principal generar nuevos datos y contenido de manera autónoma, similar a cómo funcionan los procesos creativos humanos.
Una de las tecnologías más destacadas en este campo son las Redes Generativas Adversarias (GANs), desarrolladas por Ian Goodfellow en 2014. Las GANs consisten en dos redes neuronales, una generadora y otra discriminadora, que compiten entre sí para crear y evaluar datos. Esta competencia entre las redes permite crear contenido realista, como imágenes, música, texto y más, que es indistinguible de lo que podría haber sido producido por humanos.
Los usos de la IA generativa son diversos y se están expandiendo rápidamente en diferentes industrias. Algunos de los principales usos incluyen:
Generación de contenido creativo: Las GANs pueden utilizarse para crear arte, música, texto y otros tipos de contenido creativo útiles en presentaciones, videojuegos o películas, de manera automática, lo que amplía las posibilidades en la producción artística y creativa.
Mejora de imágenes y video: La IA generativa puede mejorar la calidad de imágenes y videos, eliminar ruido y restaurar contenido dañado.
Diseño de productos: En el ámbito del diseño industrial y la moda, la IA generativa puede ayudar a generar diseños de productos innovadores y únicos.
Investigación científica: La IA generativa se aplica en la generación de moléculas para el desarrollo de medicamentos y en la síntesis de proteínas para la investigación científica.
Juegos y simulaciones: Se utiliza en la creación de mundos virtuales, personajes y entornos en juegos y simulaciones.
Contenido para marketing: En marketing, se emplea para crear contenido publicitario, como imágenes y texto persuasivo.
Creación de voces sintéticas y asistentes virtuales: La IA generativa puede generar, modificar y clonar voces humanas sintéticas naturales y se utiliza en asistentes virtuales como chatbots.
En resumen, la IA generativa está transformando numerosas industrias al proporcionar la capacidad de generar contenido y datos de manera automática y creativa. Su potencial es vasto y sigue expandiéndose a medida que la tecnología avanza y se integra en diversas aplicaciones y sectores.
Funcionamiento
El proceso mediante el cual funciona una IA generativa implica aprender patrones y estructuras a partir de un conjunto de datos existente y utilizar ese conocimiento para generar nuevas muestras que sigan la misma distribución de esos datos. Este proceso se puede resumir en estas cinco fases:
• Recopilación y preprocesamiento de datos: el primer paso es recopilar un conjunto de datos que represente el tipo de contenido que desea generar. Este conjunto de datos puede consistir en imágenes, texto, audio o cualquier otra forma de datos. Posteriormente, el conjunto de datos se preprocesa para asegurarse de que esté en un formato adecuado y para normalizar o transformar los datos si es necesario.
• Entrenamiento de modelos: un modelo generativo se entrena usando el conjunto de datos preprocesado. La elección del modelo depende del tipo de datos y la salida deseada. Los modelos generativos más populares incluyen redes adversarias generativas (GAN), codificadores automáticos variacionales (VAEs) y modelos autorregresivos. Durante el entrenamiento, el modelo aprende los patrones subyacentes y estructuras en los datos, capturando las estadísticas y distribución de los ejemplos de entrenamiento.
• Representación del espacio latente: los modelos generativos aprenden de un espacio latente, el cual es una representación de menor dimensión de los datos, donde les permite capturar los factores de variación más representativos. El espacio latente permite una manipulación más fácil y la generación de nuevas muestras.
• Proceso de generación: una vez que el modelo está entrenado, puede generar nuevo contenido mediante el muestreo de la distribución aprendida. Por ejemplo, en GANs, la red genera nuevas muestras basadas en vectores de ruido aleatorio o condiciones de entrada específicas.
• Evaluación y refinamiento: el contenido generado se evalúa en función de varias métricas, como la calidad visual, la coherencia o relevancia para el resultado deseado. El proceso de evaluación se puede utilizar para refinar el modelo o guiar el proceso de generación.
Principales empresas y aplicaciones
Todas las aplicaciones de IA Generativa tienen que ver con acciones humanas vinculadas a los sentidos, como son la visión, la audición y el lenguaje.
En este apartado daremos una relación de herramientas específicas de IA para la generación de diversos contenidos.
Hay cientos de ellas y cada día surgen nuevas, lo mejor es buscar la que mejor se ajuste a tus neceidades y entorno de trabajo.
La lista que se da a continuación pretende únicamente hacer al lector consciente del universo de posibilidades que la IA generativa abre en todos los campos.
No obstante cabe señalar que los asistentes de propósito general como chatGPT incorporan cada vez más posibilidades de formatos de datos así que muchas tareas de uso diario de IA se pueden acometer con una de estas herramientas.
Así podemos distinguir varios grupos de aplicaciones, como son:
Generación de contenido multimodal: La IA generativa puede generar contenido en diferentes formatos como vídeo, voz, audio, música, dibujo (portadas, logos, comics...) a parir de texto o de otros formatos, comentar una imagen, transcribir el texto de un audio o generar el código de un juego a partir de un esquema son solo algunos ejemplos.
Mejora de la comprensión multimodal: La IA generativa puede ayudar a mejorar la comprensión de las entradas multimodales. Por ejemplo, en la traducción automática multimodal, puede generar una descripción de una imagen en un idioma diferente o generar subtítulos para un video en tiempo real o limpiar el ruido de un podcast.
Interacción multimodal con usuarios: Las aplicaciones multimodo a menudo implican interacciones con usuarios a través de diferentes modalidades, como texto, voz e imagen permitiendo además la inclusión de textos o documentación propia para ampliar y afinar el conocimiento por parte del chat de nuestro sistema de información.
Creación de experiencias de realidad aumentada y virtual: En el ámbito de la realidad aumentada y virtual, la IA generativa puede ser utilizada para generar objetos y entornos virtuales que respondan de manera dinámica a la interacción del usuario, incluyendo voz, gestos y movimientos.
Hay infinidad de herramientas y aplicaciones que hacen uso de esta potente rama de la IA, indicamos a continuación las más relevantes en el momento actual
| IMAGEN | |||
| Aplicación | Compañía | Descripción | Web |
| DeepDream | Aplicación de generación de imágenes desarrollada por Google. Utiliza redes neuronales para transformar imágenes de manera creativa. | https://deepdreamgenerator.com/ | |
| Midjourney | Midjourney | Generación de imágenes creativas a partir de texto | https://www.midjourney.com |
| Runway ML | Runway | una plataforma que permite a los diseñadores utilizar IA generativa para crear arte y diseño de productos. | https://research.runwayml.com/gen2 |
| Leonardo | Leonardo | Generación de recursos visuales a partir de texto | https://leonardo.ai/ |
| Adobe Firefly | Adobe | Generación de imágenes | |
| DALL-E 3 | OpenAI | Modelo de IA generativa que puede generar imágenes a partir de descripciones de texto. | https://openai.com/research/dall-e |
| Stable Diffusion | - | Es el generador de imágenes más potente en la actualidad | |
| TEXTO |
|
||
| chatGPT | OpenAI | Modelo de lenguaje generativo que permite conversaciones naturales con IA así como cualquier otra actividad como la generación de código o imágenes a partir de texto. | |
| Anthropic | Anthropic | Creador de productos de IA como chat conversacionales (claude y poe) | |
| SONIDO | |||
| AIVA | AIVA | Plataforma que utiliza IA generativa para componer música original. | https://www.aiva.ai |
| Whisper | OpenAI | Reconocedor de voz | |
| ElevenLabs | ElevenLabs | Convertidor de texto a voz y clonación de voz | https://elevenlabs.io/ |
| Murf | Murf | Texto a voz, clonación de voz, superposición de voz en vídeo | |
| MULTIMODO | |||
| Bard | Versión conversacional de chatGPT de google | ||
| Copilot | Microsoft | IA de microsoft para texto e imagen |
Por supuesto la mayoría de compañías tecnológicas como Amazon o Microsoft ya usan sistemasde intelgicencia artificial así como modelos conversacionales y otras herramientas.
En resumen, la IA generativa desempeña un papel esencial en el desarrollo y mejora de aplicaciones multimodo al permitir la generación y manipulación de contenido en diversas modalidades. Esto contribuye a la creación de experiencias más ricas y personalizadas para los usuarios en aplicaciones que involucran texto, imágenes, voz y otras formas de comunicación.
Pero va mucho más allá de la simple generación de texto a imagen, en los últimos meses están surgiendo aplicaciones para genrar toda clase de contenidos, en el siguientes listado destacamos algunas de ellas:
Texto y Código
| Aplicación de IA | Descripción | Uso Típico | Ejemplos de Empresas/Aplicaciones |
|---|---|---|---|
| Generación de Código Automatizado | Usa modelos de lenguaje avanzados para convertir especificaciones de texto en código fuente. | Desarrolladores agilizan la escritura de código. | OpenAI Codex, GitHub Copilot |
| Asistentes de Programación | Proporcionan sugerencias de código y correcciones en tiempo real. | Mejora eficiencia y reduce errores en el desarrollo. | Kite, Tabnine, IntelliCode de Microsoft |
| Traducción de Lenguaje Natural a SQL | Convierte consultas en lenguaje natural a consultas SQL. | Útil para analistas de datos y usuarios no técnicos. | ChatGPT con habilidades SQL, Alteryx, EasyQuery |
| Automatización de Pruebas de Software | Genera scripts de pruebas automatizadas a partir de descripciones en lenguaje natural. | Creación rápida de pruebas funcionales y de regresión. | Selenium, Testim.io, Katalon Studio |
| Documentación de Código | Produce documentación técnica y comentarios en el código. | Mantiene documentación adecuada y actualizada. | Doxygen, Javadoc, Swagger |
| Conversión de Código entre Lenguajes | Traduce código de un lenguaje de programación a otro. | Portar software entre diferentes plataformas. | Tangible Software Solutions, JetBrains ReSharper |
| Generación de Interfaces de Usuario | Diseña interfaces de usuario a partir de descripciones textuales. | Creación rápida de prototipos y UIs. | Adobe XD, Figma, Sketch |
| Síntesis de Requisitos de Software | Transforma requisitos del negocio en especificaciones técnicas. | Definición clara de los requisitos técnicos. | IBM Rational Doors, Jama Software, Axure RP |
| Conversión de Imagen a Código | Transforma diseños gráficos e imágenes en código fuente. | Automatización en la creación de interfaces de usuario y web. | Zeplin, Avocode, Sketch2Code de Microsoft, Pix2Code, img2code |
Texto a Video 3D
| Aplicación de IA | Descripción | Uso Típico | Ejemplos de Empresas/Aplicaciones |
|---|---|---|---|
| Generación de Entornos Virtuales 3D | Crea entornos 3D realistas a partir de descripciones de texto. | Usado en simulaciones, juegos y realidad virtual. | Unity, Unreal Engine, Autodesk Maya |
| Análisis de Vídeo 3D en Tiempo Real | Analiza y procesa vídeos 3D para obtener insights en tiempo real. | Seguridad, deportes, y análisis de comportamiento. | IBM Watson Visual Recognition, Google Cloud Video Intelligence |
| Síntesis de Voz y Lenguaje para Avatares 3D | Genera voz y diálogos realistas para personajes 3D. | Utilizado en juegos, entrenamiento virtual y asistentes virtuales. | Adobe Character Animator, Voicemod, CereProc |
| Realidad Aumentada Interactiva | Superpone texto y gráficos en vídeos 3D en tiempo real. | Aplicaciones educativas, comerciales y de entretenimiento. | ARKit de Apple, ARCore de Google, Microsoft HoloLens |
| Traducción en Tiempo Real con Subtítulos 3D | Traduce y muestra subtítulos en 3D sobre vídeos en tiempo real. | Usado en streaming en vivo, conferencias y eventos internacionales. | Amara, Dotsub, Subtitle Edit |
| Animación Facial y de Gestos en 3D | Anima avatares 3D basado en texto o voz. | Creación de personajes virtuales y animaciones. | FaceRig, Adobe Fuse, Character Creator |
| Análisis de Sentimientos en Vídeos 3D | Detecta y analiza emociones y reacciones en vídeos 3D. | Investigación de mercado, experiencia del usuario. | Affectiva, Emotient, Beyond Verbal |
| Sistemas Interactivos de Tutoría Virtual | Crea tutores virtuales 3D que responden a texto y voz en tiempo real. | Educación en línea, entrenamiento corporativo. | CodeBaby, SitePal, TTS Sketch Maker |
Texto y comics/juegos/videos en tiempo real
| Aplicación de IA | Descripción | Uso Típico | Ejemplos de Empresas/Aplicaciones |
|---|---|---|---|
| Generación de Contenido de Juegos | Crea activos de juegos, como personajes, entornos y niveles, utilizando IA. | Desarrollo de juegos más rápido y eficiente. | Unity ML-Agents, Unreal Engine |
| Optimización de Juegos en Tiempo Real | Ajusta la dificultad y la experiencia del juego según el comportamiento del jugador. | Mejora la experiencia y retención del jugador. | Modl.ai, Spirit AI |
| Procesamiento de Vídeo en Tiempo Real | Mejora la calidad de vídeo, realiza seguimiento de objetos y personas en tiempo real. | Seguridad, transmisiones en vivo y análisis deportivo. | Nvidia Video SDK, OpenCV |
| Renderizado Realista en Juegos | Produce gráficos de alta calidad en tiempo real para juegos. | Juegos con gráficos más realistas y envolventes. | Ray Tracing en Nvidia, AMD Radeon Rays |
| Análisis de Sentimientos y Reacciones de Jugadores | Evalúa las emociones y reacciones de los jugadores en tiempo real. | Mejora de juegos basada en feedback emocional. | Affectiva, Emotient |
| Control de Juegos por Voz y Gestos | Permite a los jugadores interactuar con el juego usando voz y gestos. | Juegos más inmersivos y accesibles. | Microsoft Kinect, Leap Motion |
| Edición y Mejora Automática de Vídeos de Juegos | Edita y mejora clips de juegos automáticamente para compartir. | Creación fácil de contenido de juegos para redes sociales. | Adobe Premiere Pro (Auto Reframe), Elgato |
| Simulación y Modelado de Física en Juegos | Simula físicas realistas en entornos de juegos. | Juegos con interacciones y movimientos más realistas. | Havok, PhysX |
Texto y dibujos/comic/ilustraciones
| Aplicación de IA | Descripción | Uso Típico | Ejemplos de Empresas/Aplicaciones |
|---|---|---|---|
| Generación Automática de Ilustraciones | Crea imágenes y gráficos basados en descripciones de texto. | Creación de arte visual y paneles de cómic. | OpenAI's DALL-E, Google's DeepDream |
| Diseño Automático de Páginas de Cómic | Organiza el diseño y el flujo de una página de cómic basado en texto. | Maquetación y diseño de páginas de cómics. | Clip Studio Paint, Adobe Illustrator |
| Creación de Guiones Gráficos | Convierte guiones escritos en secuencias visuales de cómics. | Previsualización y planificación de historias. | Storyboard That, Toon Boom Storyboard Pro |
| Animación de Personajes de Cómic | Genera animaciones de personajes a partir de descripciones textuales. | Creación de cómics animados y contenido interactivo. | Adobe Character Animator, Moho (Anime Studio) |
| Síntesis de Voz para Personajes de Cómic | Crea diálogos hablados para personajes de cómics basados en texto. | Cómics interactivos y audiocómics. | Balabolka, Amazon Polly |
| Traducción Automática de Cómics | Traduce textos de cómics a diferentes idiomas manteniendo el formato. | Localización y distribución internacional de cómics. | DeepL, Google Translate con soporte de OCR |
| Generación de Efectos de Sonido y Texto | Crea efectos de sonido y textos decorativos para cómics. | Enriquecimiento visual y sonoro de paneles de cómic. | Canva, Adobe Photoshop |
| Personalización de Estilos de Dibujo | Imita estilos de dibujo específicos en base a descripciones de texto. | Creación de cómics con estilos artísticos personalizados. | DeepArt, Prisma |
Texto a podcast, mejora de imágenes, amplicación de contenido
| Aplicación de IA | Descripción | Uso Típico | Ejemplos de Empresas/Aplicaciones |
|---|---|---|---|
| Mejora y Edición de Texto | Revisa y mejora la calidad del texto, incluyendo gramática y estilo. | Escritura, edición de contenido, y corrección de pruebas. | Grammarly, Hemingway Editor |
| Generación de Guiones para Podcasts | Crea guiones para podcasts basados en temas o palabras clave. | Producción de podcasts y contenido de audio. | Jarvis AI, Writesonic |
| Corrección de Imágenes | Mejora la calidad de las imágenes, restaura fotos dañadas. | Restauración de fotos, mejoramiento de imágenes para medios. | Adobe Photoshop con IA, Remini |
| Ampliación de Imágenes | Aumenta la resolución de las imágenes sin perder calidad. | Fotografía, diseño gráfico, y producción de medios. | Let's Enhance, Bigjpg |
| Mejora de Calidad de Sonido | Mejora la claridad y calidad del audio en grabaciones. | Podcasts, música, y producción de audio. | Izotope RX, Adobe Audition |
| Síntesis de Voz para Podcasts | Crea narraciones de voz realistas para uso en podcasts. | Podcasts automatizados, lecturas de texto. | Descript, Amazon Polly |
| Corrección Automática de Sonido | Elimina ruidos de fondo y mejora la calidad del sonido. | Podcasts, conferencias, y grabaciones en general. | Krisp, Dolby On |
| Análisis de Contenido de Podcasts | Analiza y categoriza el contenido de los podcasts. | Marketing, investigación de medios, y mejora de contenido. | Spotify Podcast Analytics, Podtrac |
El futuro de la IA Generativa
La evolución de la Inteligencia Artificial Generativa (IA Generativa) en los próximos años promete ser emocionante y transformadora. A medida que la investigación y la tecnología avanzan, es probable que veamos las siguientes tendencias y desarrollos en este campo:
Mayor realismo y calidad Las técnicas generativas seguirán mejorando en términos de la calidad y realismo de los datos y el contenido que generan. Esto incluye imágenes, videos, texto y audio que serán más difíciles de distinguir de las creaciones humanas.
Generación multimodal avanzada La IA generativa se volverá aún más hábil en la generación de contenido que combine múltiples modalidades, como la creación de historias visuales y auditivas a partir de texto, o la generación de contenido multimodal en tiempo real.
Entendimiento contextual La IA generativa mejorará su capacidad para comprender y generar contenido en función del contexto. Esto permitirá una interacción más natural y relevante con los usuarios, ya que la IA podrá adaptarse mejor a las necesidades y preferencias individuales.
Aplicaciones en la industria Veremos un aumento significativo en la adopción de IA generativa en industrias como la medicina, la arquitectura, el diseño de productos y la investigación científica, donde se utilizará para la generación de modelos, diseños y simulaciones complejas.
Creatividad asistida por IA Las herramientas de creatividad asistida por IA se volverán más accesibles y comunes. Los artistas, escritores y músicos podrán utilizar la IA para potenciar su creatividad y producir obras innovadoras.
Ética y regulación A medida que la IA generativa se vuelva más poderosa, surgirán preocupaciones éticas, como el uso indebido de la tecnología para la creación de contenido engañoso o perjudicial. Esto llevará a una mayor atención a la regulación y la ética en el desarrollo y uso de la IA generativa.
Interacción humano-IA más fluida La IA generativa se integrará más en la vida cotidiana de las personas, mejorando la interacción con dispositivos, asistentes virtuales y aplicaciones, lo que permitirá una experiencia más fluida y personalizada.
Aplicaciones en educación La IA generativa se utilizará cada vez más en la educación, ayudando a crear contenido educativo personalizado y generando ejercicios y evaluaciones adaptadas a las necesidades de los estudiantes, veremos más sobre esto en la siguiente unidad.
Investigación científica avanzada La IA generativa jugará un papel importante en la investigación científica, especialmente en la simulación y modelado de fenómenos complejos, como el clima, la biología y la física cuántica.
En resumen, la IA generativa seguirá evolucionando y expandiéndose en diversas industrias y aplicaciones. Se espera que la tecnología sea cada vez más sofisticada y que tenga un impacto significativo en la forma en que interactuamos con la información y el contenido en el futuro. Sin embargo, también surgirán desafíos éticos y regulatorios que deberán abordarse a medida que esta tecnología avance.