2.2 Veracidad: sesgos, alucinaciones y deepfakes

El uso de sistemas de inteligencia artificial plantea importantes cuestiones relacionadas con la la fiabilidad de la informacióninformación que producen: pueden incorporar sesgos, producir alucinaciones  y tambiéntambién facilitar la creacióncreación de contenidos manipulados, como los deepfakes, que imitan de forma convincente imágenes,imágenes, voces o vídeosvídeos de personas reales. Todo ello hace necesario analizar con atenciónatención la veracidad de los contenidos generados por la IA y fomentar un uso críticocrítico de estas herramientas, especialmente en el ámbitoámbito educativo.

Sesgos y discriminacióndiscriminación

Un sesgo puede entenderse como una tendencia a favorecer o perjudicar a alguien o algo de manera sistemática.sistemática.

En la vida cotidiana, los sesgos aparecen cuando nuestras decisiones o juicios no son completamente neutrales, sino que estánestán influidos por experiencias previas, estereotipos o informacióninformación incompleta. Por ejemplo, si una persona cree que los estudiantes que hablan másmás en clase son siempre los que mejor aprenden, podríapodría valorar másmás sus intervenciones y prestar menos atenciónatención a quienes participan menos, aunque estos tambiéntambién comprendan bien el contenido.

Cuando hablamos de sesgos en la inteligencia artificial, nos referimos a algo similar: los sistemas de IA pueden producir resultados que favorecen o perjudican a determinados grupos de personas, categorías,categorías, resultados o situaciones de forma sistemática,sistemática, generando errores recurrentes en las predicciones o decisiones automatizadas.

Esto ocurre porque los algoritmos aprenden a partir de datos generados por personas y por la sociedad, que ya pueden contener desigualdades o representaciones incompletas de la realidad. Como resultado, la IA puede reproducir o amplificar esas tendencias, perpetuando esas disparidades o estereotipos sociales existentes.  

El origen de los sesgos en la inteligencia artificial es multifacéticomultifacético y puede surgir en diferentes etapas del proceso de creacióncreación y uso de un sistema. Ferrara (2023) distingue principalmente tres orígenes:orígenes:

1. Sesgo de datos: ocurre cuando los datos utilizados para entrenar los modelos no son representativos o estánestán incompletos. Esto sucede si los datos provienen de fuentes ya sesgadas, contienen errores o carecen de informacióninformación importante sobre ciertos grupos. Los modelos de aprendizaje automáticoautomático aprenden y replican estos patrones de sesgo presentes en los datos de entrenamiento. Por ejemplo, segúnsegún el informe de la OCDE los modelos de IA suelen basarse de forma abrumadora en culturas occidentales y de habla inglesa, perjudicando especialmente a hablantes de otras lenguas y dialectos específicos específicos y silenciando realidades o valores que no resultan convenientes para los intereses de quienes programan el algoritmo.  
   
   Dentro de este tipo de sesgo, podemos integrar el sesgo históricohistórico, que aparece cuando los datos reflejan desigualdades del pasado y estas se trasladan a las decisiones automatizadas.
   
   
2. Sesgo algorítmico:algorítmico: este sesgo es inherente al diseñodiseño e implementaciónimplementación del algoritmo. Surge cuando los algoritmos se basan en suposiciones sesgadas o utilizan criterios que priorizan ciertos atributos de manera que generan resultados injustos. Es decir, cuando el propio diseñodiseño del sistema favorece ciertos resultados.
   
   
3. Sesgo del usuario: se produce cuando las personas que utilizan los sistemas introducen sus propios prejuicios de forma consciente o inconsciente. Esto puede ocurrir al proporcionar datos de entrenamiento sesgados por parte de la persona que desarrolla el sistema o por el propio usuario en sus interacciones con la IA, de manera que reflejen sus prejuicios personales.  

Además,Además, en el artículoartículo de Jeff Shuford, encontramos una tabla donde se describen siguientes tipos de sesgos:

Sesgo de Muestreo	Se da cuando los datos de entrenamiento no representan a la poblaciónpoblación a la que sirven, como un algoritmo de reconocimiento facial entrenado mayoritariamente con personas blancas.
Sesgo de RepresentaciónRepresentación	Sucede cuando el conjunto de datos no modela con precisiónprecisión a la población,población, como bases de datos médicasmédicas que subrepresentan a las mujeres.
Sesgo de ConfirmaciónConfirmación	Ocurre cuando el sistema de IA se utiliza para confirmar prejuicios o creencias preexistentes de sus creadores o usuarios.
Sesgo de MediciónMedición	Emerge cuando el sistema de recolecciónrecolección de datos sobrerrepresenta o subrepresenta sistemáticamentesistemáticamente a ciertos grupos.
Sesgo de InteracciónInteracción	Aparece cuando la IA interactúainteractúa con los humanos de forma sesgada, como un chatbot que responde de manera distinta a hombres y mujeres.
Sesgo Generativo	EspecíficoEspecífico de modelos de IA generativa (como DALL-E o GPT), donde los resultados reflejan de manera desproporcionada patrones o perspectivas específicasespecíficas de los datos de entrenamiento. Por ejemplo, al solicitar imágenesimágenes de "CEOs", los modelos suelen producir mayoritariamente imágenesimágenes de hombres, y al solicitar imágenesimágenes de "criminales", tienden a mostrar de forma abrumadora a personas de color.

En la siguiente imagen no sólosólo percibimos el sesgo generativo, sino tambiéntambién un sesgo de idioma ya que probablemente el modelo se entrenóentrenó en lengua inglesa donde "teacher" no tiene género. género. 

Imagen generada con Bing Image Creator (2023)

En relaciónrelación a este últimoúltimo sesgo y los modelos de IA generativa (IAGen), es menester mencionar de forma explícitaexplícita las siguientes problemáticasproblemáticas derivadas del mismo:

• AmplificaciónAmplificación de Estereotipos: Los modelos de IAGen pueden reproducir y amplificar estereotipos sociales al generar contenido. Por ejemplo cuando la IA representa sistemáticamentesistemáticamente a las enfermeras como mujeres y a los doctores como hombres.
• Riesgo de las Realidades Sintéticas:Sintéticas: Se advierte que, a medida que avanzamos en la creacióncreación de realidades sintéticassintéticas cada vez másmás sofisticadas, existe el peligro de que sesgos sutiles se infiltren y moldeen la sociedad de formas no deseadas y potencialmente dañinas.dañinas.
• Impacto de los Datos de Internet: Los modelos de IAGen entrenados con imágenesimágenes o textos extraídosextraídos de internet suelen heredar las disparidades existentes en el mundo real, lo que contamina sus resultados generados.

Como docentes, es importante añadirañadir el el sesgo de automatizaciónautomatización: tendencia humana a favorecer las sugerencias de los sistemas IA e ignorar el resto.

El impacto de estos sesgos es profundo, ya que pueden perpetuar desigualdades sociales, reforzar estereotipos dañinosdañinos y limitar el acceso a servicios esenciales como la salud o el empleo.

SegúnSegún la OCDE, aproximadamente cuatro de cada diez docentes temen que la IA pueda amplificar sesgos que refuercen conceptos erróneoserróneos en los estudiantes.  

El algoritmo tiene el poder de iluminar partes de la realidad y dejar a oscuras, silenciadas, realidades no convenientes a los intereses que lo programan.

Tres proyecciones de una misma realidad

Como vemos, esto no es solo debido a unas malas intenciones del diseñadordiseñador sino tambiéntambién a la cantidad históricahistórica de datos estructurados generados por cada uno de los sectores de la sociedad en funciónfunción de su riqueza, paíspaís de origen o de razones históricas.históricas. El riesgo socioeducativo es la desmaterializacióndesmaterialización de la diversidad.

Si bien es cierto, como docentes debemos tener en cuenta que toda selecciónselección de contenidoscontenidos, parte de un sesgo, o, al menos, de una perspectiva y todos los docentes seleccionamos en un océanoocéano infinito de contenidos aquellos que trabajamos con nuestro alumnado. Para ello disponemos del currículocurrículo pero tambiéntambién de nuestra perspectiva personal y humana en ese tercer nivel de concreciónconcreción que es nuestra programaciónprogramación de aula. Si bien parece inevitable partir de un cierto sesgo, si se pueden valorar los objetivos y motivaciones de cada selecciónselección de información. información. 

El abordaje del análisisanálisis críticocrítico de los sistemas inteligentes implica partir del hecho de que los datos y los algoritmos no vienen dados, responden a los contextos históricos,históricos, políticos,políticos, sociales, culturales de su producciónproducción y existe una dimensióndimensión subjetiva tanto en la producciónproducción como en la mediaciónmediación algorítmicaalgorítmica (Martins 2024).

Alucinaciones

AdemásAdemás de los sesgos, otro aspecto importante que afecta a la fiabilidad de los sistemas de inteligencia artificial es su capacidad de generar informacióninformación incorrecta que parece plausible. Mientras que los sesgos se refieren a tendencias sistemáticassistemáticas que pueden favorecer o perjudicar determinados resultados o grupos de personas, los sistemas de IA generativa tambiéntambién pueden producir afirmaciones, datos o referencias que no son verdaderos. Este fenómenofenómeno se conoce como alucinaciones de la inteligencia artificial.

Podemos definir las alucinaciones como los contenidos generados por la IA que parecen coherentes y convincentes, pero que en realidad son inventados o no estánestán respaldados por informacióninformación verificable.  

Este fenómenofenómeno ocurre porque los sistemas de IA generativa no "entienden" realmente la informacióninformación que procesan, sino que generan contenido basándosebasándose en patrones estadísticos.estadísticos.

Un ejemplo  que se hizo viral fue el caso Mata y la aerolíneaaerolínea Avianca en 2023:

El abogado de un hombre que demandódemandó a una aerolíneaaerolínea por dañosdaños personales utilizóutilizó ChatGPT para preparar una presentación,presentación, pero el bot de inteligencia artificial entregóentregó casos falsos que el abogado presentópresentó despuésdespués ante el tribunal, lo que llevóllevó a un juez a considerar sanciones mientras la comunidad jurídicajurídica lidia con uno de los primeros casos de "alucinaciones" de IA que hacen acto de presencia en los tribunales.

Revista Forbes Argentina

Este tipo de errores pone de relieve la importancia de verificar siempre la informacióninformación producida por sistemas de IA antes de utilizarla como fuente.

El fenómenofenómeno de las las alucinaciones en la IA representa un desafíodesafío profundo para la verdad educativa, ya que estos sistemas estánestán diseñadosdiseñados para priorizar la verosimilitud sobre la veracidad. Como advierte la OCDE (2026), estos modelos pueden generar informacióninformación que resulta totalmente plausible y bien estructurada pero que es fundamentalmente errónea,errónea, llegando incluso a fabricar citas bibliográficasbibliográficas inexistentes. Esto crea una suerte de "caverna digital" donde alumnado y docentes pueden terminar interactuando con "sombras lingüísticas"lingüísticas": proyecciones estadísticasestadísticas de textos que no tienen nada que ver con la realidad del mundo.

Imagen de @philosophymeme0 @philosophymeme0 

En contextos educativos es imprescindible tener este fenómenofenómeno en cuenta, ya que premisa falsa introducida por la IA puede descarrilar todo el proceso de aprendizaje de un estudiante.

Aceptar estos resultados sin un filtro riguroso transforma el aula en un espacio de "infodemia", donde el tsunami de datos desaloja la acciónacción racional y la comprensióncomprensión profunda.

Para contrarrestar este riesgo, los docentes debemos tratar de ser el últimoúltimo "guíaguía de la razónrazón humana", ejerciendo su juicio profesional para validar y respaldar cada resultado antes de que sea integrado en el proceso de aprendizaje. El objetivo es que nuestro alumnado no caiga en una confianza ciega en la "razón"razón" algorítmicaalgorítmica (sesgo de automatización)automatización), a travéstravés de una alfabetizaciónalfabetización críticacrítica que permita usar la IA como un amplificador del saber humano.

Pieter Brueghel el Viejo (1568). La parábolaparábola de los ciegos [ Óleo Óleo sobre tabla].  Museo di Capodimonte de NápolesNápoles https://es.wikipedia.org/wiki/La_par%C3%A1bola_de_los_ciegos

Dejadlos: son ciegos que guíanguían a ciegos. Y si un ciego guíaguía a otro ciego, los dos caeráncaerán en el hoyo

Mateo 15, 14.

Además,Además, para mitigar las alucinaciones, la OCDE alude al uso de de técnicastécnicas como la GeneraciónGeneración Aumentada por RecuperaciónRecuperación (RAG), que ancla las respuestas en bases de datos confiables como libros de texto, y de la que hablaremos en el curso 2 de este itinerario "IA y diseñodiseño curricular". Por otro lado, algunos algunos enfoques pedagógicospedagógicos proponen permitir que los docentes ajusten el "porcentaje de alucinaciónalucinación" de las herramientas para fomentar el pensamiento críticocrítico de los alumnos al obligarlos a verificar la información.información.

Comprender los tipos de sesgo y las alucinaciones es fundamental para analizar críticamentecríticamente el funcionamiento y uso de la IA especialmente en contextos como la educación,educación, donde la veracidad de la informacióninformación es esencial.

Deepfakes

Las tecnologíastecnologías de la IA desempeñandesempeñan una funciónfunción cada vez másmás importante en el procesamiento, la estructuraciónestructuración y el suministro de información;información; las cuestiones del periodismo automatizado y del suministro algorítmicoalgorítmico de noticias y la moderaciónmoderación y la conservaciónconservación de contenidos en los medios sociales y los buscadores son solo algunos ejemplos que plantean cuestiones relacionadas con el acceso a la información,información, la desinformación,desinformación, la informacióninformación errónea,errónea, el discurso de odio, la apariciónaparición de nuevas formas de narrativa social, la discriminación,discriminación, la libertad de expresión,expresión, la privacidad y la alfabetizaciónalfabetización mediáticamediática e informacional, entre otras (UNESCO 2022).

Aunque la la desinformacióndesinformación no es un fenómenofenómeno nuevo, la IA permite producirla a gran escala y con menor esfuerzo, lo que incrementa el riesgo de que los usuarios compartan contenidos sin comprobar su autenticidad.  Los sistemas de IA pueden generar textos, imágenes,imágenes, audios o vídeosvídeos con gran apariencia de realismo, lo que facilita la producciónproducción y difusióndifusión de contenidos engañosos.engañosos. En el contexto digital actual, donde gran parte de la informacióninformación circula a travéstravés de redes sociales y plataformas en línea,línea, esta capacidad puede contribuir a la propagaciónpropagación de noticias falsas (fake news) o contenidos manipulados que resultan difícilesdifíciles de distinguir de la informacióninformación verificada.

Un caso especialmente relevante es el de los deepfakes, es decir, vídeos,vídeos, imágenesimágenes o audios generados o manipulados mediante IA que imitan de manera muy convincente la apariencia o la voz de una persona real. Es decir, la IAGen permite crear imágenes,imágenes, vídeosvídeos o audios falsos que pueden representar a una persona diciendo o haciendo algo que nunca ocurrió.ocurrió. Estos contenidos pueden utilizarse con fines humorísticoshumorísticos o creativos, pero tambiéntambién para difundir desinformación,desinformación, suplantar identidades o manipular la opiniónopinión pública. pública. 

AquíAquí puedes consultar imágenesimágenes deepfakes que se hicieron virales en 2023 como este vídeovídeo de un supuesto Morgan Freeman:

Además,Además, la creciente sofisticaciónsofisticación y el avance de estas tecnologíastecnologías hace cada vez másmás complicado detectar las manipulaciones únicamenteúnicamente mediante la observaciónobservación directa, por lo que se vuelve necesario desarrollar herramientas técnicastécnicas y competencias críticascríticas para evaluar la credibilidad de la información.información.

Comparison AI of Will Smith eating spaghetti from 2023 vs 2026 is going viral pic.twitter.com/nS1Dl49irC

—— kira 👾 (@kirawontmiss) February 12, 2026

Conviene destacar a este respecto, que la Ley Ley de IA introduce obligaciones de informar que un contenido estáestá hecho con IA cuando pueda surgir un riesgo por falta de transparencia en torno a su uso:

En algunos casos, el resultado de la IA generativa debe estar visiblemente etiquetado, como en el caso de los «deepfakes»«deepfakes» y los textos destinados a informar al públicopúblico sobre asuntos de interésinterés público.público.

En el ámbitoámbito educativo, estas cuestiones tienen implicaciones importantes:  puede derivar en situaciones graves como la creacióncreación y difusióndifusión de contenidos manipulados de de alumnado o profesorado, incluidos montajes de caráctercarácter sexual o desnudos falsos, que se comparten rápidamenterápidamente a travéstravés de redes sociales o por WhatsApp. Este tipo de prácticasprácticas puede convertirse en una forma de ciberacoso, con consecuencias psicológicas,psicológicas, sociales y reputacionales muy serias para las personas afectadas.

En la siguiente gráficagráfica del estudio ““Hand in Hand: Schools’Schools’ Embrace of AI Connected to Increased Risks to Students”Students”,  vemos cómocómo los deepfakes son un tema destacado en los centros educativos con una creciente conciencia entre las familias:

Hand in Hand: Schools’Schools’ Embrace of AI Connected to Increased Risks to Students

Por ello, los centros educativos se enfrentan al reto de prevenir, detectar y abordar estas situaciones, promoviendo una educacióneducación digital responsable, el respeto a la privacidad y la conciencia sobre las implicaciones éticaséticas y legales del uso de estas tecnologías.tecnologías.

En este sentido, conviene hacer consciente tanto al profesorado como al alumnado del del derecho de imagen, (lo veremos en el capítulocapítulo cuatro de este curso), ya que:

La ley prohíbeprohíbe captar, difundir o utilizar la imagen de alguien sin su  consentimiento expreso, y esto incluye modificar una fotografíafotografía mediante herramientas de inteligencia artificial, crear montajes o aplicar filtros sobre la imagen de alguien sin su autorización,autorización, aunque sea sin mala intención.intención.

Además,Además, la educacióneducación debe reforzar el desarrollo de de competencias de alfabetizaciónalfabetización mediáticamediática y digital, que incluyan la capacidad de contrastar fuentes, identificar señalesseñales de desinformacióndesinformación y analizar críticamentecríticamente los contenidos generados por IA..

En commonsense.org hay una páginapágina destinada a IA y centros educativos con diversos juegos; concretamente aquíaquí puedes seleccionar edades y nivel de juego para adivinar quéqué cartel de películapelícula ha sido creado o generado por IA.

En esta páginapágina puedes jugar a adivinar quéqué persona es real y cuálcuál ha sido generada por IA

Puntos clave

1. La supervisiónsupervisión humana se considera el salvaguarda éticoético fundamental para corregir la deriva lógicalógica y las inexactitudes de la IA.
2. Siempre se ha de evaluar cualquier resultado generado por la IA, tanto para respaldarlo como para rechazarlo o modificarlo, asegurándonosasegurándonos en el ámbitoámbito educativo de la calidad pedagógicapedagógica que aporta.
3. Aprender a evaluar la veracidad de la informacióninformación se convierte en una habilidad clave para participar de manera informada y responsable en la sociedad digital.

AsíAsí pues, es vital desarrollar la "alfabetizaciónalfabetización en IA" tanto en alumnado como en profesorado para que puedan evaluar críticamentecríticamente la credibilidad de la informacióninformación y reconocer sesgos potenciales.  Y por supuesto, para ello es necesario que haya un desarrollo del pensamiento críticocrítico a travéstravés del fomento de lo que Maryanne Wolf denomina como lectura profunda (deep Reading).

Lectura profunda es el estado en el que usamos la corteza cerebral para realizar analogíasanalogías e inferencias. Este proceso es fundamental para desarrollar un pensamiento  críticocrítico y analíticoanalítico; sin él,él, solo se obtiene informacióninformación superficial.  Cuando se logra fluidez, el cerebro utiliza rutas másmás rápidasrápidas y eficientes, lo que libera tiempo para generar pensamientos másmás profundos e integrar sentimientos con la experiencia personal. Si dejamos de practicarla, podríamospodríamos perder la capacidad de comprender contenidos complejos y de involucrar nuestra imaginación.imaginación.