2.2 Sesgos, alucinaciones y veracidad
El informe de 2026 de la OCDE destaca que los sesgos, las alucinaciones y la veracidad son riesgos técnicos inherentes a la naturaleza probabilística de los modelos de IA generativa que deben ser gestionados cuidadosamente en el ámbito educativo.
Sesgos y discriminación
Un sesgo puede entenderse como una tendencia a favorecer o perjudicar a alguien o algo de manera sistemática.
En la vida cotidiana, los sesgos aparecen cuando nuestras decisiones o juicios no son completamente neutrales, sino que están influidos por experiencias previas, estereotipos o información incompleta. Por ejemplo, si una persona cree que los estudiantes que hablan más en clase son siempre los que mejor aprenden, podría valorar más sus intervenciones y prestar menos atención a quienes participan menos, aunque estos también comprendan bien el contenido.
Cuando hablamos de sesgos en la inteligencia artificial, nos referimos a algo similar: los sistemas de IA pueden producir resultados que favorecen o perjudican a determinados grupos de personas, categorías, resultados o situaciones de forma sistemática, generando errores recurrentes en las predicciones o decisiones automatizadas.
Esto ocurre porque los algoritmos aprenden a partir de datos generados por personas y por la sociedad, que ya pueden contener desigualdades o representaciones incompletas de la realidad. Como resultado, la IA puede reproducir o amplificar esas tendencias, perpetuando esas disparidades o estereotipos sociales existentes.
El origen de los sesgos en la inteligencia artificial es multifacético y puede surgir en diferentes etapas del proceso de creación y uso de un sistema. Ferrara (2023) distingue principalmente tres orígenes:
- Sesgo de datos: ocurre cuando los datos utilizados para entrenar los modelos no son representativos o están incompletos. Esto sucede si los datos provienen de fuentes ya sesgadas, contienen errores o carecen de información importante sobre ciertos grupos. Los modelos de aprendizaje automático aprenden y replican estos patrones de sesgo presentes en los datos de entrenamiento. Por ejemplo, según el informe de la OCDE los modelos de IA suelen basarse de forma abrumadora en culturas occidentales y de habla inglesa, perjudicando especialmente a hablantes de otras lenguas y dialectos específicos.
IMAGEN BIBLIOGRAFIA
Dentro de este tipo de sesgo, podemos integrar el sesgo histórico, que aparece cuando los datos reflejan desigualdades del pasado y estas se trasladan a las decisiones automatizadas. - Sesgo algorítmico: este sesgo es inherente al diseño e implementación del algoritmo. Surge cuando los algoritmos se basan en suposiciones sesgadas o utilizan criterios que priorizan ciertos atributos de manera que generan resultados injustos. Es decir, cuando el propio diseño del sistema favorece ciertos resultados.
- Sesgo del usuario: se produce cuando las personas que utilizan los sistemas introducen sus propios prejuicios de forma consciente o inconsciente. Esto puede ocurrir al proporcionar datos de entrenamiento sesgados por parte de la persona que desarrolla el sistema o por el propio usuario en sus interacciones con la IA, de manera que reflejen sus prejuicios personales.
Según la OCDE, aproximadamente cuatro de cada diez docentes temen que la IA pueda amplificar sesgos que refuercen conceptos erróneos en los estudiantes.
Además, en el artículo de Jeff Shuford, encontramos una tabla donde se describen siguientes tipos de sesgos:
|
Sesgo de Muestreo
|
Se da cuando los datos de entrenamiento no representan a la población a la que sirven, como un algoritmo de reconocimiento facial entrenado mayoritariamente con personas blancas. |
| Sesgo de Representación | Sucede cuando el conjunto de datos no modela con precisión a la población, como bases de datos médicas que subrepresentan a las mujeres. |
| Sesgo de Confirmación | Ocurre cuando el sistema de IA se utiliza para confirmar prejuicios o creencias preexistentes de sus creadores o usuarios. |
| Sesgo de Medición | Emerge cuando el sistema de recolección de datos sobrerrepresenta o subrepresenta sistemáticamente a ciertos grupos. |
| Sesgo de Interacción |
Aparece cuando la IA interactúa con los humanos de forma sesgada, como un chatbot que responde de manera distinta a hombres y mujeres.
|
| Sesgo Generativo | Específico de modelos de IA generativa (como DALL-E o GPT), donde los resultados reflejan de manera desproporcionada patrones o perspectivas específicas de los datos de entrenamiento. Por ejemplo, al solicitar imágenes de "CEOs", los modelos suelen producir mayoritariamente imágenes de hombres, y al solicitar imágenes de "criminales", tienden a mostrar de forma abrumadora a personas de color. |
IMAGEN SESGO MUJER MAESTRO
En relación a este último sesgo y los modelos de IA generativa (IAGen), es menester mencionar de forma explícita las siguientes problemáticas derivadas del mismo:
- Amplificación de Estereotipos: Los modelos de IAGen pueden reproducir y amplificar estereotipos sociales al generar contenido. Por ejemplo cuando la IA representa sistemáticamente a las enfermeras como mujeres y a los doctores como hombres.
- Riesgo de las "Realidades Sintéticas": Se advierte que, a medida que avanzamos en la creación de realidades sintéticas cada vez más sofisticadas, existe el peligro de que sesgos sutiles se infiltren y moldeen la sociedad de formas no deseadas y potencialmente dañinas.
- Impacto de los Datos de Internet: Los modelos de IAGen entrenados con imágenes o textos extraídos de internet suelen heredar las disparidades existentes en el mundo real, lo que contamina sus resultados generados.
Como docentes, es importante añadir el sesgo de automatización: tendencia humana a favorecer las sugerencias de los sistemas IA e ignorar el resto.
El impacto de estos sesgos es profundo, ya que pueden perpetuar desigualdades sociales, reforzar estereotipos dañinos y limitar el acceso a servicios esenciales como la salud o el empleo.
Comprender estos tipos de sesgo es esencial para analizar críticamente el funcionamiento de la IA y para desarrollar sistemas más justos y transparentes.
El abordaje del análisis crítico de los sistemas inteligentes implica partir del hecho de que los datos y los algoritmos no vienen dados, responden a los contextos históricos, políticos, sociales, culturales de su producción y existe una dimensión subjetiva tanto en la producción como en la mediación algorítmica (Martins 2024).
Alucinaciones
Además de los sesgos, otro aspecto importante que afecta a la fiabilidad de los sistemas de inteligencia artificial es su capacidad de generar información incorrecta que parece plausible. Mientras que los sesgos se refieren a tendencias sistemáticas que pueden favorecer o perjudicar determinados resultados o grupos de personas, los sistemas de IA generativa también pueden producir afirmaciones, datos o referencias que no son verdaderos. Este fenómeno se conoce como alucinaciones de la inteligencia artificial.
Podemos definir las alucinaciones como los contenidos generados por la IA que parecen coherentes y convincentes, pero que en realidad son inventados o no están respaldados por información verificable.
Este fenómeno ocurre porque los sistemas de IA generativa no "entienden" realmente la información que procesan, sino que generan contenido basándose en patrones estadísticos.
EJEMPLO
El fenómeno de las alucinaciones en la IA representa un desafío profundo para la verdad educativa, ya que estos sistemas están diseñados para priorizar la verosimilitud sobre la veracidad. Como advierte la OCDE (2026), estos modelos pueden generar información que resulta totalmente plausible y bien estructurada pero que es fundamentalmente errónea, llegando incluso a fabricar citas bibliográficas inexistentes. Esto crea una suerte de "caverna digital" donde alumnado y docentes pueden terminar interactuando con "sombras lingüísticas": proyecciones estadísticas de textos que no tienen nada que ver con la realidad del mundo.
En contextos educativos es imprescindible tener este fenómeno en cuenta, ya que premisa falsa introducida por la IA puede descarrilar todo el proceso de aprendizaje de un estudiante.
Aceptar estos resultados sin un filtro riguroso transforma el aula en un espacio de "infodemia", donde el tsunami de datos desaloja la acción racional y la comprensión profunda.
Para contrarrestar este riesgo, los docentes debemos tratar de ser el último "guía de la razón humana", ejerciendo su juicio profesional para validar y respaldar cada resultado antes de que sea integrado en el proceso de aprendizaje. El objetivo es que nuestro alumnado no caiga en una confianza ciega en la "razón" algorítmica (sesgo de automatización), a través de una alfabetización crítica que permita usar la IA como un amplificador del saber humano.
La parábola de los ciegos. Pieter Brueghel el Viejo (1568). Dominio público
Dejadlos: son ciegos que guían a ciegos. Y si un ciego guía a otro ciego, los dos caerán en el hoyo
Mateo 15, 14.
Además, para mitigar estaslas invenciones,alucinaciones, la OCDE alude al uso de técnicas como la Generación Aumentada por Recuperación (RAG), que ancla las respuestas en bases de datos confiables como libros de texto, y de la que hablaremos en el curso 2 de este itinerario "IA y diseño curricular". Además,Por otro lado, algunos enfoques pedagógicos proponen permitir que los docentes ajusten el "porcentaje de alucinación" de las herramientas para fomentar el pensamiento crítico de los alumnos al obligarlos a verificar la información.
ComprenderAsí pues, comprender estas alucinaciones es fundamental para analizar críticamente el uso de la IA, especialmente en contextos como la educación, la investigación o la toma de decisiones, donde la veracidad de la información es esencial.
Veracidad
2.2.3 Deepfakes y sus implicaciones en la comunidad escolar
Las tecnologías de la IA desempeñan una función cada vez más importante en el procesamiento, la estructuración y el suministro de información; las cuestiones del periodismo automatizado y del suministro algorítmico de noticias y la moderación y la conservación de contenidos en los medios sociales y los buscadores son solo algunos ejemplos que plantean cuestiones relacionadas con el acceso a la información, la desinformación, la información errónea, el discurso de odio, la aparición de nuevas formas de narrativa social, la discriminación, la libertad de expresión, la privacidad y la alfabetización mediática e informacional, entre otras (UNESCO 2022. Recomendación sobre la ética de la inteligencia artificial).
Cristóbal Cobo en el edTech: la verosimilitud de lo sintético aumenta, en paralelo la confianza en lo que vemos disminuye. El riesgo es doble: cinismo total o credulidad automática. El mundo se nos presenta traducido por sistemas opacos.
Real o IA?
El Reglamento introduce obligaciones de información cuando pueda surgir un riesgo por falta de transparencia en torno al uso de la IA:
- la IA diseñada para hacerse pasar por humanos (por ejemplo, un «chatbot») debe informar al humano con el que está interactuando;
- el resultado de la IA generativa debe marcarse como generado por IA de forma legible por máquina;
- en algunos casos, el resultado de la IA generativa debe estar visiblemente etiquetado, como en el caso de los «deepfakes» y los textos destinados a informar al público sobre asuntos de interés público.
Veracidad y la Ilusión de Competencia
- El informe introduce el concepto de "espejismo de falsa maestría", donde el uso de la IA genera resultados de alta calidad que ocultan debilidades subyacentes en las habilidades reales del usuario.
- La veracidad de los resultados no garantiza el aprendizaje; los estudiantes pueden usar la IA como un atajo para completar tareas sin procesar cognitivamente la información.
- Incluso en la investigación científica, los informes generados por IA a menudo fallan al distinguir entre información autorizada y simples suposiciones.
- En evaluaciones de alto riesgo, la veracidad es tan crítica que se exige supervisión humana constante para validar cada ítem generado por la máquina antes de que un estudiante lo vea.
- La transparencia es esencial: los usuarios deben ser informados siempre de que están interactuando con una IA y de las limitaciones de veracidad del sistema.
Hand by hand desnudos en centros. Hablar del derecho de imagen
Comparación deepfakes 2023 a 2026
https://www.commonsense.org/two-truths-and-ai
https://www.whichfaceisreal.com/
COMO MITIGAR TODO ESTO OCDE
- La supervisión humana se considera el salvaguarda ético fundamental para corregir la deriva lógica y las inexactitudes de la IA.
- Los docentes deben actuar como directores que evalúan, modifican o respaldan cualquier resultado generado por la IA para asegurar su calidad pedagógica.
- Es vital desarrollar la "alfabetización en IA" tanto en alumnos como en profesores para que puedan evaluar críticamente la credibilidad de la información y reconocer sesgos potenciales.
Y no solo la alfabetización en IA, sino el fomento de la lectura profunda para el desarrollo del pensamiento crítico, aprender de otros.
La perdida de credibilidad del documento audiovisual: El filtro burbuja y el sesgo de confirmación
ESTO NO IRIA EN CONSCIENCIA DE RIEGOS??????
Desde que existe la humanidad, la mentira siempre ha sido una herramienta al servicio de aquellos dispuestos a usarla. Sin embargo, con todas las reservas hacia una tesis tan general, los humanos hemos compartido criterios sobre lo que pueden ser pruebas o indicios de esta verdad. Por eso, antes de la era de la IA, una frase como "a quien vas a creer a tus ojos o a mi", solo era comprensible desde el humor (o desde una interpretación radical de Descartes).
Con la llegada de la grabación de audio, de la fotografía y el video, las prueba audiovisuales han ocupado un espacio central en la validación de la información aportada a la opinión pública. La omnipresencia de cámaras ha convertido el mundo en un espacio sin apenas intimidad. Este fenómeno no ha sido solo debido al auge de la videovigilancia de los poderes públicos (y privados) sino también a una ciudadanía que, smartphones y redes sociales mediante, ejerce una omnisciencia distribuida.
La prueba audiovisual no ha estado nunca exenta de sospecha pero la gran novedad aportada por la llegada de la IA es que ahora todos tenemos acceso a generar una falsificación verosímil a bajo coste. Esto ya está generando un nuevo fenómeno. En un mar de falsificaciones, la mayoría de ellas humorísticas, vivimos una perdida de credibilidad de la prueba audiovisual.
Reel de @mortimer_heredia
En esta lluvia de falsificaciones, algunas, como esta, evidentemente inverosímiles, hemos dejado de creer en el audiovisual. Esto nos hace aún mas complicado de lo que ya era la recepción información que contradiga nuestras propias creencias y posicionamientos. Es, en definitiva un fenómeno que, unido al filtro burbuja antes comentado, nos encierra cada vez mas en la cámara de eco de nuestro sesgo de confirmación.
El sesgo de confirmación o sesgo confirmatorio es la tendencia a favorecer, buscar, interpretar y recordar la información que confirma las propias creencias o hipótesis, dando desproporcionadamente menos consideración a posibles alternativas. Se trata de un tipo de sesgo cognitivo y un error sistemático del razonamiento inductivo. Las personas muestran esta tendencia cuando reúnen o recuerdan información de manera selectiva, o cuando la interpretan sesgadamente. El efecto es más fuerte en publicaciones con contenido emocional y en creencias firmemente enraizadas. También tienden a interpretar que las pruebas ambiguas apoyan su postura existente.
Wikipedia. Sesgo de confirmación
En definitiva, la perspectiva no es muy halagüeña para el mantenimiento de un espacio de debate público, un Ágora, donde los ciudadanos podamos de forma racional y tolerante compartir y confrontar nuestras opiniones de una forma constructiva para un mejor funcionamiento de nuestra Pólis.
Es cierto que desde la educación podemos, en la medida de nuestras posibilidades, fomentar el espíritu crítico, la tolerancia y el debate entre nuestro alumnado.
La perdida de confianza entre profesor y alumno por las falsificaciones y los materiales hechos con Inteligencia Artificial ESTO NO IRIA EN CONSCIENCIA DE RIEGOS??????
El informe de The Brookings Institution de 2026 subraya que existe un deterioro en la relación de confianza entre docente y estudiante. Esta crisis se debe a la facilidad con la que se pueden hacer, fraudulentamente, tanto las tareas escolares como el planteamiento de exámenes o de trabajos o materiales didácticos. Esta crisis se manifiesta por lo tanto, en un doble sentido:
En primer lugar, crece una desconfianza de los Docente hacia su alumnado debido a que los profesores nos enfrentamos a la sospecha de un uso de inteligencia artificial en las tareas escolares que minimiza el esfuerzo del alumnado. Tenemos que ser conscientes de que la existencia de este fenómeno no nos puede hacer abandonar todas las dimensiones de la evaluación, imprescindibles no solo para la calificación sino sobre todo para el aprendizaje.
Por otra parte, esta desconfianza tiene su espejo en el deterioro de la confianza del alumnado hacia los docentes. También los estudiantes pueden percibir un desinterés en los docentes que crean sus materiales y exámenes e incluso evalúan con Inteligencia artificial.
Cuando una revolución tecnológica como esta llega, es necesario crear nuevas costumbres, valores y reestructurar los pactos implícitos que forman parte del vínculo pedagógico. Tendremos que ser conscientes, todos los miembros de la comunidad educativa, de que quizás no es necesario crear un tabú respecto al uso de IA sino crear protocolos, usos y costumbres de cuándo y cómo usarla y cuando no, de forma que, desde unos valores compartidos, se acepte con naturalidad cuando proceda y se rechace con firmeza cuando no.
Imagen generada con https://imgflip.com/