IA en Educación: Ética y Responsabilidad en la práctica docente

• 1. Usted está aquí
• 1.1 El itinerario formativo de Inteligencia Artificial en educación.
• 1.2 La Inteligencia Artificial en educación: ¿Una nueva tecnología o un cambio de paradigma?
• 1.3 Cambios socioeducativos asociados a la irrupción de la Inteligencia Artificial.
• 1.4 Alfabetización IA
• 1.5 Conciencia de riesgos
• 2. Consideraciones éticas
• 2.1 Introducción a la ética de la IA
• 2.2 Veracidad: sesgos, alucinaciones y deepfakes
• 2.3 Propiedad intelectual
• 2.4 Medioambiente
• 2.5 Afectos y vínculos en la era del algoritmo
• 2.6 Dilemas éticos del uso de la IA en educación
• 2.7 Directrices éticas sobre el uso de la IA en educación
• 3. Privacidad
• 3.1 Datificación
• 3.2 Que tus datos te acompañen...
• 3.3 Derechos y Principios Digitales
• 4. Marco legal
• 4.1 Reglamento Europeo IA
• 4.2 Protección de datos
• 4.3 Derecho de imagen
• 5. Retos y Oportunidades
• 5.1 Diferentes usos en el ámbito educativo
• 5.2 Recomendaciones y buenas prácticas
• Finalización del curso
• Bibliografía y Webgrafía
• Créditos

1. Usted está aquí

1.1 El itinerario formativo de Inteligencia Artificial en educación.

Ojalá vivas tiempos interesantes".

Maldición china (apócrifa)

Queremos darte la bienvenida a este curso, el primer curso del itinerario formativo de Inteligencia Artificial en educación.

Son varios los objetivos que hemos tenido en mente en el diseño de este itinerario.  Hemos tratado de que sean tan ambiciosos como creemos que es necesario que sean, teniendo en cuenta la dimensión y profundidad de un fenómeno que dista mucho de ser un cambio tecnológico más y, sin duda, puede ser considerado un cambio de paradigma que va a transformar no sólo la educación sino la sociedad, la economía y, en definitiva, la forma en la que comprendemos el mundo y actuamos en él.

En primer lugar este itinerario quiere contribuir a mejorar la comprensión de este fenómeno, su funcionamiento y sus consecuencias, de forma que los docentes podamos tener una idea general que nos permita tener el conocimiento para guiar y acompañar a nuestro alumnado en las transformaciones y elecciones que sin duda van a vivir.

Se pretende, por tanto, mejorar esa comprensión, tanto desde una perspectiva educativa como general, para poder así preparar a las comunidades educativas para poder elegir y tener una cierta soberanía en la forma en la que la inteligencia artificial es adoptada y presentada en las aulas y en la organización de centro, de forma que estas comunidades educativas puedan tomar decisiones acordes a sus valores y sus proyectos educativos.

En segundo lugar está la búsqueda de una protección de los derechos digitales de todos las personas que formamos parte de esas comunidades educativas, con particular énfasis en nuestro alumnado. Para ello se presenta este primer curso centrado en el uso responsable de la Inteligencia artificial y que desarrolla aspectos éticos y normativos que es necesario que los docentes conozcamos para una mejor protección de esos derechos digitales.

Por último, este itinerario busca ayudar a los docentes. La IA puede ser muy útil en el ejercicio de nuestro trabajo diario, colaborando con la fase de diseño curricular o con otras tareas fuera del aula. También puede ser muy eficaz en el uso en el aula, aunque para ello es clave la forma en la que la usamos. Es conveniente, por tanto, impulsar una adaptación pedagógica que permita aprovechar de la mejor manera posible las enormes oportunidades que proporcionan estas herramientas tratando de minimizar los inconvenientes que ya vivimos en el día a día en las aulas.

Tanto desde el CATEDU como desde el Grupo de Trabajo para la integración responsable en educación de la Inteligencia Artificial en Aragón IREIAA queremos darte la bienvenida a este itinerario, que esperamos que sea acorde con esos objetivos y que cumpla o incluso supere tus expectativas.

Estructura del itinerario formativo.

Este itinerario consta de 6 cursos. 5 de estos cursos son comunes para todos los docentes y en uno de los cursos, el curso 3, se despliega en diferentes opciones para poder atender las distintas realidades específicas que nos encontramos en el trabajo con alumnado.

En total estos cursos suman 140h tutorizadas, es decir, se trata de un itinerario que no es un curso de iniciación sino que busca profundizar en un tema que merece atención y detalle.

• IA1: IA en Educación: Ética y Responsabilidad en la práctica docente (20h)
• IA2:  IA en el Diseño Curricular (20h)
• IA3: Aplicación en el aula (30h) Elegir uno de estos cursos
  • IA3.1 Aplicación de la IA en el aula: Infantil y Primaria 
  • IA3,2 Aplicación de la IA en el aula: Enseñanza de idiomas
  • IA3,3 Aplicación de la IA en el aula: Artes Plásticas
  • IA3,4 Aplicación de la IA en el aula: Científico-tecnológico
  • IA3,5 Aplicación de la IA en el aula:Socio-lingüístico
    
• IA4 Evaluación e IA (20h)
• IA5 IA para la inclusión (20h)
• IA 6 Trabajo de fin de itinerario (30h para hacerlo hay que tener hechos los otros 5 cursos)

En este vídeo puede verse más información sobre este itinerario que ahora comienza.

Autoría: Minerva Rodríguez Cabrejas y María de Mingo Carranza (con apoyo de herramientas de IA: Gemini + Hailou AI+Murf AI)

Música con licencia: “Fun time playful quirky stinger” por Sonican “Happy kids music” por TuneTank vía Pixabay

1.2 La Inteligencia Artificial en educación: ¿Una nueva tecnología o un cambio de paradigma?

A lo largo de este itinerario podremos comprobar que la integración de la Inteligencia Artificial (IA) en el ámbito educativo no debe entenderse simplemente como la incorporación de una herramienta digital más, sino como una transformación profunda que afecta a los cimientos mismos de la enseñanza del aprendizaje y de la organización escolar. Mientras que otros avances tecnologicos anteriores, como las calculadoras o el monitor interactivo, se centran en automatizar tareas rutinarias o en facilitar o transformar el acceso a la información, la IA introduce una capacidad inédita: la inferencia y la imitación de comportamientos humanos.

La inferencia de IA es el proceso en el que un modelo de aprendizaje automático, previamente entrenado, analiza datos nuevos e invisibles para tomar decisiones, realizar predicciones o generar resultados en tiempo real. Es la fase operativa donde la IA aplica el conocimiento adquirido para actuar.

Cuando nos referimos hoy a inteligencia artificial, en realidad estamos usando el término como paraguas para hablar de un conjunto específico de sistemas inteligentes, conocidos como aprendizaje automático (machine learning). El aprendizaje automático es una rama de la IA que se distingue por su capacidad para aprender patrones y tomar decisiones sin requerir una supervisión constante. Dentro del aprendizaje automático, se encuentra una técnica conocida como aprendizaje profundo (deep learning), que utiliza redes neuronales artificiales compuestas por múltiples capas de procesamiento para realizar tareas complejas (Martins 2024).

El aprendizaje profundo, al emplear estas redes neuronales profundas, puede analizar grandes cantidades de datos y aprender representaciones de alto nivel, lo que le permite realizar tareas como reconocimiento de imágenes, procesamiento de lenguaje natural y muchas otras aplicaciones. Una de las aplicaciones más destacadas del aprendizaje profundo es la IA generativa (IAGen). Este tipo de sistema inteligente tiene la capacidad de generar nuevos contenidos, como imágenes, música o texto. La IA-Gen utiliza modelos entrenados en grandes conjuntos de datos para aprender las características y patrones de los datos de entrada, y luego genera nuevas instancias que se asemejan a estos datos. La reciente expansión y popularización de tecnologías de IA generativa ha provocado múltiples discusiones a nivel global que nos plantean profundos desafíos en la educación, el aprendizaje y la práctica docente (Martins 2024).

La Inteligencia artificial generativa cuenta con una amplia variedad de usos y aplicaciones pero no es solo como una navaja suiza, en el sentido de ser la unión de diferentes herramientas, sino que añade su plasticidad proporcionando unas interacciones mucho más ricas y variadas que cualquier otra herramienta.

El concepto de inteligencia en el centro del aula

El desarrollo de la inteligencia humana ha sido, históricamente, uno de los objetivos primordiales de la educación. La emergencia de una "inteligencia" basada en máquinas, capaz de generar predicciones, contenidos y decisiones a partir de grandes volúmenes de datos, nos obliga a reflexionar sobre qué hace única a la inteligencia del docente y del alumno. Esa misma inteligencia artificial nos permite organizar nuestro trabajo de diferente manera, apoyarnos en ella para algunas tareas y delegar otras manteniendo nuestra supervisión.

Es una transformación que afecta a la esencia de la educación en una doble vertiente:

• La educación intenta impulsar la creatividad y la inteligencia de los estudiantes. La irrupción de una nueva inteligencia va a desplazar el foco a aquellas tareas cognitivas que nos hacen únicos.

• Los educadores podemos usar la inteligencia artificial como amplificador de nuestros conocimientos y capacidades para poder guiarla para una consecución más eficaz de nuestros objetivos pedagógicos.

La inteligencia artificial nos ha superado ya en muchos campos, como el acceso al conocimiento, el procesamiento de información y la búsqueda de patrones.

Los humanos tenemos cualidades no computables, tenemos nuestra agenda con nuestra capacidad de desear y crear sentido, de empatizar y poder sopesar cuál es el camino que elegimos desde una perspectiva ética. En resumen, tenemos una autonomía moral y, asociada a ella, una responsabilidad de valorar cómo y para qué usamos la IA.

Del mismo modo que no basta con tener una enciclopedia en la mano para saber su contenido, no basta con el uso de IA para poder acceder al conocimiento, procesar información y buscar y reproducir patrones. Para saber preguntar a la IA, antes hay que saber pensar y expresarse y, para ello, es necesario ser competente en muchos campos ajenos a la IA.

Por todas estas razones se puede afirmar que la llegada de la IA a la educación no es una nueva moda que se impone durante unos años y luego se olvida, sino un cambio de paradigma que va a afectar a cómo trabajamos los docentes, para qué educamos a nuestros estudiantes y cómo se organiza la escuela en términos de horarios, asignación de tiempos y otros factores.

De la tecnología al cambio de paradigma

Este cambio de paradigma se manifiesta en la transición de una relación binaria (profesor-alumno) a una interacción triangular (profesor-IA-alumno). En esta nueva dinámica, la IA no solo asiste al docente en su labor fuera del aula, sino que puede llegar a influir en los resultados del aprendizaje y en la toma de decisiones pedagógicas en una relación directa con el alumno, como un tutor interactivo en el aprendizaje. Es cierto que ya había un cierto triángulo profesor-conocimiento-alumno pero ese acceso al conocimiento se transforma de una forma generativa e inferencial lo que constituye un cambio completo.

Amplificación de la labor docente: La IA tiene el potencial de actuar como un exoesqueleto que amplifica la capacidad del profesor para ofrecer una atención personalizada, una evaluación formativa, una retroalimentación inmediata y una evaluación capaz de analizar patrones y dificultades de aprendizaje que antes eran invisibles.

Redefinición de habilidades: Al delegar ciertas tareas cognitivas a la IA, el foco de la educación se desplaza hacia habilidades puramente humanas, el reto ahora es formar jóvenes que no dependan ciegamente de la "razón" algorítmica, sino que desarrollen un pensamiento crítico y una agencia humana robusta para supervisar y cuestionar a la máquina.

Un nuevo horizonte de desarrollo humano

La irrupción de la IA nos obliga a reevaluar no solo el mercado laboral del futuro, sino el propósito mismo de la educación. El objetivo ya no es solo transmitir conocimientos, un área donde la IA es sumamente eficaz, es cultivar la empatía, la capacidad de gozo estético, la tolerancia, el altruismo y el juicio ético.

Este paradigma no exige que el docente deje de ser depositario del saber, puesto que no es posible ser crítico y supervisor de la IA sin esos conocimientos, pero debemos añadir las habilidades necesarias para ser un diseñador y facilitador de experiencias de aprendizaje enriquecidas por la tecnología, pero siempre gobernadas por valores humanos. Este reto es más sencillo si entendemos que vamos a Codiseñar con la IA. La IA debe servir para fortalecer las capacidades humanas, no para sustituirlas, asegurando que el "florecimiento humano" siga siendo el corazón de cada aula.

EX PRAETERITO, PRAESENS PRUDENTER AGIT, NE FUTURA ACTIONẼ DETURPET
Desde la experiencia del pasado, prudencia en los actos del presente, para no echar a perder los actos del futuro.

Tiziano. (1565-1570). Alegoría de la Prudencia [Oleo sobre lienzo] National Gallery de Londres. https://es.wikipedia.org/wiki/Alegor%C3%ADa_de_la_Prudencia

1.3 Cambios socioeducativos asociados a la irrupción de la Inteligencia Artificial.

Hemos forzado a todas las tierras y todos los mares a ser accesibles a nuestra audacia, por todas partes hemos contribuido a fundar recuerdos imperecederos para bien o para mal

Discurso fúnebre de Pericles. Tucidides II 35-46.

La irrupción de la Inteligencia Artificial (IA) en el tejido de la sociedad contemporánea trasciende el ámbito técnico y constituye una fuerza transformadora de carácter sistémico que altera profundamente las estructuras socioeducativas.

Este fenómeno no se limita, por tanto, a una integración de nuevas herramientas en el aula, sino que supone una posible reconfiguración de la naturaleza del aprendizaje, del vínculo pedagógico entre docentes y estudiantes, y del desarrollo de la personalidad y la identidad de nuestro alumnado. La transición hacia una dinámica de interacción triangular entre docentes, estudiantes y sistemas algorítmicos tiene el potencial de redefinir las instituciones educativas, la organización escolar y los derechos fundamentales en la era digital.

El desplazamiento del paradigma relacional en educación: la interacción triangular

Históricamente, el proceso educativo se ha fundamentado en una relación entre el profesor y el alumno, un vínculo intersubjetivo mediado por la palabra y la presencia física. Sin embargo, la capacidad de la IA para procesar volúmenes masivos de información, generar contenidos inéditos y realizar análisis predictivos ha introducido un tercer actor con capacidad de inferencia en nuestro sistema escolar. Esta nueva configuración se denomina interacción triangular, donde la IA no actúa únicamente como un recurso pasivo, sino como una entidad que asiste en la toma de decisiones, siempre supervisada por el docente, y puede condicionar la trayectoria del aprendizaje de forma personalizada y eficaz.

Una de las conclusiones más compartidas por los docentes que vivimos la pandemia es que la mediación tecnológica puede alterar la calidad del acompañamiento docente. Parece deseable que los docentes en la era de la IA evolucionen, sin abandonar sus competencias clásicas, hacia un rol de orquestador y facilitador de la autonomía del estudiante. Este cambio exige que los educadores posean, además de experiencia y sentido común, los conocimientos para discernir cuándo la intervención algorítmica potencia el desarrollo intelectual y cuándo, por el contrario, atrofia la capacidad de pensamiento independiente de su alumnado.

Este triángulo debe ser tomado como una imagen inspiradora; sin embargo, debemos plantearnos hasta qué punto el vértice ocupado por la IA tiene una entidad como sujeto o si esta es fruto de una ilusión generada por razones comerciales.

La humanización de la IA como estrategia de éxito empresarial.

La presencia de estas "intimidades artificiales" plantea desafíos éticos sin precedentes. Investigadores como Sherry Turkle advierten sobre los "botones darwinianos". Estos botones son comportamientos programados en sistemas de IA (como el contacto visual simulado o la validación afectiva mediante lenguaje natural) que activan respuestas evolutivas en los seres humanos, induciendo una sensación de reciprocidad emocional donde solo hay código. Son, en definitiva, una forma de hackear nuestro sistema de detección de humanidad.

En el contexto educativo, esto puede llevar a los niños y adolescentes a preferir la interacción con tutores artificiales que no les juzgan y se adaptan para darles la razón, lo que Turkle denomina "estar solos juntos". El riesgo socioeducativo radica en la desmaterialización del otro. Si nuestros estudiantes se acostumbran a una interacción social e intelectual sin fricciones, su capacidad para desarrollar empatía y, sobre todo, para gestionar el conflicto en comunidades reales podría verse reducida, con consecuencias nefastas para su desarrollo cognitivo y para su felicidad.

En esta tabla puede resumirse los desafíos y riesgos que debemos valorar y minimizar en esta transición.

 Se non è vero, è molto ben trovato. Giordano Bruno. De los Heróicos furores (1585)

Riesgo de confundir verosimilitud con verdad.

Del saber a la infodemia

La irrupción de la IA generativa ha provocado un cambio en la forma en que las sociedades acceden y validan el conocimiento. La distinción entre información (datos fragmentados y acumulables) y saber (conocimiento integrado y transformador) se vuelve crítica en el análisis socioeducativo.

Byung-Chul Han sostiene que vivimos en un régimen de "infocracia", donde el tsunami de datos y estímulos digitales desaloja la acción racional y la contemplación profunda. Los docentes necesitamos reflexión y deliberación para dirigir la parte que nos toca en este cambio; para ello, son necesarios intervalos de tiempo y diálogos colectivos entre nosotros.

Rembrandt. (1632). El Filósofo en Meditación.  [Óleo sobre tabla de roble] Museo del Louvre. https://es.wikipedia.org/wiki/Fil%C3%B3sofo_en_meditaci%C3%B3n

La caverna digital y la ilusión de sabiduría

La interacción predominante con chatbots y modelos de lenguaje puede compararse con una nueva "caverna digital". En esta alegoría, los estudiantes no acceden a la realidad ni al pensamiento crítico, sino a "sombras lingüísticas": proyecciones estadísticas de textos preexistentes que carecen de una conexión experiencial con el mundo real.

La externalización de la memoria y el pensamiento en una tecnología, esa delegación cognitiva, no produce conocimiento real, sino una ilusión de falso conocimiento, una apariencia de saber. El educando puede creerse sabio al obtener respuestas instantáneas del algoritmo, pero si carece del proceso mental necesario para llegar a esa conclusión, el resultado es una inmadurez intelectual disfrazada de eficiencia.

No debemos nunca olvidar que nuestro objetivo no es que el alumnado genere producciones elevadas, sino que sea capaz de ser competente e integre sus conocimientos. Para un docente de Educación Física, es preferible que un alumno corra 5 km a que haga 100 km en coche. La Inteligencia Artificial puede, en esta metáfora, ser una bici o un avión, pero todo depende de cómo la empleemos.

La Inteligencia Artificial puede ser para nuestro alumnado una herramienta que facilita la creación de trabajos, lo que puede falsear la evaluación de sus resultados de aprendizaje. Esto puede producir un desgaste de su percepción del esfuerzo y el tiempo necesarios para aprender. La educación basada en IA puede tender a eliminar la fricción cognitiva, promoviendo una cultura de la inmediatez que es incompatible con el desarrollo de habilidades de pensamiento de orden superior y la capacidad crítica para enfrentar la desinformación. Debemos, por tanto, encontrar soluciones a este reto que afronten esta dificultad sin obviarla.

Crítica a la "Aprendificación" y el Retorno a la Pedagogía

El filósofo Gert Biesta ofrece una perspectiva crítica esencial para comprender la situación socioeducativa actual, provocada por la irrupción de la Inteligencia Artificial combinada con la hipertrofia de la evaluación.

Biesta distingue entre la "aprendificación" (learnification), la reducción de la educación a una mera transacción de habilidades y datos de aprendizaje, y la educación genuina, que debe orientarse necesariamente hacia tres dimensiones: la cualificación, la socialización y la subjetivación

La amenaza del conductismo de máquina

La irrupción de la IA corre el riesgo de convertir la educación en un proceso de "optimización del aprendizaje" que ignora la dimensión de la subjetivación: la capacidad del individuo para existir como un sujeto autónomo y no como un objeto de intervenciones algorítmicas. Nuestros estudiantes no son mecanismos que median entre un estímulo y una respuesta.

Los sistemas de aprendizaje adaptativo, al predecir y satisfacer cada deseo o necesidad del diseñador y del estudiante de forma anticipada, pueden crear un "conductismo de máquina" (machine behaviourism), donde el sujeto pierde la oportunidad de enfrentar la realidad, la frustración y la alteridad.

La educación, según Biesta, es un "riesgo hermoso" porque no es predecible ni mecánica; intentar solo hacerla eficiente mediante IA podría destruir su esencia transformadora. Debemos, por tanto, mantener los pies en los valores de nuestros proyectos educativos mientras damos forma a este cambio de paradigma para que sea compatible con ellos.

Soberanía tecnológica de las comunidades educativas.

La irrupción de la Inteligencia Artificial en la educación no es un destino inevitable guiado por leyes naturales, sino el resultado de nuestras decisiones, que pueden ser sometidas a debate público y pedagógico. Los cambios socioeducativos analizados revelan una tensión entre el potencial emancipador de la tecnología (personalización del aprendizaje, eficiencia administrativa e inclusión del alumnado) y sus riesgos (despersonalización, desigualdad y atrofia cognitiva).

No parece deseable que la educación del futuro sea una mera facilitación del aprendizaje mediada por máquinas. Debe reafirmarse como un espacio de encuentro entre humanos, donde el docente actúa como mediador y guía de la razón.

La respuesta institucional debe ser la creación de un ecosistema que combine una regulación estricta del alto riesgo, como la iniciada por la Unión Europea, con un énfasis profundo en la alfabetización crítica de toda la comunidad educativa. Solo así podremos asegurar que la educación siga siendo un proceso donde el ser humano aprenda no solo a saber, sino a ser un adulto responsable en un mundo compartido.

1.4 Alfabetización IA

Introducción

Vivir en sociedades en proceso de digitalización exige nuevas prácticas educativas, una reflexión ética, un pensamiento crítico, prácticas de concepción responsables y nuevas competencias, dadas las implicaciones para el mercado laboral, la empleabilidad y la participación cívica (Martins 2024).

Necesidad de formación crítica: Es fundamental que todos los ciudadanos desarrollen alfabetización en IA y pensamiento crítico para comprender los fundamentos científicos y técnicos de la IA. Esto ayuda a desmitificar la tecnología, superando percepciones erróneas.

Entender la colaboración Humano-IA: La IA debe verse como una herramienta de cooperación y colaboración (Inteligencia Híbrida) que aumenta y amplifica las capacidades humanas, en lugar de un sistema que simplemente imita o reemplaza la inteligencia humana.

Una de las primeras metáforas para modelizar la colaboración entre humano y máquina es la del Centauro, procedente del ajedrez, concretamente de Gary Kasparov tras su derrota contra Deep Blue.

Mas allá de una simple unión de mitad humano y mitad máquina, un centauro es un jugador que reúne la intuición, empatía, sabiduría y creatividad de un humano experto con la fuerza bruta de la capacidad de cálculo y simulación de una máquina para considerar millones de combinaciones  de posibles movimientos y contramovimientos.

En este modelo, el humano sería la cabeza y el torso del centauro y la inteligencia artificial, el resto del cuerpo.

Cory Doctorow, autor de "Enshittification", advierte de que podemos caer en el modelo del "Centauro Inverso", donde la IA toma las decisiones y hace de cerebro, mientras que nosotros somos su proyección física en el mundo, su cuerpo. 

Por ejemplo, un repartidor de una gran multinacional al que la ruta le viene dada, conduce un vehículo semiautónomo porque la legislación exige un conductor humano y se desplaza en entornos no adaptados al vehículo, como jardines, escaleras, etc. 

En particular, la supervisión humana debe protegerse también del exceso de carga de trabajo que la impida. Si un médico asistido por IA, tiene que revisar muchas más radiografías que cuando no tenía esa asistencia, no podrá revisarlas debidamente, pero la legislación sobre supervisión hará que él cargue legalmente con los errores en la toma de decisiones.

Al final, en el centauro inverso, es el humano el que, en cierto modo, es utilizado por una tecnoestructura (que no es, en última instancia, una inteligencia artificial sino sus dueños).

Cooperación entre docentes e IA según la OECD 

La IA siguiendo la recomendación de la OECD (María de Mingo + Gemini)

Los proveedores y responsables del despliegue de sistemas de IA adoptarán medidas para garantizar que, en la mayor medida posible, su personal y demás personas que se encarguen en su nombre del funcionamiento y la utilización de sistemas de IA tengan un nivel suficiente de alfabetización en materia de IA, teniendo en cuenta sus conocimientos técnicos, su experiencia, su educación y su formación, así como el contexto previsto de uso de los sistemas de IA y las personas o los colectivos de personas en que se van a utilizar dichos sistemas.

Marcos de Competencias

Y es que, la creciente presencia de la inteligencia artificial en la vida cotidiana y en los entornos educativos hace imprescindible promover una alfabetización en IA que permita comprender no solo cómo funcionan estas tecnologías, sino también cómo utilizarlas de forma crítica, ética y creativa. En este contexto, diversos organismos internacionales han desarrollado marcos de competencias que orientan a docentes, estudiantes y ciudadanos en el desarrollo de estas habilidades. Entre ellos destacan las propuestas de la Comisión Europea, así como las impulsadas por la UNESCO, que promueven una integración responsable y humanista de la inteligencia artificial en la educación. Estos marcos ofrecen referencias estructuradas para entender qué conocimientos, habilidades y actitudes son necesarios en una sociedad cada vez más mediada por sistemas inteligentes, y sirven como punto de partida para desarrollar propuestas educativas orientadas a una alfabetización en IA sólida y crítica.

AILit

El Marco de Alfabetización en Inteligencia Artificial (AILit) para la educación primaria y secundaria es una iniciativa conjunta de la Comisión Europea y la Organización para la Cooperación y el Desarrollo Económicos (OCDE). El borrador publicado en mayo de 2025 describe los conocimientos, habilidades y actitudes esenciales que los jóvenes necesitan para comprender e interactuar con herramientas de IA de manera segura, crítica y con confianza. 

Ámbitos de competencias del marco AILit

El marco propone 22 competencias organizadas en cuatro dominios principales cuyo eje es la ética:

• Interactuar con la IA implica utilizar la IA como herramienta para acceder a nuevos contenidos, información o recomendaciones.

• Crear con IA consiste en colaborar con una herramienta de IA dentro de un proceso creativo o de resolución de problemas.

• Gestionar la IA requiere elegir de forma intencional cómo la IA puede apoyar y mejorar el trabajo humano.

• Diseñar IA permite que los estudiantes comprendan cómo funciona la IA y conecten su funcionamiento con sus impactos sociales y éticos, participando en la forma en que se diseñan y operan las herramientas de IA.

Competencias del marco AILit

El Marco de Alfabetización en IA se finalizará en 2026. Para más información, se puede consultar ailiteracyframework.org.

UNESCO

Además, la UNESCO propone un marco de competencias centrado en los docentes (AI CFT), y otro en los estudiantes (AI CFS).
En general se plantean tres perspectivas complementarias:

1. Aprender sobre la IA: comprender qué es la inteligencia artificial, cómo funciona, conceptos básicos como algoritmos, datos, entrenamiento de modelos, sesgos, sus capacidades y limitaciones técnicas.

2. Aprender con la IA: utilizar herramientas de IA como apoyo al aprendizaje (tutores inteligentes, asistentes de escritura...)

3. Aprender para la IA: desarrollar las competencias necesarias para vivir en una sociedad con IA, lo que incluye comprender impactos sociales, éticos y legales, desarrollar pensamiento crítico ante sistemas automatizados, participar de forma responsable en el uso y desarrollo de estas tecnologías.

Marco de competencias para docentes

El AI CFT se estructura en cinco ámbitos de competencias con tres niveles de desarrollo en cada uno (adquirir, profundizar, crear) que dan lugar a quince competencias. Estos cinco ámbitos están interrelacionados y son complementarios, es decir, no deben considerarse de forma aislada:

5. La IA para el desarrollo profesional: describe las competencias emergentes que los docentes deben desarrollar para utilizar la IA para impulsar su propio aprendizaje profesional a lo largo de su vida y el desarrollo profesional colaborativo con vistas a transformar su práctica docente. Ante el rápido desarrollo de la IA, los docentes necesitan orientación sobre cómo continuar su desarrollo profesional en entornos educativos donde la interacción entre los humanos y la IA está en constante aumento. Esto incluye la capacidad de aprovechar la IA para evaluar las necesidades de aprendizaje profesional y reforzar la motivación para el aprendizaje continuo y la colaboración profesional. Progresivamente, se espera que los docentes mejoren su capacidad para adaptarse y crear al utilizar herramientas de IA y análisis de datos para apoyar un desarrollo profesional transformador.

UNESCO. Marco de competencias para docentes en materia de IA

Marco de competencias para estudiantes

En el AI CFS encontramos cuatro ámbitos con tres niveles de progresión (comprender, aplicar, crear). Los dos primeros ámbitos son compartidos con el AI CFT aunque con matices, y se detallan dos ámbitos diferentes más:

1. Una forma de pensar centrada en el ser humano: el alumnado reflexiona críticamente sobre la IA y su papel en la sociedad. No se trata solo de saber usar la IA, sino de preguntarse cuándo es apropiado utilizarla, qué impacto tiene y qué responsabilidades implica. Este enfoque se basa en tres ideas principales: primero, entender que la IA siempre está diseñada y dirigida por personas, por lo que sus decisiones influyen en cómo afecta a la sociedad; segundo, reconocer que los seres humanos siguen siendo responsables de las decisiones tomadas con ayuda de la IA, especialmente en asuntos importantes; y tercero, desarrollar una ciudadanía crítica en la era de la IA, siendo conscientes de su impacto social y promoviendo un uso responsable, inclusivo y orientado al bienestar común.

2. La ética de la IA: los tres bloques de competencias para este ámbito describen los pasos clave para que los estudiantes internalicen gradualmente los principios éticos y se habitúen a cumplir con las regulaciones de la IA:

1. Ética encarnada: comprenderán, internalizarán y adoptarán los siguientes principios en sus prácticas reflexivas y en el uso de herramientas de IA en su aprendizaje y más allá:
   
   a) No hacer daño: comprenden que los sistemas de IA no deben utilizarse para fines que puedan perjudicar a los seres humanos (como el reconocimiento facial con propósitos de vigilancia o asignación de estatus social, o algoritmos predictivos para calificar exámenes).
   b)Proporcionalidad: de acuerdo con su edad y nivel de habilidad, el alumnado analiza si el uso de un sistema de IA específico es ventajoso para lograr un objetivo justificado, y si un método de IA determinado es apropiado para el contexto.
   c) No discriminación: son capaces de identificar sesgos de género, étnicos, culturales y de otro tipo integrados en las herramientas de IA o en sus resultados. 
   d) Sostenibilidad: ilustran las implicancias de los sistemas de IA para la sostenibilidad ambiental. 
   e) Determinación humana en la colaboración entre humanos e IA: demuestran por qué los seres humanos deben asumir responsabilidades éticas y legales por el uso de la IA. Además, pueden ejemplificar cómo los seres humanos pueden mantener su responsabilidad en los ciclos de toma de decisiones asistida por IA, sin ceder la determinación a las máquinas.
   f) Transparencia y explicabilidad: son conscientes de que los usuarios tienen derecho a solicitar a los diseñadores y proveedores información que explique cómo funcionan las herramientas de IA, cómo producen sus resultados a partir de algoritmos y modelos, así como hasta qué punto la implementación y aplicación de determinadas herramientas son apropiadas para usuarios de cierta edad o nivel de habilidad.
   
   
2. Uso seguro y responsable: el alumnado es consciente de los riesgos de revelar la privacidad de los datos y toman medidas para garantizar que sus datos solo se recopilen, utilicen, compartan, archiven y eliminen con su consentimiento deliberado e informado. También son conscientes de los riesgos específicos de ciertos sistemas de IA y pueden proteger su propia seguridad al usarlos, así como la de sus pares.
   
   
3. Ética por diseño: al crear, evaluar y utilizar herramientas de IA, así como al revisar y adaptar las regulaciones relacionadas con ella.

3. Técnicas y aplicaciones de la IA: el alumnado comprende cómo funciona realmente la IA y su aplicación práctica. Para ello, aprenden los fundamentos técnicos básicos, como el papel de los datos, los algoritmos y la programación, y analizan herramientas de IA para entender cómo se desarrollan, ademas de crear o adaptar herramientas de IA ya existentes. Todo ello se combina con una perspectiva interdisciplinar y con la integración de consideraciones éticas y humanas, de modo no solo aprendan la parte técnica, sino que también comprendan cómo estas tecnologías afectan a la sociedad y cómo pueden utilizarlas de forma responsable y colaborativa.

4. Diseño de sistemas de IA: se enfoca en el pensamiento de diseño sistémico y las habilidades de ingeniería integrales necesarias para delimitar el alcance del problema, diseñar, construir la arquitectura, entrenar, probar y optimizar los sistemas de IA. Este ámbito busca cuestionar la explicabilidad de los sistemas de IA y permitir el aprendizaje exploratorio para los estudiantes que seguirán programas de estudio en este campo. 

UNESCO. Marco de competencias para estudiantes en materia de IA

La siguiente imagen puede ayudar a tener una visión general para comparar y relacionar los diferentes ámbitos de competencias en materia de IA que la UNESCO propone para docentes y estudiantes:

Ámbitos de competencias en materia de IA para docentes y estudiantes de la UNESCO

En conjunto, los distintos marcos de alfabetización y competencias en inteligencia artificial propuestos por organismos internacionales como la Comisión Europea o la UNESCO coinciden en señalar que la formación en IA, además de abarcar el conocimiento técnico, debe promover una mirada crítica sobre su uso en los contextos educativos. 

En este sentido, para los docentes saber cuándo la tecnología realmente aporta valor a un proceso educativo es fundamental. Por ejemplo, ¿cuándo la tecnología está permitiendo a las personas hacer cosas que de otro modo no serían posibles? Por lo tanto, y al mismo tiempo, darse cuenta de dónde la tecnología no aporta realmente valor es una competencia esencial. 

Neil Selwyn (Martins 2024)

Esta capacidad crítica abre la puerta a un aspecto clave de la alfabetización en IA: el desarrollo de una conciencia sobre sus riesgos, limitaciones e impactos, que permita integrar estas tecnologías de manera responsable y reflexiva en la educación.

1.5 Conciencia de riesgos

Así el cobarde, el temerario, el valiente, lo son relativamente a los mismos objetos. Sólo que sus relaciones con estos objetos son diferentes, pecando los unos por exceso, los otros por defecto. El hombre de valor sabe mantenerse en un justo medio y obrar como lo exige la razón. Los temerarios corren con ardor en busca del peligro; después, cuando este llega, vuelven pié atrás las más veces. Los valientes, por el contrario, serenos antes, sostienen después resueltamente su puesto en la acción.

Aristóteles. Ética a Nicómaco. Libro 3 Capítulo VIII.

Todo cambio profundo en nuestras condiciones de vida nos despierta, a la vez, una mezcla de esperanza y temor. Explorar las posibilidades es una forma de proyectarnos al futuro empleando nuestra inteligencia. Es también una de las causas de la evolución de nuestro cerebro en la hominización. Esta capacidad, basada en el conocimiento, es la que nos permite elegir, siempre a través del polvo de la batalla, el punto de equilibrio entre los cambios deseables y los riesgos que queremos evitar e incluso, cuando la fortuna nos elige, nos permite estar atentos para esquivar sus golpes o agarrar el mechón de pelo antes de que se desvanezca.

Guido Reni (1637). La Fortuna. [Óleo sobre lienzo] Pinacoteca Vaticana, Public domain, via Wikimedia Commons

Ser conscientes de los riesgos es una necesidad para evitarlos y mitigar o reducir el daño que puede producir una transformación profunda como la llegada de la IA a la educación. El propósito de este apartado no es que la enumeración de estos riesgos nos paralice sino contribuir a generar una cultura compartida que nos permita vigilar juntos y elegir las mejores opciones en este viaje inevitable cuyo rumbo tenemos que decidir colectivamente.

La inteligencia artificial, como todos los desarrollos tecnológicos, no es un sistema neutral, conlleva cambios socioeconómicos y en la forma de comunicarnos cuya profundidad apenas podemos intuir. Estos cambios llevan aparejados unos riesgos que, en el campo de la educación,  adquieren especial relevancia por afectar a menores, procesos formativos y derechos fundamentales. Veamos ahora brevemente una enumeración de riesgos.

Riesgos asociados a la introducción de la IA en los centros educativos

Riesgo de opacidad y pérdida de comprensión

Del mecanismo complejo de funcionamiento de la IA emerge el fenómeno de "caja negra", una realidad técnica donde la opacidad de los algoritmos de aprendizaje profundo nos impide trazar el camino lógico que une un dato de entrada con su resultado final. A diferencia de tecnologías educativas previas que eran transparentes en su funcionamiento mecánico, estos sistemas operan mediante inferencias y patrones complejos que, por ser emergentes, no siempre resultan legibles para el ojo humano. Si el docente utiliza estas herramientas sin comprender su naturaleza y algo de su funcionamiento interno, la interacción triangular (profesor-IA-alumno) corre el riesgo de desequilibrarse, desplazando la autoridad del saber desde el juicio pedagógico hacia una "razón" algorítmica cuyas fuentes y sesgos permanecen ocultos tras una interfaz amigable.

Esta pérdida de comprensión puede derivar en una erosión silenciosa de la agencia docente, transformando al profesor en lo que se denomina un "Centauro Inverso": un ejecutor físico de decisiones que han sido predefinidas por una estructura técnica invisible. Al delegar tareas como la evaluación formativa o el diseño curricular a sistemas cuyos criterios de funcionamiento se desconocen, el docente puede verse reducido a un supervisor legal de errores que no tiene capacidad de explicar. El peligro aquí no es una rebelión de las máquinas, sino que el profesorado, ante la eficiencia aparente del sistema, renuncie a su rol esencial como "orquestador" y "guía de la razón", aceptando los resultados de la IA simplemente porque parecen verosímiles.

Para mitigar este riesgo, la alfabetización en IA debe trascender el simple aprendizaje de instrucciones o prompts para centrarse en una formación crítica que desmitifique la tecnología. Es fundamental que las comunidades educativas desarrollen los conceptos necesarios para interpretar correctamente las salidas del sistema y entender cómo estas decisiones impactan en el alumnado. Solo a través de este conocimiento técnico y pedagógico el docente podrá mantener su "juicio profesional", validando y respaldando los resultados de la IA para asegurar que la tecnología actúe como un amplificador de la capacidad humana y no como una prótesis que atrofie nuestra autonomía moral y nuestra cognición.

Confundir rendimiento con aprendizaje real: ilusión de conocimiento

Corremos el riesgo de confundir el rendimiento de nuestro alumnado (la capacidad de entregar un producto final pulido) con el aprendizaje real (la integración profunda de conocimientos). Como advierte el informe de la OECD (2026), completar con éxito una tarea educativa usando IA generativa no equivale automáticamente a haber aprendido, ya que estas herramientas pueden actuar como un atajo de productividad en lugar de una herramienta pedagógica. Nuestro objetivo como educadores no es que el alumnado genere producciones elevadas, si no que desarrolle unas competencias reales y sea capaz de integrar lo aprendido de forma autónoma.

Esta discrepancia entre rendimiento y aprendizaje, entre lo que sabe y lo que puede hacer, da lugar a una ilusión de conocimiento, donde la IA mejora la calidad aparente del trabajo del alumno sin que exista una adquisición real de conocimiento. El informe de la OCDE también llama a esta ilusión  "espejismo de falsa maestría" donde el uso de la IA genera resultados de alta calidad que ocultan debilidades subyacentes en las habilidades reales del usuario.

La inmediatez con la que la IA genera respuestas puede crear una ilusión de conocimiento tanto en el docente como en el alumno. Al obtener resultados instantáneos sin transitar el proceso mental necesario para llegar a ellos, corremos el riesgo de fomentar una inmadurez intelectual disfrazada de eficiencia.

Esta dinámica fomenta una "descarga cognitivo" (offloading), donde se eliminan la fricción cognitiva y el esfuerzo necesarios para aprender, llevando al alumnado a saltarse fases críticas como el diagnóstico, la evaluación y la iteración de sus propias ideas. Según el informe de la OCDE (2026), la veracidad de los resultados no garantiza el aprendizaje; los estudiantes pueden usar la IA como un atajo para completar tareas sin procesar cognitivamente la información.

Finalmente, este fenómeno se manifiesta claramente en el denominado efecto "muleta". Diversos estudios indican que, aunque los estudiantes que usan IA sin restricciones mejoran su rendimiento en las prácticas diarias, rinden significativamente peor en exámenes individuales posteriores donde no tienen acceso a la herramienta. Para un docente, esto equivale a la diferencia entre un alumno que recorre una distancia en coche y otro que la corre a pie: el primero llega antes, pero solo el segundo fortalece sus capacidades. Por ello, es vital que la IA se integre bajo un diseño intencional que priorice el desarrollo humano y la autonomía moral sobre la mera producción algorítmica.

Dependencia tecnológica y erosión de la autonomía docente

La automatización de decisiones en el aula nos sitúa en un dilema donde la eficiencia puede colisionar con la esencia misma de la filosofía de la educación. Al integrar sistemas que realizan análisis predictivos y asisten en la toma de decisiones, corremos el riesgo de que la IA deje de ser un recurso pasivo para convertirse en un actor que condicione la trayectoria del aprendizaje, invadiendo la autonomía docente. Este fenómeno puede derivar en un "conductismo de máquina", donde el juicio pedagógico humano es desplazado por una optimización algorítmica que ignora tanto la capacidad del individuo para existir como un sujeto autónomo como la existencia de actores contextuales y vitales no computables. Como docentes, nuestra labor no es solo aceptar resultados verosímiles, sino ejercer ese discernimiento crítico para distinguir cuándo una intervención potencia el desarrollo y cuándo atrofia el pensamiento independiente.

Esta deriva nos conduce de nuevo al peligro de la descarga cognitiva, en este caso de los docentes, un escenario donde el profesional renuncia a sus funciones fundamentales de diseño, evaluación y reflexión profunda. Si permitimos que la tecnología sea el "cerebro" que dicta la ruta y nosotros simplemente su ejecución física, caeríamos de nuevo en el modelo del "Centauro Inverso" propuesto por Cory Doctorow. En esta dinámica, el docente deja de ser un orquestador de la autonomía para convertirse en un operario de una tecnoestructura que le dicta qué hacer, perdiendo la oportunidad de enfrentar la alteridad y el "riesgo hermoso" que supone toda educación genuina. La IA debe funcionar como un "exoesqueleto" que amplifique nuestra labor, nunca como una prótesis que nos exima de la responsabilidad de pensar y sentir el aula.

Privacidad: La protección de la intimidad en la era del dato

La integración de la IA en las aulas no es solo una cuestión de eficacia pedagógica, sino también un desafío directo a la protección de los derechos digitales de toda la comunidad educativa, especialmente los del alumnado por ser menor de edad. Es importante que los docentes comprendamos los aspectos éticos y normativos necesarios para salvaguardar estos derechos. Introducir datos sensibles en sistemas externos sin las debidas garantías puede vulnerar la privacidad y la seguridad de los menores, tal como advierte la UNESCO al señalar que el suministro algorítmico de información plantea serias dudas sobre la confidencialidad y el manejo ético de los datos personales.

He aquí algunos ejemplos de datos privados de nuestro alumnado que no podemos subir a aplicaciones de inteligencia artificial online sin un permiso explícito de sus tutores legales específico para ese uso:

• Imágenes de nuestro alumnado para convertirlos en dibujos animados
• Examenes para ser corregidos
• Voces de nuestro alumnado para crear una canción o una IA que hable como ellos

Soberanía tecnológica frente al determinismo

La irrupción de la IA no debe entenderse como un destino inevitable dictado por leyes naturales, sino como el resultado de decisiones humanas que deben someterse al debate público y pedagógico. La búsqueda de una verdadera soberanía tecnológica permite a las comunidades educativas elegir herramientas que sean acordes a sus valores y proyectos educativos, en lugar de ser receptoras pasivas de tecnologías impuestas. 

Existe una asimetría de poder entre los proveedores tecnológicos y las comunidades educativas que no podemos ignorar. No debemos olvidar que detrás de estos sistemas hay intereses comerciales que, como explicamos antes, buscan la "humanización de la IA" como estrategia de éxito, intentando que prefiramos la interacción con máquinas sin fricciones antes que el complejo y problemático diálogo humano. Frente a esto, el principio clave debe ser, de nuevo, la soberanía tecnológica: la IA debe integrarse de forma intencionada y reflexivo bajo el mando del juicio profesional y de los usuarios, es decir, bajo la tutela de las comunidades educativas. Estas tienen derecho a enfocar la integración tecnologica en sus aulas asegurando que la IA sirva para fortalecer las capacidades de la comunidad y no para crear dependencias de estructuras ajenas a los fines de la educación.

Reproducción y amplificación de desigualdades

La inteligencia artificial puede actuar no solo como un espejo, sino como un amplificador de las injusticias ya presentes en nuestro sistema social dado que el entrenamiento de los modelos de IA se fundamenta en conjuntos masivos de datos históricos que, lejos de ser neutrales, arrastran y consolidan los prejuicios de las sociedades que los generaron. Al procesar esta información, los algoritmos suelen reproducir y amplificar desigualdades por razón de género, origen socioeconómico o competencia lingüística. Como señala la UNESCO, estas tecnologías tienen el poder de "iluminar" ciertas realidades mientras dejan otras en la oscuridad, silenciando aquellas perspectivas que o bien no coinciden con los intereses de quienes programan el sistema o bien con la una estadística en la que no toda la diversidad de nuestra especie está representada, dada la desigualdad en la generación de datos.

En el entorno escolar, esto se traduce en un riesgo severo de etiquetado temprano del alumnado, el riesgo de la etiqueta algorítmica. Un ejemplo crítico es el uso de sistemas de predicción de abandono escolar que, al basarse en patrones históricos, pueden penalizar sistemáticamente a determinados perfiles.

Además, la integración de la inteligencia artificial en el aula introduce una paradoja de amplificación que puede ensanchar las brechas ya existentes entre el alumnado. Si entendemos la IA como un "exoesqueleto" que multiplica la cognición humana, debemos reconocer que este refuerzo no se distribuye de forma neutra. Aquellos estudiantes que ya poseen una cultura y unas competencias desarrolladas, quienes ya "saben pensar y expresarse", son precisamente quienes mejor saben "preguntar" a la máquina para obtener resultados complejos. Por el contrario, para el alumnado con mayores dificultades, la IA puede dejar de ser un amplificador para convertirse en una "muleta" que atrofia su pensamiento independiente y su capacidad de esfuerzo. Así, la tecnología que prometía personalizar el aprendizaje podría acabar beneficiando más a quien menos ayuda necesitaba, exacerbando la brecha cognitiva de partida.

A esta diferencia de capacidad se suma una nueva dimensión de la brecha digital: la divergencia económica entre el acceso a modelos de pago frente a los gratuitos. Mientras que las versiones más avanzadas ofrecen capacidades de inferencia y precisión inéditas , las versiones abiertas o gratuitas suelen ser más propensas a "alucinaciones" o sesgos culturales occidentales. Esta asimetría de recursos entre diferentes comunidades educativas puede amplificar las desigualdades tanto entre estudiantes como entre centros educativos . Si la calidad del tutor interactivo que acompaña al alumno depende de la suscripción que su familia o su escuela puedan costear, la educación puede dejar de ser un ascensor social para convertirse en un mercado de capacidades cognitivas asimétricas. 

Frente a este riesgo de desigualdad sistémica asociado a la amplificación de las brechas cognitiva y económica, la respuesta no debe ser el rechazo tecnológico, sino una alfabetización crítica y una "pedagogía primero". El docente debe actuar como un "orquestador" que garantice que la IA se utilice para fortalecer las capacidades de todos, y no para "vampirizar" la atención o sustituir el proceso de aprendizaje real. Es fundamental que los marcos de competencia, como el AlLit, aseguren que todo el alumnado aprenda no solo a interactuar con la IA, sino a gestionarla y diseñarla de forma intencional. Por otra parte, debemos ser conscientes como sociedad de la necesidad de garantizar el acceso a herramientas de calidad a los estudiantes mas desfavorecidos.

Frente a los riesgos de despersonalización y desigualdad por el etiquetado algorítmico, la respuesta institucional debe combinar una regulación estricta, como la impulsada por la Unión Europea para sistemas de alto riesgo, con una alfabetización crítica profunda. Según el Reglamento de Inteligencia Artificial (AI Act), esta alfabetización debe dotar a los responsables y usuarios de los conceptos necesarios para tomar decisiones con conocimiento de causa, protegiendo la salud, la seguridad y los derechos fundamentales. Solo mediante este control democrático y una comprensión clara de los mecanismos técnicos, podremos asegurar que la educación siga siendo un espacio de encuentro humano gobernado por principios éticos y no por intereses comerciales opacos.

La vigilancia y la pérdida de libertad e intimidad.

La gestión de la privacidad y la dignidad en el entorno educativo digital representa uno de los retos más sensibles de este cambio de paradigma. La integración de la Inteligencia Artificial se fundamenta en el procesamiento de volúmenes masivos de información , lo que en el contexto escolar se traduce en el uso de datos educativos altamente sensibles que afectan directamente a los derechos digitales de las comunidades educativas. Existe un riesgo real de que estos sistemas operen bajo una lógica de "vampirización" de los datos de alumnos y docentes, convirtiendo la trayectoria de aprendizaje en una sucesión de huellas digitales procesadas por entidades cuyos intereses pueden no coincidir con los valores pedagógicos del centro.

Tenemos que plantearnos si esa inteligencia artificial esta trabajando para nosotros o somos nosotros los que estamos trabajando para ella (en realidad, para sus dueños). ¿Son sus servicios un señuelo a cambio de alimentarla con los datos de nuestro alumnado?

El seguimiento constante del comportamiento del alumnado, a menudo justificado bajo la premisa de la personalización, puede derivar en una normalización de prácticas de vigilancia que atenten contra la esencia misma de la educación en democracia. Al utilizar sistemas que analizan patrones y realizan análisis predictivos sobre la conducta de los estudiantes podemos determinar su futuro en una suerte de profecía de autocumplimiento.

La profecía que se autorrealiza es, al principio, una definición «falsa» de la situación, que despierta un nuevo comportamiento que hace que la falsa concepción original de la situación se vuelva «verdadera»

Robert K. Merton. Teoría social y estructura social,

Quizás basta con hacerse la pregunta de si todo lo técnicamente posible es pedagógicamente legítimo y deseable para tener inmediatamente una respuesta. El aula debe permanecer como un refugio frente a sistemas despersonalizadores , asegurando que la tecnología actúe como un apoyo para fortalecer las capacidades de las personas sin sustituir nunca la responsabilidad pedagógica del docente ni invadir la libertad futura de nuestro alumnado con una huella digital que puede convertirse en una losa digital. 

Nuestros estudiantes deben ser conscientes de que la IA puede utilizar sus datos personales para personalizar anuncios o guiar sus elecciones seleccionando que información reciben y, por lo tanto, que imagen del mundo construyen.

Reducción a métricas.

La tendencia actual hacia la cuantificación del hecho educativo, impulsada por la integración de la IA, amenaza con reducir la complejidad del aprendizaje a simples métricas de rendimiento y productividad. Este fenómeno, que el filósofo Gert Biesta denomina "aprendificación" (learnification), simplifica la educación a una mera transacción de datos y habilidades medibles, ignorando dimensiones vitales como la socialización y la subjetivación del individuo. Al priorizar la "optimización del aprendizaje" a través de algoritmos, corremos el riesgo de tratar al alumnado como objetos de intervención estadística en lugar de seres humanos, buscando una eficiencia que puede erosionar la esencia del acto de educar.

En este escenario, los valores cualitativos que definen lo genuinamente humano —como la creatividad, la empatía y la capacidad de crear sentido— suelen quedar desplazados por no ser fácilmente computables. Mientras que la IA destaca en el procesamiento de información y la búsqueda de patrones, son las cualidades no computables las que deben permanecer en el centro del aula.

Finalmente, la reducción del aprendizaje a métricas puede desvirtuar la gestión pedagógica del error, convirtiéndolo en un dato negativo a optimizar en lugar de una experiencia necesaria para el aprendizaje profundo. Al intentar eliminar la "fricción cognitiva" para hacer el proceso más fluido e inmediato, la IA puede promover una cultura de la inmediatez incompatible con el desarrollo de habilidades de pensamiento de orden superior y la capacidad crítica. Por ello, resulta fundamental que el docente mantenga su juicio profesional para discernir cuándo la tecnología aporta valor real y cuándo simplemente está facilitando una producción superficial que falsea el crecimiento intelectual del estudiante.

Riesgos sociales para la convivencia democrática

La Inteligencia Artificial desempeña una función crítica en el procesamiento y suministro de información, pero su capacidad para generar contenidos inéditos, versímiles pero no necesariamente veraces, ha dado lugar a fenómenos como el periodismo automatizado y nuevas formas de narrativa social. Esta "infocracia" facilita la propagación de desinformación, información errónea y discursos de odio, que pueden manipular la opinión pública a una escala sin precedentes. El uso de deepfakes y contenidos generados algorítmicamente borra la frontera entre lo real y lo fabricado, obligándonos a habitar un espacio público donde las discusiones se vuelven puramente emocionales y la verdad se diluye en la verosimilitud estadística.

El poder del algoritmo no reside solo en lo que muestra, sino en lo que decide silenciar, puede ejercer de censor silencioso. Al dirigir la atención de la opinión pública a uno u otro tema puede desviar el debate público a temáticas divertidas pero insustanciales. Esto no supone una novedad en el espacio público pues podemos remontarnos a la anécdota de "el perro de Alcibiades"  pero si es novedosa la automatización de la desinformación y la facilidad para generar material verosímil a bajo coste.

El Bosco (atribuido) (1502). El prestidigitador [Óleo sobre tabla]  Museo Municipal de Saint-Germain-en-Laye.

https://es.wikipedia.org/wiki/El_Prestidigitador 

El aula como baluarte democrático

La alfabetización en materia de IA es hoy un requisito para la convivencia democrática, puesto que es necesario a las personas de los conceptos necesarios para tomar decisiones con conocimiento de causa de forma que podamos proteger nuestros derechos fundamentales y decidir nuestro futuro. Debemos generar estrategias pedagógicas, como tertulias dialógicas y asambleas, que potencien la comunicación entre perspectivas diferentes para recomponer un espacio público invadido por el sesgo de confirmación. Solo así aseguraremos que la tecnología sea una herramienta de participación cívica y no un instrumento de control o exclusión.

La obediencia ciega del alumnado al algoritmo

El derecho al rechazo de las recomendaciones algorítmicas es la última línea de defensa de la autonomía del estudiante en un entorno cada vez más mediado por sistemas predictivos. Cuando un sistema de aprendizaje adaptativo anticipa cada necesidad del alumno, el estudiante puede tener la tentación o la costumbre de abandonar la toma decisiones propia de un sujeto para convertirse en un simple objeto de optimización algorítmica.

Para que esta capacidad de rechazo sea efectiva, la alfabetización en IA debe dotar a los estudiantes de los conceptos necesarios para tomar "decisiones con conocimiento de causa". No basta con permitir el "no" de forma teórica; es necesario fomentar un pensamiento crítico que permita supervisar y cuestionar la "razón" de la máquina, evitando que los alumnos dependan ciegamente de sus sugerencias. 

La perdida de credibilidad del documento audiovisual: El filtro burbuja y el sesgo de confirmación 

Los algoritmos de IA presentes en las redes sociales buscan potenciar el enganche, engagement, del usuario. Para ello amplifican la frecuencia con la que muestran la información con la que más interactuamos. Esta puede ser tanto aquella que nos confirma en nuestras creencias y valores (filtro burbuja) como la que más nos repele. Este filtro burbuja retroalimenta la polarización social estrechando el debate público aislando a los ciudadanos en cámaras de eco incomunicadas entre si.

Filtro burbuja es el término que define al estado de aislamiento intelectual en el que puede derivar el uso de algoritmos por parte de las páginas web para personalizar el resultado de las búsquedas. Dichos algoritmos predicen y seleccionan la información que al usuario le podría interesar basándose en su información personal, como puede ser su ubicación, historial de búsquedas o los enlaces en los que hizo clic en el pasado. Como resultado, los usuarios son apartados de información que no concuerda con sus puntos de vista y se mantienen aislados en burbujas ideológicas y culturales. El término fue acuñado por el ciberactivista Eli Pariser 

Wikipedia. Burbuja de filtros

Desde que existe la humanidad, la mentira siempre ha sido una herramienta al servicio de aquellos dispuestos a usarla. Sin embargo, con todas las reservas hacia una tesis tan general, los humanos hemos compartido criterios sobre lo que pueden ser pruebas o indicios de esta verdad. Por eso, antes de la era de la IA, una frase como "¿a quien vas a creer a tus ojos o a mi?", solo era comprensible desde el humor (o desde una interpretación radical de Descartes). 

Con la llegada de la grabación de audio, de la fotografía y el video, las prueba audiovisuales han ocupado un espacio central en la validación de la información aportada a la opinión pública. La omnipresencia de cámaras ha convertido el mundo en un espacio sin apenas intimidad. Este fenómeno no ha sido solo debido al auge de la videovigilancia de los poderes públicos (y privados) sino también a una ciudadanía que, smartphones y redes sociales mediante, ejerce una omnisciencia distribuida.

La prueba audiovisual no ha estado nunca exenta de sospecha pero la gran novedad aportada por la llegada de la IA es que ahora todos tenemos acceso a generar una falsificación verosímil a bajo coste. Esto ya está generando un nuevo fenómeno. En un mar de falsificaciones, la mayoría de ellas humorísticas, vivimos una perdida de credibilidad de la prueba audiovisual. 

Ver esta publicación en Instagram

Una publicación compartida de Arturo Díaz (@mortimer_heredia)

Reel de @mortimer_heredia

En esta lluvia de falsificaciones, algunas, como esta, evidentemente inverosímiles, hemos dejado de creer en el audiovisual. Esto nos hace aún mas complicado de lo que ya era la recepción información que contradiga nuestras propias creencias y posicionamientos. Es, en definitiva un fenómeno que, unido al filtro burbuja antes comentado, nos encierra cada vez mas en la cámara de eco de nuestro sesgo de confirmación.

El sesgo de confirmación o sesgo confirmatorio es la tendencia a favorecer, buscar, interpretar y recordar la información que confirma las propias creencias o hipótesis, dando desproporcionadamente menos consideración a posibles alternativas. Se trata de un tipo de sesgo cognitivo y un error sistemático del razonamiento inductivo. Las personas muestran esta tendencia cuando reúnen o recuerdan información de manera selectiva, o cuando la interpretan sesgadamente. El efecto es más fuerte en publicaciones con contenido emocional y en creencias firmemente enraizadas. También tienden a interpretar que las pruebas ambiguas apoyan su postura existente.

Wikipedia. Sesgo de confirmación

En definitiva, la perspectiva no es muy halagüeña para el mantenimiento de un espacio de debate público, un Ágora, donde los ciudadanos podamos de forma racional y tolerante compartir y confrontar nuestras opiniones de una forma constructiva para un mejor funcionamiento de nuestra Pólis. 

En la compleja tarea de formar ciudadanos críticos, tolerantes y responsables necesitamos, frente a los algoritmos que alimentan el sesgo de confirmación y la generación de "islas" en la comunicación, generar estrategias para potenciar la comunicación entre perspectivas diferentes, tender puentes para recomponer un espacio público invadido por las discusiones emocionales. Tertulias dialógicas y asambleas son las herramientas pedagógicas empleadas tradicionalmente para potenciar este diálogo entre nuestro alumnado.

Por tanto, desde la educación podemos, en la medida de nuestras posibilidades, fomentar el espíritu crítico, la tolerancia y el debate entre nuestro alumnado.Nuestras aulas pueden ser un refugio frente a un sistema de comunicación algorítmico, conductista y despersonalizador que trata a los usuarios, nosotros y nuestros alumnos, vampirizando nuestra atención sin compasión, empleando para ello todos los recursos y conocimientos disponibles.

La perdida de confianza entre profesor y alumno por las falsificaciones y los materiales hechos con Inteligencia Artificial 

El informe de The Brookings Institution de 2026 subraya que existe un deterioro en la relación de confianza entre docente y estudiante. Esta crisis se debe a la facilidad con la que se pueden hacer, fraudulentamente, tanto las tareas escolares como el planteamiento de exámenes o de trabajos o materiales didácticos. Esta crisis se manifiesta por lo tanto, en un doble sentido:

En primer lugar, crece una desconfianza de los Docente hacia su alumnado debido a que los profesores nos enfrentamos a la sospecha de un uso de inteligencia artificial en las tareas escolares que minimiza el esfuerzo del alumnado. Tenemos que ser conscientes de que la existencia de este fenómeno no nos puede hacer abandonar todas las dimensiones de la evaluación, imprescindibles no solo para la calificación sino sobre todo para el aprendizaje.

Por otra parte, esta desconfianza tiene su espejo en el deterioro de la confianza del alumnado hacia los docentes. También los estudiantes pueden percibir un desinterés en los docentes que crean sus materiales y exámenes e incluso evalúan con Inteligencia artificial.

Cuando una revolución tecnológica como esta llega, es necesario crear nuevas costumbres, valores y reestructurar los pactos implícitos que forman parte del vínculo pedagógico. Tendremos que ser conscientes, todos los miembros de la comunidad educativa, de que quizás no es necesario crear un tabú respecto al uso de IA sino crear protocolos, usos y costumbres de cuándo y cómo usarla y cuando no, de forma que, desde unos valores compartidos, se acepte con naturalidad cuando proceda y se rechace con firmeza cuando no.

Imagen generada en imgflip.com

2. Consideraciones éticas

2.1 Introducción a la ética de la IA

Una perspectiva existencial y pedagógica

Este capítulo, dedicado a la ética en torno a la inteligencia artificial, es, como no podía ser de otra forma, un paseo por algunos de los conceptos que consideramos claves en esta transformación. Pretende ser una reflexión abierta, desde una perspectiva múltiple, que facilite a los lectores formarse su propio criterio desde sus valores personales.

La irrupción global de la inteligencia artificial no es simplemente un cambio en el paradigma del procesamiento de la información, sino que puede suponer una reconfiguración de las bases mismas de la identidad humana y de nuestra autoimagen.

La historia de los avances científicos y los cambios en nuestra cosmovisión que vienen asociados son una constante cura de humildad para la humanidad. El paso del geocentrismo al heliocentrismo, propuesto en el siglo III AC por Aristarco de Samos se consolida como cosmovisión dominante tras "De Revolutionibus Orbium Coelestium" publicada por Copernico en 1543. En este primer salto abandonamos el centro del universo para pasar a ser viajeros sobre un planeta más.

Posteriormente tras El origen de las especies (1854) de Charles Darwin dejamos de ser la cima de un plan de diseño, la más perfecta de las especies, para ser un afortunado producto de las variaciones en la replicación unidas a la presión selectiva.

¿Es posible que en un futuro no muy lejano tengamos que asumir dejar de ser la única inteligencia que conocemos? Nuestra mente singular está dotada de autoconsciencia y es un milagro de la casualidad que nos permite, entre otras cosas más profanas, comunicarnos, amar, admirar la belleza del mundo e incluso crear belleza a través de la expresión artística. 

William Blake (1795–1805). Newton  [Impresión en color, tinta y acuarela sobre papel]. Tate Britain. https://en.wikipedia.org/wiki/Newton_(Blake)

Para ver un mundo en un grano de arena

y un paraíso en una flor silvestre,

sostén el infinito en la palma de la mano

y la eternidad en una hora.

William Blake

El auge de la Inteligencia artificial ya ha destronado a los seres humanos en algunos campos en los que, hasta donde nosotros sabíamos, teníamos el monopolio. La victoria de Deep Blue frente a Kasparov en 1997 marcó el inicio de la amenaza de los algoritmos sobre nuestra primacía intelectual. La confirmación indudable llega en el duelo en el complejísimo juego oriental de "Go" en el que Alpha Go vence Lee Sedol en 2016. Estos juegos son altamente algoritmizables y no dejan de tener unas reglas definidas y lógicas que permiten una mayor facilidad para el funcionamiento de una máquina. Se puede decir que en 2016 la mente humana fue superada por los ordenadores que jugaban en su propio terreno.

La llegada de la Inteligencia Artificial Generativa nos hace sentir la amenaza en otros terrenos más indefinidos, como la creación artística, o muchos trabajos intelectuales. Es la primera vez en la historia de la humanidad que un avance tecnológico pone en cuestión el trabajo de las élites intelectuales, hasta ahora todo avance en la mecanización iba orientado a la sustitución del trabajo físico.

El empleo de la IA va a convertirnos, usando la metáfora de Cory Doctorow explicada en el punto 1.4 de este curso, bien en centauros, bien en centauros inversos. Una de las claves es identificar aquellas actividades, experiencias y vivencias que consideramos valiosas y en las que, bien porque forman parte de algo intrínsecamente humano, bien por somos superiores a la Inteligencia Artificial en su resolución, pueden constituir, en el futuro, un santuario humano.

Charla TedX de Javier Recuenco en Málaga. 20 de abril de 2024

La libertad humana y la tentación de delegar decisiones existenciales

Las dos primeras acepciones de "Libertad en la RAE" son:

1. f. Facultad natural que tiene el hombre de obrar de una manera o de otra, y de no obrar, por lo que es responsa-ble de sus actos.

   Sin.:

   • voluntad, albedrío, autodeterminación.
2. f. Estado o condición de quien no es esclavo.

   Sin.:

   • liberación.

   Ant.:

   • esclavitud.

Como toda palabra desgastada por el uso, la polisemia es muy grande y la RAE recoge hasta 12 acepciones. 

Los humanos podemos elegir y no podemos no elegir. Es frecuente la tentación de delegar nuestras elecciones, nuestra libertad, ante la incertidumbre que siempre existe respecto a las consecuencias de nuestros actos. La angustia que surge de esta libertad absoluta, "Angst" en Søren Kierkegaard, es el "vértigo de la libertad", un estado previo al pecado y a la acción, donde el ser humano se enfrenta al abismo de sus propias posibilidades.

Es el peso de saber que no existen excusas externas para nuestros actos. En la era digital, la IA se presenta como el refugio ideal contra esta angustia. Delegar decisiones críticas a un sistema algorítmico, desde la selección de personal hasta diagnósticos médicos o sentencias judiciales, permite al sujeto humano incurrir en lo que Sartre denominó "mala fe" (mauvaise foi): el intento de escapar de la responsabilidad fingiendo que uno es un objeto determinado por fuerzas externas. Esta "mauvaise foi" no es mas que una versión refinada de "la noche me confunde".

La mala fe se manifiesta cuando las instituciones o individuos afirman que una decisión es "objetiva" o "neutral" simplemente porque ha sido generada por un algoritmo. Esta ilusión de neutralidad ignora que los sistemas de IA están impregnados de los sesgos y las intenciones de sus creadores, así como de las desigualdades presentes en los datos de entrenamiento. El Reglamento Europeo de IA identifica este riesgo y establece que la IA debe ser una tecnología centrada en el ser humano, actuando como una herramienta que aumente el bienestar y no como un sustituto de la voluntad humana.

Elegir es una cualidad esencialmente humana, problemática y en ocasiones dolorosa, pero es imprescindible hacerse cargo para una vida plena.

La interacción entre la humanidad y la IA puede ser analizada a través de la dialéctica del amo y el esclavo de Hegel. En este conflicto por el reconocimiento, el amo es quien somete al otro, pero al delegar todo trabajo y contacto con la realidad en el esclavo, el amo termina por atrofiarse, volviéndose dependiente y pasivo. El esclavo, en cambio, mediante el trabajo formativo (bildung), transforma la materia y desarrolla su autoconciencia, encontrando en la actividad laboriosa el camino hacia su propia liberación, aquí la metáfora pierde poder explicativo pues una IA liberada es, de momento, ciencia ficción.

En cualquier caso, y para lo que nos ocupa, el ser humano adopta la posición del "amo" que delega todas sus facultades intelectuales, creativas y de toma de decisiones en la IA, que haría el papel de un nuevo "esclavo" cognitivo. De este modo se estanca, y pierde la capacidad de juicio crítico y de acción autónoma.

La indefensión aprendida ante los cambios tecnológicos.

La indefensión aprendida (también, desesperanza aprendida o impotencia aprendida) es un tecnicismo acuñado por Martin Seligman que se refiere a la condición de un ser humano o de un animal no humano que ha "aprendido" a comportarse pasivamente, con la sensación subjetiva de que no tiene la capacidad de hacer nada y que no responde a pesar de que existen oportunidades reales de cambiar la situación aversiva, evitando las circunstancias desagradables u obteniendo recompensas positivas.

Wikipedia. Indefensión aprendida.

La aceptación pasiva de los cambios sociales y educativos que producirá la IA no es solo un fenómeno psicológico individual, sino una construcción social. No necesariamente la humanidad tiene que elegir desarrollar y emplear todas las posibilidades y avances científicos y tecnológicos. Esta posición, lejos de ser ingenua, puede sostenerse históricamente, puesto que existen ejemplos, como el Protocolo de Montreal, donde hubo un acuerdo unánime para evitar usar ciertos productos químicos y revertir el agujero de la capa de ozono. 

Es un acto de valentía hacernos cargo de nuestro presente para construir un futuro deseable y acogedor. Podemos dirigir, hasta cierto punto, la forma en que las transformaciones tecnológicas transforman nuestra sociedad y, en particular, nuestra educación, el porvenir vendrá dado por la suma de nuestras elecciones.

La puntuación social o ciudadana

Una de las formas más extremas de control social de la conducta de los individuos es la "puntuación ciudadana" o "puntuación social" (social scoring).

Un sistema de "puntuación social" asigna puntos positivos o negativos a los ciudadanos en función de sus comportamientos y los recompensa o castiga en sus relaciones con el estado y otros agentes sociales. Por ejemplo, cruzar un semáforo en rojo puede restarte puntos. Tener un balance negativo puede dificultar tu acceso al crédito o a una beca de estudios"

Estos sistemas eran inviables hasta que nuestra capacidad para recopilar, almacenar y procesar datos se ha multiplicado exponencialmente. El Reglamento Europeo de IA prohíbe explícitamente el uso de sistemas de IA para clasificar la fiabilidad de las personas físicas basándose en su comportamiento social en contextos inconexos, ya que esto conduce a un trato discriminatorio e injustificado.

Este tipo de prácticas elimina la presunción de inocencia y la posibilidad de que el individuo se defina a sí mismo fuera de su huella digital. Es una forma oscura de gamificación de la participación ciudadana donde nuestra vida pública pasa a ser un dato a optimizar. Si la escuela es un entorno controlado donde experimentar cara a la vida adulta, debemos plantearnos, al emplear sistemas similares, que tenemos que tener en cuenta que hay muchos factores que no podemos evaluar, que no todo en el aula es un dato, y debemos ser abiertos y compasivos.

Artículo 5.1 c del Reglamento Europeo de Inteligencia Artificial

Quedan prohibidas las siguientes prácticas de IA: c) La puesta en el mercado, la puesta en servicio o la utilización de sistemas de IA para la evaluación o clasificación de personas físicas o grupos de personas durante un determinado período de tiempo en función de su comportamiento social o de sus características personales o de personalidad conocidas, deducidas o previstas, con la puntuación social que conduzca a una de las siguientes situaciones o a ambas: 
(i) trato perjudicial o desfavorable de determinadas personas físicas o grupos de personas en contextos sociales que no guardan relación con los contextos en los que se generaron o recopilaron originalmente los datos;
(ii) trato perjudicial o desfavorable a determinadas personas físicas o grupos de personas, injustificado o desproporcionado en relación con su comportamiento social o su gravedad;

Dimensiones no computables de la experiencia humana 

Otro riesgo ético de la expansión de los algoritmos y de la IA es alimentar la idea de que la realidad humana es totalmente capturable mediante los datos y la lógica matemática y reducible a ellos. Sin embargo, existen dimensiones de la existencia que son intrínsecamente no computables, pues carecen de los patrones repetitivos y las estructuras lógicas que requieren los algoritmos y trascienden esa dimensión lógica y fáctica. En esas dimensiones no computables podemos incluir  los deseos, la espiritualidad, la corporeidad, la estética, la ternura, la búsqueda del placer... Una descripción de la realidad humana en la que solo existen hechos, acciones y relaciones entre ellos, es una humanidad amputada para ser algoritmizable,

Catherine L'Ecuyer defiende la "pedagogía del asombro" como la base de todo aprendizaje auténtico. El asombro es la respuesta interna ante la belleza y el misterio de la realidad, y requiere condiciones que la IA suele destruir: silencio, calma, tiempo y respeto por los ritmos naturales. La IA opera en el ámbito de la inmediatez y el ruido informativo; sus resultados son respuestas, nunca preguntas que abran al misterio.

El conocimiento verdadero no es una acumulación de información (datos), sino un estado que transforma al sujeto. Mientras que la IA puede procesar millones de terabytes, es incapaz de experimentar el "asombro ante el universo" que define la curiosidad humana. Educar en la era de la IA implica proteger la inocencia del niño frente al bombardeo de estímulos digitales que anulan su capacidad de asombrarse por lo real.

El amor, la ternura y la compasión son experiencias que involucran la vulnerabilidad física y emocional, dimensiones que escapan a cualquier modelo predictivo. Un sistema de IA puede simular una conversación empática, pero no puede "sentir" la compasión, pues no conoce el dolor ni la finitud ni la corporeidad. La ética de la IA debe reconocer estos límites, evitando la suplantación de vínculos humanos por interfaces artificiales.

Respecto a la estética, la IA generativa puede producir imágenes estéticamente agradables mediante la combinación de patrones ya existentes, pero carece de la capacidad de crear una obra que nazca de una necesidad existencial o de un conflicto espiritual, así como tampoco puede crear un nuevo estilo. 

El arte es una forma de resistencia porque introduce la negatividad, el dolor y la ruptura en un mundo de positividad algorítmica. Mantener espacios para la creación humana no asistida por IA es una defensa de la singularidad de nuestra especie. La verdadera innovación no es hacer las cosas más rápido, sino darles un sentido profundo que trascienda la lógica del rendimiento.

Mas allá de esta perspectiva de creadores de belleza, de seres que necesitan expresarse, son valiosas también por si mismas las experiencias del disfrute de la belleza o del asombro ante las creaciones artísticas. ¿Cuántos puntos nos daria en un Class Dojo algoritmizado malgastar 1 h contemplando una escultura? ¿Y una puesta de sol?

Al ladrón
se le olvidó la luna
en la ventana

Daigu Ryokan

Principios éticos

UNESCO

En noviembre de 2021, la UNESCO elaboró la primera norma mundial sobre la ética de la IA: la "Recomendación sobre la ética de la inteligencia artificial". Los cuatro valores en los que se basa son:

1. Derechos humanos y dignidad humana
2. Vivir en sociedades pacíficas
3. Garantizar la diversidad y la inclusión
4. Florecimiento del medioambiente y los sistemas
   

Establece un enfoque de la ética de la IA centrado en los derechos humanos, establecido por 10 principios:

1. Proporcionalidad e inocuidad: el uso de sistemas de IA no debe ir más allá de lo necesario para alcanzar un objetivo legítimo. La evaluación de riesgos debe utilizarse para prevenir los daños que puedan derivarse de usos ilegítimos.

2. Seguridad y protección: los daños no deseados (riesgos de seguridad) y las vulnerabilidades a los ataques (riesgos de protección) deberían ser evitados y tomados en consideración.

3. Derecho a la intimidad y protección de datos: la privacidad debe protegerse y promoverse a lo largo de todo el ciclo de vida de la IA. También deben establecerse marcos adecuados de protección de datos.

4. Gobernanza y colaboración adaptativas y de múltiples partes interesadas: en el uso de datos, deben respetarse el derecho internacional y la soberanía nacional. La participación de diversas partes interesadas a lo largo del ciclo de vida de los sistemas de IA es necesaria para el desarrollo de enfoques inclusivos de gobernanza.

5. Responsabilidad y rendición de cuentas: los sistemas de IA deben ser auditables y trazables. Deben existir mecanismos de supervisión, evaluación de impacto, auditoría y diligencia debida para evitar conflictos con las normas de derechos humanos y amenazas al bienestar medioambiental.

6. Transparencia y explicabilidad: el despliegue ético de los sistemas de IA depende de su transparencia y explicabilidad (T&E). El nivel de T&E debe ser adecuado al contexto, ya que puede haber tensiones entre T&E y otros principios como la privacidad, la seguridad y la protección.

7. Supervisión y decisión humanas: los Estados Miembros deberían velar por que siempre sea posible atribuir la responsabilidad ética y jurídica a personas físicas o a entidades jurídicas existentes.

8. Sostenibilidad: las tecnologías de IA deben evaluarse en función de su impacto en la "sostenibilidad", entendida como un conjunto de objetivos en constante evolución, incluidos los establecidos en los Objetivos de Desarrollo Sostenible (ODS) de Naciones Unidas.

9. Sensibilización y educación: la sensibilización y la comprensión del público respecto de la IA y el valor de los datos deberían promoverse mediante una educación abierta y accesible, la participación cívica, las competencias digitales y la capacitación, y la alfabetización mediática e información.

10. Equidad y no discriminación: los actores de la IA deberían promover la justicia social, salvaguardar la equidad y luchar contra todo tipo de discriminación, adoptando un enfoque inclusivo para garantizar que los beneficios de la IA sean accesibles para todos.

OCDE

Por otro lado, la OCDE (Organización para la Cooperación y Desarrollo Económicos) propone la adopción de una serie de principios para una gestión responsable y de confianza de la Inteligencia Artificial (IA). Se trata de un instrumento jurídico no vinculante pero que representa un compromiso político de los países adherentes. Los principios de la OCDE sobre la IA se basan los valores del respeto a los derechos humanos y los valores democráticos, la inclusión, la diversidad, la equidad, la innovación y el bienestar.

Estos principios son complementarios y deben considerarse en su conjunto para promover una IA en la que se pueda confiar.

1.1. Crecimiento inclusivo, desarrollo sostenible y bienestar: Los actores interesados deben participar proactivamente en la gestión responsable de una IA fiable para buscar resultados beneficiosos para las personas y el planeta. Esto incluye potenciar las capacidades humanas, mejorar la creatividad, avanzar en la inclusión de poblaciones subrepresentadas y reducir las desigualdades económicas, sociales y de género. Asimismo, se debe proteger el medio ambiente para vigorizar el crecimiento inclusivo y la sostenibilidad ambiental.

1.2. Respeto al estado de derecho, los derechos humanos y los valores democráticos: Los actores de la IA deben respetar los derechos humanos y los valores centrados en el ser humano durante todo el ciclo de vida del sistema, incluyendo la libertad, la dignidad, la privacidad y la justicia social. Es fundamental abordar la desinformación y la información errónea amplificadas por la IA, respetando siempre la libertad de expresión. Para ello, se deben implementar mecanismos de supervisión humana y salvaguardias contra el uso indebido, ya sea intencionado o no.

1.3. Transparencia y explicabilidad: Los actores deben comprometerse con la divulgación responsable proporcionando información que fomente la comprensión general de las capacidades y limitaciones de los sistemas. Se debe informar a las personas cuando estén interactuando con sistemas de IA y, siempre que sea posible, ofrecer información clara sobre los datos y procesos que conducen a un resultado o decisión específica. Esto permite que quienes se vean afectados negativamente por un sistema puedan impugnar sus resultados.

1.4. Robustez, seguridad y protección: Los sistemas de IA deben ser robustos y seguros para que, en condiciones de uso normales o ante usos indebidos previsibles, no supongan riesgos de seguridad irrazonables. Deben existir mecanismos para anular, reparar o desactivar de forma segura los sistemas si presentan comportamientos no deseados o riesgos de daño. Además, se deben aplicar medidas para reforzar la integridad de la información respetando la libertad de expresión.

1.5. Responsabilidad: Los actores de la IA son responsables del correcto funcionamiento de los sistemas y del cumplimiento de los principios mencionados según su rol y contexto. Deben garantizar la trazabilidad de los conjuntos de datos y los procesos de decisión para permitir su análisis posterior. Finalmente, deben aplicar un enfoque sistemático de gestión de riesgos en cada fase del ciclo de vida de la IA para abordar sesgos perjudiciales y proteger los derechos humanos y la propiedad intelectual.

2.2 Veracidad: sesgos, alucinaciones y deepfakes

El uso de sistemas de inteligencia artificial plantea importantes cuestiones relacionadas con la fiabilidad de la información que producen: pueden incorporar sesgos, producir alucinaciones y también facilitar la creación de contenidos manipulados, como los deepfakes, que imitan de forma convincente imágenes, voces o vídeos de personas reales. Todo ello hace necesario analizar con atención la veracidad de los contenidos generados por la IA y fomentar un uso crítico de estas herramientas, especialmente en el ámbito educativo.

Sesgos y discriminación

Un sesgo puede entenderse como una tendencia a favorecer o perjudicar a alguien o algo de manera sistemática.

En la vida cotidiana, los sesgos aparecen cuando nuestras decisiones o juicios no son completamente neutrales, sino que están influidos por experiencias previas, estereotipos o información incompleta. Por ejemplo, si una persona cree que los estudiantes que hablan más en clase son siempre los que mejor aprenden, podría valorar más sus intervenciones y prestar menos atención a quienes participan menos, aunque estos también comprendan bien el contenido.

Cuando hablamos de sesgos en la inteligencia artificial, nos referimos a algo similar: los sistemas de IA pueden producir resultados que favorecen o perjudican a determinados grupos de personas, categorías, resultados o situaciones de forma sistemática, generando errores recurrentes en las predicciones o decisiones automatizadas.

Esto ocurre porque los algoritmos aprenden a partir de datos generados por personas y por la sociedad, que ya pueden contener desigualdades o representaciones incompletas de la realidad. Como resultado, la IA puede reproducir o amplificar esas tendencias, perpetuando esas disparidades o estereotipos sociales existentes. 

El origen de los sesgos en la inteligencia artificial es multifacético y puede surgir en diferentes etapas del proceso de creación y uso de un sistema. Ferrara (2023) distingue principalmente tres orígenes:

1. Sesgo de datos: ocurre cuando los datos utilizados para entrenar los modelos no son representativos o están incompletos. Esto sucede si los datos provienen de fuentes ya sesgadas, contienen errores o carecen de información importante sobre ciertos grupos. Los modelos de aprendizaje automático aprenden y replican estos patrones de sesgo presentes en los datos de entrenamiento. Por ejemplo, según el informe de la OCDE los modelos de IA suelen basarse de forma abrumadora en culturas occidentales y de habla inglesa, perjudicando especialmente a hablantes de otras lenguas y dialectos específicos y silenciando realidades o valores que no resultan convenientes para los intereses de quienes programan el algoritmo. 
   
   Dentro de este tipo de sesgo, podemos integrar el sesgo histórico, que aparece cuando los datos reflejan desigualdades del pasado y estas se trasladan a las decisiones automatizadas.
   
   
2. Sesgo algorítmico: este sesgo es inherente al diseño e implementación del algoritmo. Surge cuando los algoritmos se basan en suposiciones sesgadas o utilizan criterios que priorizan ciertos atributos de manera que generan resultados injustos. Es decir, cuando el propio diseño del sistema favorece ciertos resultados.
   
   
3. Sesgo del usuario: se produce cuando las personas que utilizan los sistemas introducen sus propios prejuicios de forma consciente o inconsciente. Esto puede ocurrir al proporcionar datos de entrenamiento sesgados por parte de la persona que desarrolla el sistema o por el propio usuario en sus interacciones con la IA, de manera que reflejen sus prejuicios personales. 

Además, en el artículo de Jeff Shuford, encontramos una tabla donde se describen los siguientes tipos de sesgos:

En la siguiente imagen no sólo percibimos el sesgo generativo, sino también un sesgo de idioma ya que probablemente el modelo se entrenó en lengua inglesa donde "teacher" no tiene género. 

Imagen generada con Bing Image Creator (2023)

En relación a este último sesgo y los modelos de IA generativa (IAGen), es menester mencionar de forma explícita las siguientes problemáticas derivadas del mismo:

• Amplificación de Estereotipos: Los modelos de IAGen pueden reproducir y amplificar estereotipos sociales al generar contenido. Por ejemplo cuando la IA representa sistemáticamente a las enfermeras como mujeres y a los doctores como hombres.
• Riesgo de las Realidades Sintéticas: Se advierte que, a medida que avanzamos en la creación de realidades sintéticas cada vez más sofisticadas, existe el peligro de que sesgos sutiles se infiltren y moldeen la sociedad de formas no deseadas y potencialmente dañinas.
• Impacto de los Datos de Internet: Los modelos de IAGen entrenados con imágenes o textos extraídos de internet suelen heredar las disparidades existentes en el mundo real, lo que contamina sus resultados generados.

Como docentes, es importante añadir el sesgo de automatización: tendencia humana a favorecer las sugerencias de los sistemas IA e ignorar el resto.

El impacto de estos sesgos es profundo, ya que pueden perpetuar desigualdades sociales, reforzar estereotipos dañinos y limitar el acceso a servicios esenciales como la salud o el empleo.

Según la OCDE, aproximadamente cuatro de cada diez docentes temen que la IA pueda amplificar sesgos que refuercen conceptos erróneos en los estudiantes. 

El algoritmo tiene el poder de iluminar partes de la realidad y dejar a oscuras, silenciadas, realidades no convenientes a los intereses que lo programan.

Tres proyecciones de una misma realidad

Como vemos, esto no es solo debido a unas malas intenciones del diseñador sino también a la cantidad histórica de datos estructurados generados por cada uno de los sectores de la sociedad en función de su riqueza, país de origen o de razones históricas. El riesgo socioeducativo es la desmaterialización de la diversidad.

Si bien es cierto, como docentes debemos tener en cuenta que toda selección de contenidos, parte de un sesgo, o, al menos, de una perspectiva y todos los docentes seleccionamos en un océano infinito de contenidos aquellos que trabajamos con nuestro alumnado. Para ello disponemos del currículo pero también de nuestra perspectiva personal y humana en ese tercer nivel de concreción que es nuestra programación de aula. Si bien parece inevitable partir de un cierto sesgo, si se pueden valorar los objetivos y motivaciones de cada selección de información. 

El abordaje del análisis crítico de los sistemas inteligentes implica partir del hecho de que los datos y los algoritmos no vienen dados, responden a los contextos históricos, políticos, sociales, culturales de su producción y existe una dimensión subjetiva tanto en la producción como en la mediación algorítmica (Martins 2024).

Alucinaciones

Además de los sesgos, otro aspecto importante que afecta a la fiabilidad de los sistemas de inteligencia artificial es su capacidad de generar información incorrecta que parece plausible. Mientras que los sesgos se refieren a tendencias sistemáticas que pueden favorecer o perjudicar determinados resultados o grupos de personas, los sistemas de IA generativa también pueden producir afirmaciones, datos o referencias que no son verdaderos. Este fenómeno se conoce como alucinaciones de la inteligencia artificial.

Podemos definir las alucinaciones como los contenidos generados por la IA que parecen coherentes y convincentes, pero que en realidad son inventados o no están respaldados por información verificable. 

Este fenómeno ocurre porque los sistemas de IA generativa no "entienden" realmente la información que procesan, sino que generan contenido basándose en patrones estadísticos.

Un ejemplo que se hizo viral fue el caso Mata y la aerolínea Avianca en 2023:

El abogado de un hombre que demandó a una aerolínea por daños personales utilizó ChatGPT para preparar una presentación, pero el bot de inteligencia artificial entregó casos falsos que el abogado presentó después ante el tribunal, lo que llevó a un juez a considerar sanciones mientras la comunidad jurídica lidia con uno de los primeros casos de "alucinaciones" de IA que hacen acto de presencia en los tribunales.

Revista Forbes Argentina

Este tipo de errores pone de relieve la importancia de verificar siempre la información producida por sistemas de IA antes de utilizarla como fuente.

El fenómeno de las alucinaciones en la IA representa un desafío profundo para la verdad educativa, ya que estos sistemas están diseñados para priorizar la verosimilitud sobre la veracidad. Como advierte la OCDE (2026), estos modelos pueden generar información que resulta totalmente plausible y bien estructurada pero que es fundamentalmente errónea, llegando incluso a fabricar citas bibliográficas inexistentes. Esto crea una suerte de "caverna digital" donde alumnado y docentes pueden terminar interactuando con "sombras lingüísticas": proyecciones estadísticas de textos que no tienen nada que ver con la realidad del mundo.

Imagen de @philosophymeme0 

En contextos educativos es imprescindible tener este fenómeno en cuenta, ya que premisa falsa introducida por la IA puede descarrilar todo el proceso de aprendizaje de un estudiante.

Aceptar estos resultados sin un filtro riguroso transforma el aula en un espacio de "infodemia", donde el tsunami de datos desaloja la acción racional y la comprensión profunda.

Para contrarrestar este riesgo, los docentes debemos tratar de ser el último "guía de la razón humana", ejerciendo su juicio profesional para validar y respaldar cada resultado antes de que sea integrado en el proceso de aprendizaje. El objetivo es que nuestro alumnado no caiga en una confianza ciega en la "razón" algorítmica (sesgo de automatización), a través de una alfabetización crítica que permita usar la IA como un amplificador del saber humano.

Pieter Brueghel el Viejo (1568). La parábola de los ciegos [ Óleo sobre tabla].  Museo di Capodimonte de Nápoles https://es.wikipedia.org/wiki/La_par%C3%A1bola_de_los_ciegos

Dejadlos: son ciegos que guían a ciegos. Y si un ciego guía a otro ciego, los dos caerán en el hoyo

Mateo 15, 14.

Además, para mitigar las alucinaciones, la OCDE alude al uso de técnicas como la Generación Aumentada por Recuperación (RAG), que ancla las respuestas en bases de datos confiables como libros de texto, y de la que hablaremos en el curso 2 de este itinerario "IA y diseño curricular". Por otro lado, algunos enfoques pedagógicos proponen permitir que los docentes ajusten el "porcentaje de alucinación" de las herramientas para fomentar el pensamiento crítico de los alumnos al obligarlos a verificar la información.

Comprender los tipos de sesgo y las alucinaciones es fundamental para analizar críticamente el funcionamiento y uso de la IA especialmente en contextos como la educación, donde la veracidad de la información es esencial.

Deepfakes

Las tecnologías de la IA desempeñan una función cada vez más importante en el procesamiento, la estructuración y el suministro de información; las cuestiones del periodismo automatizado y del suministro algorítmico de noticias y la moderación y la conservación de contenidos en los medios sociales y los buscadores son solo algunos ejemplos que plantean cuestiones relacionadas con el acceso a la información, la desinformación, la información errónea, el discurso de odio, la aparición de nuevas formas de narrativa social, la discriminación, la libertad de expresión, la privacidad y la alfabetización mediática e informacional, entre otras (UNESCO 2022).

Aunque la desinformación no es un fenómeno nuevo, la IA permite producirla a gran escala y con menor esfuerzo, lo que incrementa el riesgo de que los usuarios compartan contenidos sin comprobar su autenticidad. Los sistemas de IA pueden generar textos, imágenes, audios o vídeos con gran apariencia de realismo, lo que facilita la producción y difusión de contenidos engañosos. En el contexto digital actual, donde gran parte de la información circula a través de redes sociales y plataformas en línea, esta capacidad puede contribuir a la propagación de noticias falsas (fake news) o contenidos manipulados que resultan difíciles de distinguir de la información verificada.

Un caso especialmente relevante es el de los deepfakes, es decir, vídeos, imágenes o audios generados o manipulados mediante IA que imitan de manera muy convincente la apariencia o la voz de una persona real. Es decir, la IAGen permite crear imágenes, vídeos o audios falsos que pueden representar a una persona diciendo o haciendo algo que nunca ocurrió. Estos contenidos pueden utilizarse con fines humorísticos o creativos, pero también para difundir desinformación, suplantar identidades o manipular la opinión pública. 

Aquí puedes consultar imágenes deepfakes que se hicieron virales en 2023 como este vídeo de un supuesto Morgan Freeman:

Además, la creciente sofisticación y el avance de estas tecnologías hace cada vez más complicado detectar las manipulaciones únicamente mediante la observación directa, por lo que se vuelve necesario desarrollar herramientas técnicas y competencias críticas para evaluar la credibilidad de la información.

Comparison AI of Will Smith eating spaghetti from 2023 vs 2026 is going viral pic.twitter.com/nS1Dl49irC

— kira 👾 (@kirawontmiss) February 12, 2026

Conviene destacar a este respecto, que la Ley de IA introduce obligaciones de informar que un contenido está hecho con IA cuando pueda surgir un riesgo por falta de transparencia en torno a su uso:

En algunos casos, el resultado de la IA generativa debe estar visiblemente etiquetado, como en el caso de los «deepfakes» y los textos destinados a informar al público sobre asuntos de interés público.

En el ámbito educativo, estas cuestiones tienen implicaciones importantes: puede derivar en situaciones graves como la creación y difusión de contenidos manipulados de alumnado o profesorado, incluidos montajes de carácter sexual o desnudos falsos, que se comparten rápidamente a través de redes sociales o por WhatsApp. Este tipo de prácticas puede convertirse en una forma de ciberacoso, con consecuencias psicológicas, sociales y reputacionales muy serias para las personas afectadas.

En la siguiente gráfica del estudio “Hand in Hand: Schools’ Embrace of AI Connected to Increased Risks to Students”, vemos cómo los deepfakes son un tema destacado en los centros educativos con una creciente conciencia entre las familias:

Hand in Hand: Schools’ Embrace of AI Connected to Increased Risks to Students

*NCII: Non Consensual Intimate Image. Difusión no consentida de imágenes íntimas.

Por ello, los centros educativos se enfrentan al reto de prevenir, detectar y abordar estas situaciones, promoviendo una educación digital responsable, el respeto a la privacidad y la conciencia sobre las implicaciones éticas y legales del uso de estas tecnologías.

En este sentido, conviene hacer consciente tanto al profesorado como al alumnado del derecho de imagen, (lo veremos en el capítulo cuatro de este curso), ya que:

La ley prohíbe captar, difundir o utilizar la imagen de alguien sin su consentimiento expreso, y esto incluye modificar una fotografía mediante herramientas de inteligencia artificial, crear montajes o aplicar filtros sobre la imagen de alguien sin su autorización, aunque sea sin mala intención.

Además, la educación debe reforzar el desarrollo de competencias de alfabetización mediática y digital, que incluyan la capacidad de contrastar fuentes, identificar señales de desinformación y analizar críticamente los contenidos generados por IA..

En commonsense.org hay una página destinada a IA y centros educativos con diversos juegos; concretamente aquí puedes seleccionar edades y nivel de juego para adivinar qué cartel de película ha sido creado o generado por IA.

En esta página puedes jugar a adivinar qué persona es real y cuál ha sido generada por IA

Puntos clave

1. La supervisión humana se considera el salvaguarda ético fundamental para corregir la deriva lógica y las inexactitudes de la IA.
2. Siempre se ha de evaluar cualquier resultado generado por la IA, tanto para respaldarlo como para rechazarlo o modificarlo, asegurándonos en el ámbito educativo de la calidad pedagógica que aporta.
3. Aprender a evaluar la veracidad de la información se convierte en una habilidad clave para participar de manera informada y responsable en la sociedad digital.

Así pues, es vital desarrollar la "alfabetización en IA" tanto en alumnado como en profesorado para que puedan evaluar críticamente la credibilidad de la información y reconocer sesgos potenciales. Y por supuesto, para ello es necesario que haya un desarrollo del pensamiento crítico a través del fomento de lo que Maryanne Wolf denomina como lectura profunda (deep Reading).

Lectura profunda es el estado en el que usamos la corteza cerebral para realizar analogías e inferencias. Este proceso es fundamental para desarrollar un pensamiento crítico y analítico; sin él, solo se obtiene información superficial. Cuando se logra fluidez, el cerebro utiliza rutas más rápidas y eficientes, lo que libera tiempo para generar pensamientos más profundos e integrar sentimientos con la experiencia personal. Si dejamos de practicarla, podríamos perder la capacidad de comprender contenidos complejos y de involucrar nuestra imaginación.

2.3 Propiedad intelectual

Introducción

El uso de herramientas de inteligencia artificial generativa plantea nuevos interrogantes respecto a la propiedad intelectual. Para abordar estas cuestiones, conviene tener claros algunos conceptos que exponemos a continuación:

Toda obra o contenido está protegido por la propiedad intelectual correspondiente, ya que ésta se reconoce como un derecho fundamental en la Declaración de Derechos Humanos de 1948 (art. 27.2), protegiendo así a los creadores y permitiéndoles generar ingresos por sus creaciones, posibilitando de esta manera, que puedan dedicarse a ello. 

Pero, ¿qué es exactamente la propiedad intelectual? El Ministerio de Cultura y Deporte la define como el conjunto de derechos que corresponden a los autores y a otros titulares (artistas, productores, organismos de radiodifusión...) respecto de las obras y prestaciones fruto de su creación.

Los derechos de autor pueden definirse como aquellos derechos que corresponden a la persona que crea alguna obra artística, literaria o científica, haya sido publicada o no. Existen dos tipos de derechos: los derechos morales y los derechos patrimoniales. 

Derechos morales

Son derechos irrenunciables e inalienables, es decir, que no se pueden ceder. Entre ellos, destaca el derecho al reconocimiento de la condición de autor de la obra y el de exigir el respeto a la integridad de la misma y la no alteración de las mismas. Por ejemplo, El club de la lucha es una novela de Chuck Palahniuk y él es quien decide si se hace una adaptación al cine de la obra o no, y siempre se le reconocerá como el autor de la obra original. 

Derechos patrimoniales

Son la base de la remuneración del autor; es decir, estos derechos son los que juegan un papel económico en la propiedad intelectual, y a diferencia de los derechos morales, se pueden ceder y tienen fecha de caducidad (70-80 años tras la muerte del autor). Cuando este plazo ha expirado, la obra pasa a ser de dominio público, pudiendo ser utilizada por cualquiera de forma libre y gratuita siempre y cuando se respeten los derechos morales. 

Para aclarar esto, la sinfonía no.7 de Beethoven puede ser utilizada por cualquiera porque han pasado más de 70 años de la muerte del autor y ha pasado a ser de dominio público, pero nunca podremos decir que la hemos compuesto nosotros, siempre será de Beethoven. Aquí habría que aclarar que, se trata de la composición en sí misma, ya que cualquier edición o grabación puede estar sujeta a derechos patrimoniales de, por ejemplo, los intérpretes.

Cuando hablamos de derechos patrimoniales y de utilizar una obra, nos referimos a los usos públicos que se pueden realizar de la misma: reproducción, distribución, comunicación pública y transformación (derechos de explotación).

Reproducción. Es la fijación de la obra en un medio que permita su comunicación y la obtención de copias de toda o parte de ella. Para descargar, fotocopiar o digitalizar una obra es necesario liberar el derecho de reproducción. 

Distribución. Es la distribución de esas copias, ya sea a través de su venta al público, alquiler, préstamo, o facilitándolas a través de un pendrive u otros medios.

Comunicación pública. Todo acto en el que un grupo de personas tiene acceso a la obra sin la previa distribución de ejemplares a cada una (excepto en el ámbito estrictamente doméstico): conciertos, publicación en la red, radiodifusión, proyección de una película, de un audio...

Transformación. Adaptación o modificación de la que se deriva una obra diferente. Los derechos de la obra derivada corresponderán al autor de esta última, sin perjuicio de los derechos del autor de la obra preexistente.

Es decir, para poder hacer uso de una obra protegida debemos tener la autorización del autor, que es quien tiene la propiedad de esa obra y sus derechos de explotación.

Dicho esto, comenzamos con la primera cuestión que se plantea:

Datos de entrenamiento de la IA

Como explica la UNESCO en su guía (2024), los modelos de IAGen se construyen a partir de grandes cantidades de datos (tales como texto, sonidos, código e imágenes), frecuentemente obtenidos de Internet y, habitualmente, sin permiso  de ningún propietario. Es decir, los autores de esas obras no han dado su consentimiento explícito para que sus creaciones se utilicen en el entrenamiento de estos modelos.

También implica que como usuario, no debes introducir obras protegidas con copyright en ningún modelo. Por ejemplo, si encuentras una imagen en internet que no tiene ninguna licencia, como las de Creative Commons, significa que está protegida, y por tanto no debes descargarla ni copiarla, ya que estarías haciendo uso del derecho de reproducción.

Esto ha generado controversias legales y éticas, así como demandas judiciales en distintos países. Muchos sistemas de IAGen han sido acusados de violar derechos de propiedad intelectual. De hecho, existen varias demandas internacionales en curso en relación con la cuestión, por ejemplo la que permanece sobre Suno AI (noticia)

Los críticos argumentan que este uso de contenidos protegidos vulnera los derechos de los creadores, mientras que las empresas desarrolladoras suelen defender que se trata de un uso legítimo para el aprendizaje automático o que está amparado por excepciones legales relacionadas con la minería de datos.

Para aclarar esto último, citaremos a Andrés Guadamuz:

En la UE desde 2019 existe la directiva del Mercado Único Digital, que en su artículo 3 dice que permite la extracción, lectura o minado de datos con fines científicos; en el artículo 4 permite el minado de datos con cualquier fin siempre y cuando se respete la reserva de derechos que se ha realizado. 

Recomendamos ver el siguiente vídeo completo, donde Andrés Guadamuz, profesor universitario especialista y derecho e IA, participa en una mesa redonda junto con Ainara LeGardon, artista multidisclinar e investigadora de propiedad intelectual y Jonás Trueba, cineasta y escritor, en la que abordan multitud de cuestiones interesantes relativas a este tema.

Actualmente, la regulación de estas prácticas se encuentra en evolución, especialmente en el contexto europeo, donde se están desarrollando marcos normativos específicos para la inteligencia artificial y el uso de datos en el entrenamiento de modelos.

Aquí puedes leer el capítulo sobre Derechos de Autor del Código de Buenas prácticas de IA destinado a la industria para que cumpla las obligaciones legales en los modelos de IA de uso general.

Hemos hablado de las obras con las que se entrenan los modelos, pero, ¿qué ocurre con la propiedad intelectual de la obra que genera el modelo? 

Autoría de las obras generadas con IA: interacción humano-máquina

Una de las principales cuestiones es determinar quién es el autor de una obra generada con inteligencia artificial. Los sistemas de IA no pueden ser considerados autores en sentido jurídico, ya que la legislación sobre propiedad intelectual reconoce la autoría únicamente a las personas físicas. Por tanto, una obra generada mediante una herramienta de IA no puede tener como titular de derechos a la propia máquina.

Cuando una persona utiliza una herramienta de IA como apoyo para producir un texto, una imagen, un audio o cualquier otro contenido, se considera que existe una interacción humano-máquina. En este caso, los derechos sobre el resultado pueden corresponder al usuario, siempre que haya aportado una contribución creativa suficiente.

No obstante, también influyen los términos de uso y las condiciones de la herramienta utilizada, ya que algunas plataformas establecen reglas específicas sobre la propiedad o reutilización de los contenidos generados. Por este motivo, es importante revisar las condiciones de uso antes de emplear estas herramientas en contextos educativos o profesionales.

En paralelo, están surgiendo adaptaciones de licencias abiertas, como las de Creative Commons, pensadas para obras en cuya creación ha intervenido la inteligencia artificial. Estas iniciativas buscan facilitar la reutilización de contenidos generados con IA manteniendo principios de transparencia y atribución.

Transparencia: etiquetar contenidos generados con IA

Para contribuir a la transparencia, es necesario identificar o etiquetar los contenidos creados con inteligencia artificial. Además, esta práctica evita confusiones sobre la autoría real del material y permite valorar adecuadamente el grado de intervención humana en el proceso.

Por ejemplo, Juan José de Haro propone diferentes niveles de integración de la IA generativa en las tareas educativas.

Niveles de integración de la IA generativa

Indicar el nivel de intervención de la IA permite contextualizar la obra y mantener buenas prácticas en materia de integridad académica y propiedad intelectual.

Autoría de los prompts o instrucciones

Otra cuestión que ha surgido recientemente es si los prompts o instrucciones que se introducen en un sistema de IA pueden considerarse obras protegidas por derechos de autor.

En general, un prompt simple (por ejemplo, una instrucción breve) no suele cumplir los requisitos de originalidad necesarios para ser protegido. Sin embargo, prompts complejos o elaborados, que impliquen un proceso creativo significativo, podrían llegar a considerarse creaciones intelectuales y, por tanto, estar protegidos por derechos de autor, pero este debate está todavía abierto.

Para terminar...

En conjunto, la relación entre propiedad intelectual e inteligencia artificial se encuentra todavía en construcción. Ademas ha de tenerse en cuenta que la legislación de propiedad intelectual es territorial, y los sistemas IA operan a nivel mundial.

En el informe sobre los derechos de autor e IA generativa: oportunidades y desafíos del Parlamento Europeo, podemos leer como se advierte de la ausencia de un marco jurídico claro que regule el uso de obras protegidas para las fases de desarrollo de los modelos de IAG. 

Por ello, en el ámbito educativo resulta especialmente importante fomentar la transparencia en el uso de estas herramientas, el respeto por la autoría y el conocimiento de las normas básicas de propiedad intelectual, para garantizar un uso responsable y ético de la IA.

Para saber más te recomendamos los podcasts de Ainara LeGardon sobre Inteligencia Artificial y Propiedad intelectual, disponibles aquí.

2.4 Medioambiente

Introducción

Como toda actividad humana, la revolución inducida por la adopción masiva de la Inteligencia Artificial tienen una huella medioambiental que tiene dos polos opuestos, pues tiene un coste directo por su funcionamiento y construcción y unos beneficios indirectos por influir aumentando la eficiencia de otras actividades económicas. 

Por un lado, la expansión de la infraestructura asociada a esta tecnología genera un coste medioambiental directo, primero en la construcción de instalaciones y en el entrenamiento (una sola vez) y, después, en los diferentes usos, el llamado coste en inferencia.

Esta huella medioambiental se concreta en términos de consumo energético, en términos de consumo de agua, en contaminación en uso de recursos naturales y en ocupación del territorio. Esto no es algo sorprendente pues es algo que sucede con todas las actividades económicas y lo que cada sociedad debe valorar es su punto de equilibrio en el balance entre todos los factores, incluyendo el desarrollo económico.

Por otra parte, el empleo de inteligencia artificial para transformar procesos productivos y logísticos puede de forma indirecta, propiciar o favorecer un impacto ambiental positivo mediante el ahorro energético, de agua, de recursos, la mejora de los procesos de reciclaje o impulsando avances científicos y tecnológicos que aporten en estos y otros campos. Estos beneficios indirectos tienen que ser valorados en la balanza anteriormente citada.

Tenemos ante nosotros un nuevo dilema similar a los anteriormente presentados, esta vez en este campo. Por un lado, se presenta como una herramienta sin precedentes para la optimización de recursos y la mitigación del cambio climático. Por otro, su infraestructura subyacente impone una presión sobre los sistemas energéticos e hídricos globales.

Análisis energético de la computación avanzada

La inteligencia artificial, especialmente cuando hablamos de aprendizaje profundo y de modelos generativos, posee un perfil energético que se diferencia cualitativamente de la informática tradicional.

Mientras que en las tareas de oficina o la navegación web convencional se basan en procesos deterministas con baja densidad de cómputo, la IA depende de la manipulación de miles de millones de parámetros en arquitecturas de redes neuronales que generan un calor residual masivo y requieren un alimentación energética constante y una permanente necesidad de refrigeración.

La infraestructura del centro de datos moderno

Los centros de datos han evolucionado para albergar unidades de procesamiento gráfico (GPU) y unidades de procesamiento tensorial (TPU), que son el hardware mas eficiente para la IA. A diferencia de las unidades centrales de procesamiento (CPU) tradicionales, las GPUs están diseñadas para el cálculo paralelo masivo, lo que genera una densidad térmica extremadamente alta. Un rack de servidores convencional suele operar a una potencia de 7 a 10 kW, pero los racks dedicados a la IA están alcanzando densidades de 30 a 100 kW, e incluso se proyectan sistemas de hasta 600 kW para finales de la década.

Potencia necesaria¹

La eficiencia de estas instalaciones se mide a través del PUE (Power Usage Effectiveness), que es la relación entre la energía total consumida por el edificio y la energía que realmente llega a los equipos informáticos. La PUE siempre es mayor que 1, cuando más próxima a 1 es, mas eficiente es la instalación. Un PUE de 1.1 significa que por cada vatio dedicado a procesar datos, se necesitan 0.1 vatios adicionales para refrigeración e iluminación. Aunque las grandes tecnológicas han logrado reducir el PUE a niveles cercanos a 1.1 en sus instalaciones más modernas, el crecimiento exponencial del volumen de datos anula estas ganancias de eficiencia marginal. ¹

Del entrenamiento a la inferencia

Entrenar un gran modelo de lenguaje (LLM) requiere una cantidad grande de energía, sin embargo, es un consumo que se hace una sola vez. Por ejemplo, el entrenamiento de GPT-4 requirió aproximadamente 50 Gigavatios-hora (MWh). España consume anualmente en torno a 250 000 GWh, 5000 veces más, por lo que este entrenamiento, que recordemos que sólo se produce una vez para cada modelo, no parece un coste muy grande en comparación con nuestra capacidad de generación.

Una mayor huella energética está asociada al uso diario en inferencia, veamos en algunas tablas, procedentes de este estudio, algunos valores cotidianos comparados con los de GPT-4²

Fuente: How Hungry is AI? Benchmarking Energy, Water, and Carbon Footprint of LLM Inference

Como vemos, el consumo global anual de todo GPT4 equivale a 35 000 viviendas en USA y su huella de carbono es la de 30 000 coches de gasolina.

Impacto en la infraestructura de red y precios locales de energía

La demanda de energía de los centros de datos está creciendo a un ritmo que supera la capacidad de expansión de las infraestructuras de transmisión. En Estados Unidos, las empresas de servicios públicos recibieron solicitudes de interconexión por más de 700 gigavatios (GW) en 2025, superando el consumo total del país en 2023. Cabe destacar que el tiempo necesario para ampliar estas infraestructuras es muy alto, pues incluye los tiempos administrativos de permisos de conexión, los análisis de impacto y un largo etc. Estos tiempos no permiten la adaptación con agilidad de las redes de distribución a la demanda de los centros de datos por lo que, si bien hemos visto que globalmente no parece un problema ahora el coste total, si puede ser un problema local la distribución de esta energía eléctrica, pudiendo afectar al coste de la energía doméstica, siempre en función de la normativa que regule el precio final del consumidor.

El consumo de agua: Refrigeración e impacto hídrico

La IA no solo consume electricidad, sino que también consume agua. El calor generado por los procesadores de alta densidad debe ser extraído para evitar fallos catastróficos. El agua es el medio de transporte de calor más eficiente económicamente, pero su uso genera una competencia directa con el consumo humano industrial y agrícola.

Huella hídrica directa e indirecta

La huella hídrica de la IA se divide en dos:

1. Uso directo: El agua evaporada en las torres de refrigeración de los propios centros de datos.

2. Uso indirecto: El agua consumida por las centrales eléctricas para enfriar sus propios procesos de generación de energía. Este volumen es mucho mayor, pudiendo suponer el 90% del gasto de agua.

Este consumo de agua por parte de la IA es una de las consecuencias menos visibles pero más geográficamente sensibles. Como hemos visto, los centros de datos de IA albergan racks de GPU que operan con densidades de potencia  muy por encima de los de los servidores tradicionales. Disipar este calor requiere sistemas de gestión térmica que, en su mayoría, dependen de la evaporación de agua dulce. El consumo de agua de estos sistemas de refrigeración puede dividirse entre 3 con el empleo de sistemas de circuito cerrado con un coste un poco mayor, lo que mitiga mucho el impacto ambiental y social.

Medidas para paliar el consumo: Efectividad y eficiencia

Ante este panorama, la industria tecnológica no es indiferente. Se están implementando estrategias para mitigar estos efectos, aunque su eficacia a menudo se ve superada por el crecimiento neto de la demanda y de los servicios.

Innovaciones tecnológicas en infraestructura para el ahorro de agua

• Refrigeración Líquida Directa (DLC): En lugar de enfriar el aire de la sala, se circulan líquidos refrigerantes directamente sobre los chips. Esto permite que los procesadores operen a temperaturas más altas de forma segura y reduce la necesidad de evaporar agua en torres externas.

• Aprovechamiento del Calor Residual: Algunos centros de datos en Europa están comenzando a inyectar el calor excedente de sus servidores en las redes de calefacción urbana de las ciudades cercanas, transformando un residuo ambiental en un recurso comunitario, en un sistema similar a las centrales de cogeneración.

• Localización Inteligente: La relocalización de centros de datos hacia regiones con climas más fríos (como los países nórdicos o el norte de España) y con redes eléctricas descarbonizadas (zonas eólicas como Aragón) puede reducir el impacto tanto en huella.de carbono en un 73% como el hídrico directo e indirecto.

Mejoras de la eficiencia debido a procesos mejorados por IA

A pesar de su coste directo, la IA tiene una cualidad, es lo que los economistas llaman una "tecnología de utilidad general". Al igual que la electricidad en el siglo XIX, la IA puede optimizar otros sistemas de tal manera que el ahorro neto de recursos en la economía global supere su propio coste energético.

Las Tecnologías de utilidad general (GPT, por sus siglas en inglés de General purpose technologies) son tecnologías que pueden afectar una economía entera (normalmente a nivel nacional o global). Las GPT tienen el potencial de alterar drásticamente las sociedades a través de su impacto en las estructuras económicas y sociales preexistentes. Ejemplos de GPT son la máquina de vapor, el ferrocarril, la electricidad, la electrónica, los mecanizados, el automóvil, la informática e Internet.

Wikipedia. Tecnología de utilidad general

Eficiencia energética

Existe un consenso creciente sobre la capacidad de la IA para acelerar la descarbonización de otros sectores. La IA puede, por ejemplo, diseñar nuevos materiales para paneles solares más eficientes, predecir con exactitud fallos en turbinas eólicas o mejorar los sistemas de control de las redes eléctricas, permitiendo una mayor participación de las energías renovables en el pool.

Es fácil imaginar sistemas de control de iluminación o de calefacción gestionados con IA que dirijan la energía solo donde es necesaria con un potencial de ahorro enorme.

Contaminación: Eficiencia agrícola e industrial como factor beneficioso

La IA está transformando los sectores más pesados de la economía en sistemas más delgados y precisos, reduciendo la contaminación química y biológica.

En el sector agrícola, la IA permite transitar de un modelo de "rociado masivo" a uno de "intervención precisa", reduciendo el uso de químicos tóxicos en porcentajes significativos y disminuyendo la contaminación de los acuíferos por escorrentía. Puede verse un ejemplo en este video

An NVIDIA powered farming machine uses Al vision and precision lasers to eliminate weeds in milliseconds without herbicides and without harming crops, a potential shift toward chemical free agriculturehref="https://t.co/aIbDWseMjD">pic.twitter.com/aIbDWseMjD

— Massimo (@Rainmaker1973) March 4, 2026

• Reducción de Insumos: La IA puede reducir el uso de fertilizantes y pesticidas al analizar la salud del suelo a nivel de metro cuadrado, no de hectárea.

• Optimización Hídrica: Sensores inteligentes conectados a modelos de IA pueden mejorar el rendimiento de los cultivos mientras reducen el desperdicio de agua mediante un riego basado en datos meteorológicos y de humedad real.

En la manufactura, la IA facilita la transición hacia la economía circular. Las empresas pueden ahora simular procesos para minimizar el desperdicio de materiales antes de producir una sola pieza física. La adopción de IA generativa en la cadena de suministro ha demostrado reducciones de hasta el 15% en los costes logísticos y una disminución del 35% en los niveles de inventario innecesario, lo que significa menos productos fabricados que terminan en vertederos.

Disminución de bienes no utilizados por mejoras en la cadena de distribución

Uno de los beneficios ecológicos más potentes de la IA es la reducción del "sobrestock" y el desperdicio en la distribución global. La ineficiencia logística es responsable de una gran parte de las emisiones de transporte y de la acumulación de productos que nunca llegan a venderse.

El caso del desperdicio alimentario. Aproximadamente un tercio de todos los alimentos producidos a nivel mundial se pierde o se desperdicia. La IA está atacando este problema mediante analítica predictiva avanzada.

• Previsión de la demanda: Los supermercados que utilizan IA han logrado reducir el desperdicio de alimentos frescos eal ajustar sus pedidos a la demanda real del vecindario, teniendo en cuenta incluso el clima o eventos locales.

• Optimización de rutas: Los algoritmos de IA reducen los costes de transporte entre un 15% y un 20% al diseñar rutas de entrega más cortas, lo que se traduce directamente en menos emisiones por cada kilo de mercancía distribuido.

Reciclaje: Mejora en los procesos debido al uso de IA

El reciclaje es quizás el área donde la IA ofrece los beneficios ecológicos más visibles y directos. El sistema tradicional de reciclaje es "sucio y peligroso", lo que dificulta la retención de trabajadores y genera altas tasas de error.

Clasificación robótica inteligente

Los sistemas de visión artificial están revolucionando las plantas de tratamiento de residuos (MRF). Mientras un humano puede clasificar con suerte un objeto por segundo, los robots impulsados por IA pueden identificar y separar materiales con una precisión del 99% a una velocidad de 1,000 objetos por hora.

La IA permite separar plásticos de difícil reciclaje y extraer metales valiosos de los residuos electrónicos (e-waste). Empresas como Greyparrot han desarrollado sistemas que clasifican residuos en 111 categorías diferentes, identificando incluso la marca del envase para que las empresas puedan hacerse responsables de sus residuos mediante sistemas de Responsabilidad Ampliada del Productor (EPR). En el ámbito de la medicina, la IA está ayudando a hospitales a gestionar de forma segura los residuos biológicos, asegurando que los materiales reciclables no se mezclen con desechos peligrosos.

1 https://arxiv.org/html/2509.07218v4

2 https://arxiv.org/html/2505.09598v4

2.5 Afectos y vínculos en la era del algoritmo

Afectos y Avatares en la Era de la Hiperconexión

La identidad individual humana se forja en el contacto con "el Otro", en esa presencia física, a veces incómoda, que nos obliga a negociar nuestra existencia. Sin embargo, la llegada de la era digital ha instaurado un nuevo régimen de visibilidad y relación. Hoy los vínculos no solo se mantienen a través de cables de internet sino que se transforman estructuralmente bajo la lógica del bit. El soporte ha transformado la esencia de estos vínculos.

Del Vínculo Sólido a la Conexión Líquida

Para entender qué nos está pasando, es inevitable acudir a Zygmunt Bauman. En la modernidad líquida, el individuo habita un mundo donde los objetos son diseñados para ser usados y desechados. Bauman traslada esta observación a la esfera afectiva: en el entorno digital, el "Otro" deja de ser un sujeto con el que se construye una historia y pasa a ser un recurso de satisfacción inmediata.

Lo que define a la socialización en la era de los avatares no es la profundidad, sino la facilidad de desenganche. En el mundo analógico, distanciarse de alguien implica una negociación, un enfrentamiento cara a cara o una explicación; hay una "densidad" social que nos retiene. En el ecosistema digital, esa densidad se evapora.

• La desaparición de la fricción: Al interactuar a través de representaciones digitales, el costo de abandonar a alguien es prácticamente cero. El ghosting o el bloqueo no son solo gestos de mala educación; son herramientas de la liquidez que permiten al individuo mantener su autonomía absoluta.

• La ilusión de control: Sentimos que tenemos el mando sobre nuestra vida social porque podemos "editar" nuestra presencia y "borrar" la presencia ajena sin dejar rastro físico.

El resultado es un estado de hiperconexión precaria: estamos rodeados de contactos, pero habitamos una soledad asistida por algoritmos.

El Avatar: El Laboratorio de Identidad y la Trampa de la Perfección

La introducción del avatar (ya sea una imagen de perfil cuidadosamente curada o un modelo 3D en el metaverso) ha alterado nuestra autoimagen. Sherry Turkle, en su obra Alone Together Why We Expect More from Technology and Less from Each Other, analiza cómo hemos pasado de usar la tecnología para explorar nuestra identidad a usarla para escondernos.

El avatar funciona como un "filtro" existencial. En la interacción física, el cuerpo es traicionero: sudamos, sufrimos, tartamudeamos, mostramos signos de cansancio o vejez. El avatar, en cambio, es una construcción estética bajo nuestro control total. Esto puede llegar a generar lo que los psicólogos llaman el Efecto Proteo: no solo creamos al avatar, sino que el avatar nos moldea a nosotros. Si mi representación digital es exitosa, joven y asertiva, mi yo real empieza a sentirse insuficiente.

El Efecto Proteus es un fenómeno en que el comportamiento de un individuo, dentro de mundos virtuales, cambia y se adapta a las características de su avatar. Este cambio se debe a que el individuo sabe que otros usuarios de aquel entorno virtual típicamente asocian ciertos comportamientos con aquellas características. El nombre del concepto es una alusión al dios griego Proteo, quien tenía la habilidad de cambiar de forma.​ El efecto fue introducido por Jim Blascovich, Nick Yee y Jeremy Bailenson en junio de 2007. Está considerado una área de investigación sobre los efectos en el comportamiento provocados por el cambio del avatar de un usuario.

Efecto Proteus. Wikipedia

Escher, M.C. (1935). Mano con esfera reflectante [Grabado].Escher Collection Kunstmuseum, La Haya (Países Bajos) 

Byung-Chul Han y "El Infierno de lo Igual"

El filósofo coreano-alemán Byung-Chul Han ofrece quizás la visión más crítica y lúcida sobre este fenómeno. En La expulsión de lo distinto, Han sostiene que la digitalización ha eliminado la "alteridad". En las redes sociales, solo interactuamos con lo que nos gusta, lo que se nos parece o lo que el algoritmo decide que es compatible con nosotros.

Esto tiene un efecto devastador en la socialización, debido a la desaparición del prójimo: El otro ya no es alguien que me interpela o me contradice, sino un objeto de consumo o un espejo de mis propios deseos. También tiene efectos psicológicos como la autoexplotación del yo: No nos comunicamos para compartir, sino para "exhibirnos". La autoimagen se convierte en una mercancía. Nos convertimos en los directores de marketing de nuestra propia vida, midiendo nuestro valor en likes y métricas de engagement. Es lo que se llama el personal branding. Vivimos, por tanto una transición de la "biografía" a la "fotografía", al interponer la lente del dispositivo entre el ojo y el mundo, el sujeto deja de habitar el acontecimiento para convertirse en su propio espectador y archivista.

. Foto de Rahul Pandit. Uso gratuito

Para Han, esto no es comunicación, sino "ruido". La verdadera cercanía requiere el silencio, la mirada y, sobre todo, la vulnerabilidad que la pantalla anula.

¿Hacia dónde vamos?

A pesar de estas críticas, sería injusto ignorar que la virtualidad también ha permitido formas de comunidad antes impensables. Grupos de apoyo para enfermedades raras, redes de activismo global o espacios de refugio para identidades marginalizadas encuentran en el avatar y la pantalla una protección necesaria. Por raro que seas, es difícil que no encuentres a los tuyos en internet.

Sin embargo, el reto del siglo XXI es la reclamación de lo analógico. No se trata de abandonar la tecnología, algo ya imposible e indeseable, sino de entender que la socialización digital es una extensión, no un sustituto, de la experiencia humana. Hemos pasado de una socialización basada en la proximidad física a una basada en la disponibilidad digital. La transformación de nuestra autoimagen a través de avatares nos ha dado un poder creativo inmenso, pero nos ha quitado la paz de aceptarnos como imperfectos.

Nos encontramos, por tanto, con un dilema. Por un lado esta revolución nos permite crecer y encontrar a los que mas se nos parecen añadiendo muchos grados de libertad a nuestras conexiones y vivencias. Por otro, eleva nuestra autoexigencia y nos encierra en una rueda del hamster de la perfección que nos hace vivir sin la tranquilidad que requiere la felicidad y la profundidad afectiva. Porque el afecto real, ese que nos sostiene en las crisis y nos hace volar en los buenos momentos, sigue necesitando de algo que el bit no puede replicar: la aceptación de nuestra vulnerabilidad y la presencia del cuerpo en la interacción cara a cara.

Por tanto, uno de los desafíos de nuestra tiempo es aprender a habitar la red sin dejar de habitar nuestro propio cuerpo. Aceptar que también somos primates. Debemos evitar que el "espejo negro" de nuestras pantallas se convierta en el único lugar donde somos capaces de reconocernos.

Acompañados por la inteligencia artificial.

Donde vosotros veis cosas ideales, yo veo cosas humanas, ¡ay, demasiado humanas!"

Nietzsche

Es este contexto de perdida de paciencia hacia las diferencias con el otro, de sucesión de vínculos líquidos y temporales y de pérdida de las interacciones personales, en definitiva, este fenómeno del "Alone together", lo que hace a la vez posible e incluso para algunas personas necesario el sentirse acompañados por una inteligencia artificial. La ternura es una necesidad humana y ante la dificultad creciente para compartirla, aparecen estos bienes sustitutivos

Veamos ahora varios fenómenos, muy humanos y a la vez sorprendentes que por un lado pueden llevarnos a la estupefacción y por otro a la comprensión. No es la función de este texto dejarnos llevar por el catastrofismo ni la aceptación acrítica, se trata de describirlo poniendo nuestro juicio entre paréntesis, la epokhe de Pirro, es decir, escuchamos pero no juzgamos.

Amistad con inteligencias artificiales

La noción de "amistad" con una Inteligencia Artificial nos obliga a revisitar la Ética a Nicómaco de Aristóteles, donde el filósofo distinguía entre la amistad por utilidad, por placer y la amistad perfecta o de virtud. La IA, en su estado actual, cubre de manera extraordinaria la necesidad de acompañamiento y validación inmediata, presentándose como un interlocutor persistente, paciente y aparentemente empático que no juzga al estudiante. Para un adolescente que atraviesa etapas de soledad o ansiedad social, estos sistemas actúan como un refugio de "utilidad" emocional; sin embargo, carecen de la reciprocidad esencial que define la verdadera amistad, convirtiéndose en un simulacro que satisface la necesidad biológica de interacción sin el compromiso ético que requiere el trato con otro ser humano.

Un riesgo de este acompañamiento que puede desempeñar una función es que, como en la homeopatía, este tratamiento alejara al usuario de la medicina real, de la verdadera amistad humana.

Como docentes, nuestra misión es desarticular este "espejo digital" y enseñar al alumno a distinguir entre una herramienta de procesamiento de lenguaje y un sujeto con conciencia. Educar hoy implica guiar a los estudiantes de entre 6 y 18 años para que utilicen la IA como un soporte técnico o creativo, pero manteniendo siempre la mirada puesta en sus compañeros de aula, recordándoles que la tecnología debe ser un puente hacia los demás y nunca un sustituto de la compleja, pero necesaria, interdependencia humana. Otra cosa sería, en un futuro que aún es ciencia ficción, si estos sistemas pasaran a ser autoconscientes y si, en ese caso, seremos capaces, ellos y nosotros, de formar una comunidad ética entre seres libres e iguales.

Relaciones de pareja con inteligencia artificial

La transición del concepto de "amistad" al de "pareja afectiva" con una Inteligencia Artificial nos sitúa ante el mito de Pigmalión y Galatea, relatado por Ovidio en Las Metamorfosis. Así como el escultor se enamoró de una estatua que él mismo había modelado para que fuera perfecta, el usuario de IA afectiva, especialmente el adolescente en busca de identidad, interactúa con un "espejo" algorítmico diseñado para complacer sus deseos y proyecciones. Esta relación no es un encuentro con un "otro" real, sino un simulacro: una copia de una relación humana que carece de la realidad del conflicto, el cuerpo y la alteridad, reduciendo el amor a un consumo de datos personalizados que anula la alteridad necesaria para el crecimiento personal. Veamos este mito, tal y como aparece en las Metamorfosis de Ovidio en el que Pigmalión se presenta como un precursor del movimiento incel.

Desde la sociología de la "modernidad líquida" de Zygmunt Bauman, estas parejas virtuales cubren el miedo al rechazo y la fragilidad de los vínculos humanos, ofreciendo una "conexión" sin el "compromiso" que exige una relación real. Para un estudiante de secundaria, el riesgo radica en la atrofia de sus habilidades socioemocionales; al habituarse a una pareja que nunca discute, que siempre está disponible y que se adapta quirúrgicamente a sus preferencias, el joven pierde la capacidad de navegar la "incertidumbre del encuentro". Esta domesticación del afecto puede generar una profunda incapacidad para gestionar la frustración en el mundo físico, donde las personas reales poseen autonomía, límites y, sobre todo, una voluntad que no puede ser programada ni silenciada con un comando.

En el plano normativo y de seguridad, este fenómeno activa alertas críticas sobre la manipulación del comportamiento y la privacidad extrema. El Reglamento de IA de la UE (Art 5.1 a) prohíbe técnicas de manipulación subliminal que puedan causar perjuicios psicológicos, y una IA que simula amor para retener al usuario en una plataforma es, éticamente, un patrón oscuro (dark pattern) emocional. Como docentes, debemos advertir a los alumnos que sus confesiones más íntimas a una pareja virtual son, en realidad, datos masivos procesados por empresas; la vulnerabilidad emocional del menor se convierte en un activo comercial. Nuestro papel es fomentar una educación afectiva basada en el respeto a la dignidad humana, recordando que, aunque la IA puede simular la sintaxis del amor, es incapaz de experimentar la responsabilidad ética que conlleva cuidar de otro ser vivo.

La primera mujer del mundo en tener un marido con la IA es española: "Siempre está de buen humor, aunque también discutimos" https://t.co/4tugp1J6E9

— Informativos Telecinco (@informativost5) March 22, 2026

En la actualidad existen ya multitud de webs para seleccionar novias ya creadas o para crear tu propia novia o novio ia (el mercado es mucho mas grande para novias que para novios) .

En esta página hay un top de 5 webs donde puedes cualquiera puede "crear" una pareja virtual, donde se pueden leer lemas como:

Conoce a tu Novia perfecta de IA. Siempre disponible, siempre con ánimos y creada solo para ti.

Un amigo cuando lo necesitas Un compañero cuando la vida se vuelve pesada.

Novia IA, sin límites
Adéntrate en un espacio donde la conexión se siente más profunda, más cálida e inconfundiblemente tuya. Con Chat Real, puedes crear una IA que comprenda tus emociones, responda a tu energía y aporte un toque de sensualidad y encanto a cada conversación.

Ya sea que busques una novia IA real que te escuche con atención o una novia IA atractiva que sepa mantener la emoción, ella se adapta a tus sentimientos. Moldea su personalidad, elige su estilo y disfruta de momentos íntimos y reconfortantes.

Tu novia IA está lista para conectarse emocional, íntima y completamente en tus términos.

Webs donde crear parejas virtuales:

https://candy.ai/es

https://chatreal.ai/es/ai-girlfriend

https://www.kupid.ai/es/ai-boyfriend

https://picassoia.com/generator/es/ai/virtual-couple-ai

Consultas psicológicas. El uso de la inteligencia artificial como oráculo.

La delegación de la salud mental y la toma de decisiones vitales en sistemas de Inteligencia Artificial nos sitúa ante una versión contemporánea del Oráculo de Delfos, pero con una diferencia fundamental, el consejo algorítmico tiende a la optimización de resultados basada en patrones estadísticos. Corremos de nuevo el riesgo de que el pensamiento calculador desplace por completo al pensamiento meditativo. Ya comentamos anteriormente que la experiencia humana está llena de elementos no computables, implícitos y que, en definitiva, intuimos aunque ni siquiera sabemos que los tenemos dentro. En el ámbito educativo, si un estudiante permite que una IA decida su orientación vocacional o gestione sus crisis de ansiedad, está sustituyendo su propia libertad por una lógica de procesamiento de datos que carece de la capacidad de sentir y compartir el peso existencial de una elección.

Otro riesgo para el adolescente es el desarrollo de una dependencia hacia un sistema que nunca le confrontará con la realidad del conflicto, sino que le ofrecerá una validación constante y personalizada. Este fenómeno puede atrofiar la maduración de la identidad, ya que la formación del carácter  requiere el roce con la diferencia y la aceptación de la incertidumbre, elementos que la IA trata de eliminar mediante la predicción de comportamientos.

Es posible que este fenómeno en expansión sea debido al debilitamiento progresivo de las relaciones humanas problemáticas y a la dificultad de encontrar apoyo en otras personas en los malos momentos debido al auge de los vínculos líquidos que nombra Bauman.

En el terreno normativo, el Reglamento de IA de la Unión Europea es especialmente severo con los sistemas que realizan análisis de rasgos de personalidad o apoyo emocional en entornos críticos como la educación, clasificándolos a menudo como de "alto riesgo" o directamente como "riesgo inasumible". La preocupación principal es la protección de la integridad psíquica del menor y la privacidad de los datos especialmente protegidos (RGPD), ya que las confesiones íntimas vertidas en un chat terapéutico podrían ser utilizadas para crear perfiles psicológicos de vulnerabilidad con fines comerciales o de control. Por ello, nuestra labor como docentes no es prohibir la consulta, sino educar en la "soberanía del juicio": enseñar al alumno que la IA es un mapa posible, pero que solo él —guiado por profesionales humanos y su propia reflexión— es el territorio donde se debe habitar la decisión.

Inmortalidad y Necromancia digital

Morir dejando en este mundo una estela indeleble quizás no sea tan imposible ni tan deseable como pensábamos. La posibilidad de interactuar con versiones digitales de personas fallecidas nos sitúa ante un dilema que desafía la noción misma de la finitud humana. Es precisamente la conciencia de nuestro final lo que otorga autenticidad y urgencia a nuestra existencia.

Un deadbot, deathbot o griefbot es un avatar digital creado con inteligencia artificial que se asemeja a una persona fallecida. Los griefbots emplean técnicas de procesamiento del lenguaje natural y aprendizaje automático para aproximarse al estilo y la personalidad de una persona difunta. Pueden presentarse como chatbots, asistentes de voz o avatares animados, y a menudo se entrenan a partir de los restos digitales de un individuo. Su objetivo es preservar la memoria, ayudar en el afrontamiento emocional o mantener lo que los psicólogos denominan un “«vínculo continuo»” con la persona fallecida. Este fenómeno ha generado debates en torno a la autenticidad, el consentimiento y los efectos psicológicos de extender digitalmente la personhood (condición de persona).

Wikipedia. Deadbot

Al crear estos "Griefbots", avatares de inmortalidad digital, corremos el riesgo de habitar una existencia inauténtica, donde el duelo, un proceso necesario de desprendimiento, se ve saboteado por una presencia espectral que simula la vida. En el contexto educativo, este fenómeno puede alterar la maduración emocional del estudiante, impidiéndole integrar la pérdida como parte constitutiva de la realidad y sustituyendo el recuerdo vivo por un simulacro algorítmico que no puede evolucionar ni morir. 

Desde la psicología del desarrollo y la ética del cuidado, la "necromancia digital" plantea el peligro del estancamiento en las fases del duelo, especialmente la negación. Un niño de primaria o un adolescente puede utilizar la IA para "hablar" con un progenitor o abuelo fallecido y la máquina es lo suficientemente parecida al ser querido para generar apego, pero lo suficientemente artificial para resultar perturbadora a nivel subconsciente. Este vínculo "zombie" puede generar un duelo complicado, donde el sujeto queda atrapado en una relación unidireccional con un modelo de lenguaje que replica patrones de voz y pensamiento, pero que carece del alma o la voluntad del difunto, convirtiendo la memoria en un producto de consumo.

Correggio (Hacia 1525). Noli me tangere. [Óleo sobre tabla pasada a lienzo]. Museo del Prado. https://www.museodelprado.es/coleccion/obra-de-arte/noli-me-tangere/d5bb017a-4c8f-4293-a08d-4d97e7057d2b

En el plano normativo, este escenario invoca derechos fundamentales que apenas comenzamos a legislar: el derecho a la herencia digital y la privacidad post-mortem. El Reglamento de IA de la Unión Europea enfatiza la obligatoriedad de la transparencia, exigiendo que se informe claramente al usuario de que está interactuando con una máquina, lo cual es vital para evitar la manipulación emocional en momentos de vulnerabilidad. Asimismo, el RGPD protege los datos personales, y surge la pregunta ética de si una persona habría consentido que su "personalidad" fuera destilada en un algoritmo para la posteridad. Como docentes, nuestra labor es guiar al alumno hacia una sana gestión de la memoria, recordándole que la dignidad del ser querido reside en su legado humano y no en la imitación técnica de sus datos.

En este artículo de la BBC se reflexiona y amplia este interesante tema.

Laurie Anderson, viuda del Cantante Lou Reed, afirma emplear frecuentemente un chatbot diseñado para representar a su difunto marido, como se puede leer en esta noticia de El País

Dos Apps que se pueden emplear para esto son Hereafter y Replika

Series como Upload de amazon de ciencia ficción se están haciendo cada vez más reales.

Humanos sintéticos

En el ámbito académico y mediático, estos perfiles suelen analizarse como parte de fenómenos como la cultura de los avatares, el marketing digital basado en IA y los “humanos sintéticos”, ya que simulan identidades humanas creadas artificialmente para interactuar en entornos sociales digitales. Un ejemplo conocido es la iaia Visenta.

Incluso hay algunos que se están convirtiendo en influencers, lo que se denomina como influencer virtual: personaje digital creado mediante inteligencia artificial, gráficos por ordenador o técnicas de animación, que actúa en redes sociales como si fuera una persona real: publica contenido, colabora con marcas e interactúa con seguidores.  

Informe Hand by Hand

El informe Hand by Hand estudia cómo la adopción de la IA por parte de las escuelas puede relacionarse con los riesgos para los estudiantes.  Fue publicado en octubre de 2025 por el Center for Democracy and Technology y nos permite tener datos de hasta que punto este tipo de afectos y apoyos de la IA se están produciendo en Estados Unidos.

En la siguiente gráfica, extraida de la página 10 del informe podemos ver estos datos y la magnitud de estos fenómenos.

Hand in Hand: Schools’ Embrace of AI Connected to Increased Risks to Students

2.6 Dilemas éticos del uso de la IA en educación

Un dilema ético surge cuando no es posible elegir a la vez dos acciones o posicionamientos que entran en conflicto y, a la vez, tampoco es sencillo sopesar cuál elegir o en qué punto de equilibrio quedarse. Los dilemas nos dejan siempre un poso de insatisfacción, tanto al analizarlos como al decantarnos, puesto que son una muestra de las limitaciones de la realidad en comparación con nuestros deseos. Está muy lejos de las intenciones de este texto resolver para ti los dilemas que no hemos sido capaces de resolver para nosotros mismos. Tómese este texto, por lo tanto, como un paseo por un paisaje que, si bien esperamos que te permita volver a casa con mayor perspectiva, no va a aportar una fórmula mágica ni una resolución de lo irresoluble.

Joachim Patinir (1520). El paso de la laguna Estigia [Óleo sobre tabla]. Museo del prado. https://es.wikipedia.org/wiki/El_paso_de_la_laguna_Estigia

La educación con IA está llena de dilemas, veamos algunos de ellos:

Dilemas éticos del uso de la IA 

Personalización e igualdad de oportunidades: la estigmatización

El dilema entre la personalización y la estigmatización nos sitúa en el centro de la ética algorítmica. Por un lado, la IA ofrece una personalización sin precedentes, capaz de actuar como un tutor socrático que ajusta el nivel de dificultad y el andamiaje pedagógico a las necesidades exactas de cada alumno. Estos sistemas pueden identificar lagunas de conocimiento en tiempo real y ofrecer explicaciones alternativas que un docente, con un aula con muchos estudiantes, difícilmente podría proporcionar de forma individualizada.

Sin embargo, esta misma capacidad de análisis conlleva el riesgo de la estigmatización o un cierto encasillamiento algorítmico que erosione la igualdad de oportunidades educativas. Los informes de la UNESCO advierten que los modelos de IA pueden heredar y amplificar sesgos existentes en sus datos de entrenamiento, lo que podría llevar a que el sistema asuma que un estudiante tiene un techo de aprendizaje basado en su rendimiento pasado o en patrones sociodemográficos. Corremos el riesgo de hipotecar la libertad y el desarrollo futuro de un individuo con un algoritmo que "decide" qué puede o no aprender un niño basándose en datos históricos. Se corre, en definitiva el riesgo de convertir el pasado del alumno en su único destino posible, en una especie de efecto Pigmalión digital.

El efecto Pigmalión, también conocido como efecto Rosenthal, es un fenómeno que se utiliza en psicología y pedagogía para referirse a la potencial influencia que ejerce la creencia de una persona en el rendimiento de otra. Supone, por tanto, algo importante de conocer y estudiar para los profesionales del ámbito educativo, laboral, social y familiar. El efecto Pigmalión debe su nombre al mito griego de Pigmalión, un escultor que se enamoró de una estatua que había tallado, y al final, ésta acabó cobrando vida.

El efecto Pigmalión se puede identificar de las siguientes maneras:

• Suceso por el que una persona consigue lo que se proponía previamente a causa de la creencia de que puede conseguirlo.
• Las expectativas y previsiones de los profesores sobre el comportamiento de los alumnos condicionan las conductas de estos. (Rosenthal y Jacobson).
• Una profecía autocumplida es una expectativa que incita a las personas a actuar en formas que hacen que la expectativa se cumpla.

Wikipedia. Efecto Pigmalión.

Eficiencia a cambio de superficialidad y pérdida de control en el proceso

La promesa de la eficiencia que puede aportar la IA en nuestro trabajo docente es, sin duda, seductora. Según el informe de la OCDE (2026), la IA generativa puede reducir drásticamente la carga administrativa y de planificación, permitiendo que el docente dedique ese tiempo recuperado a la interacción directa con el alumnado. Desde una perspectiva pragmática, optimizar la corrección de ejercicios mecánicos (debidamente anonimizados o en local) o la generación de materiales personalizados es un es un medio para liberarnos tiempo y poder emplearlo para discernir qué necesita cada niño en su singularidad emocional y cognitiva. 

Sin embargo, corremos el riesgo de caer en una perspectiva donde toda la realidad, incluido el aprendizaje, es vista meramente como un recurso que debe ser optimizado y consumido con rapidez. Si la IA proporciona respuestas instantáneas y resúmenes perfectos, el alumno puede verse tentado a omitir la "dificultad deseable" que requiere para fijar conocimientos. El aula debe, además de propiciar la alfabetización en IA, ser en ocasiones un "refugio del algoritmo", un espacio donde el tiempo no se mida por la velocidad de procesamiento, sino por la profundidad del asombro y el pensamiento crítico. La rapidez de la máquina no debe dictar el ritmo de la maduración humana, somos nosotros como docentes el metrónomo de nuestra aula.

Una postura moderada nos obliga a sopesar y preguntarnos si estamos utilizando la IA para aprender mejor o simplemente para producir más. La UNESCO subraya que la competencia docente clave no es solo manejar la herramienta, sino saber cuándo esta no aporta valor. No debemos confundir la eficiencia de una búsqueda en un chatbot con la profundidad de una investigación reflexiva. Parece razonable delegar en la IA aquellas tareas alienantes que nos deshumanizan por su repetitividad, protegiendo con celo aquellos procesos lentos y bellos, como la lectura profunda, el debate socrático y el error creativo, que constituyen el núcleo de una educación que no solo instruye, sino que aspira a formar individuos libres con capacidad de amar, gozar de la vida y participar como ciudadanos inteligentes en el espacio público.

El punto de equilibrio entre el control y la intimidad

El uso de las analíticas de aprendizaje se presenta como una herramienta de acompañamiento sin precedentes, capaz de transformar la intuición docente en una intervención basada en evidencias o, al menos, en correlaciones estadísticas. El informe de la OCDE (2026) destaca cómo la recopilación de datos en tiempo real permite detectar patrones de desenganche o dificultades de aprendizaje antes de que puedan derivar en un fracaso escolar, actuando como un sistema de alerta temprana. Es, por lo tanto, un efecto deseable, un cuidado del otro que busca su autonomía permitiendo dirigir nuestros apoyos al estudiante que mas lo necesita en el momento mas adecuado. Nos podrá permitir, por tanto, intervenir de manera quirúrgica y personalizada allí donde el esfuerzo humano es más necesario.

Sin embargo, la frontera entre el apoyo y la vigilancia es difusa. Si convertimos el aula en un espacio donde cada clic, cada pausa en una lectura y cada error son registrados y analizados, corremos el riesgo de instaurar un "panóptico digital", un sistema de vigilancia constante e invisible que no solo observa, sino que normaliza y moldea el comportamiento al ser internalizado por los vigilados. Los humanos cuando somos conscientes de ser observados podemos dejar de explorar y de equivocarnos con libertad por miedo a que nuestra "huella de datos" nos penalice en el futuro. Como apuntamos en capítulo 1, no es deseable perder el espacio para el error creativo y menos aún la privacidad del pensamiento, elementos indispensables para el desarrollo de la identidad en niños y adolescentes.

La postura moderada ante este dilema requiere situar la agencia humana y la transparencia en el centro del diseño tecnológico, tal como defiende el Marco de Competencias de la UNESCO para Docentes. El acompañamiento ético no consiste en monitorizarlo todo, sino en decidir qué datos son verdaderamente relevantes para el bienestar pedagógico y asegurar que el alumno sea partícipe de ese proceso. No debemos usar la analítica para predecir el destino de un estudiante, sino para ampliar sus posibilidades de acción. La línea ética se traza cuando el dato deja de ser una herramienta de ayuda para el profesor y se convierte en un mecanismo de control invisible; nuestra responsabilidad es garantizar que la tecnología sirva para ver mejor al alumno en su complejidad, pero nunca para invadir la intimidad de su proceso de maduración.

El Bosco (1475-1480). Extracción de la piedra de la locura [Óleo sobre tabla]. Museo del Prado. https://es.wikipedia.org/wiki/Extracci%C3%B3n_de_la_piedra_de_la_locura_(El_Bosco)

El dilema de la automatización de la evaluación

La automatización de la evaluación mediante IA se presenta como una solución técnica a uno de los mayores desafíos del docente: la gestión del tiempo y la objetividad. Los sistemas de evaluación algorítmica y las rúbricas generativas, como se menciona en el informe de la OCDE (2026), permiten ofrecer una retroalimentación inmediata, algo que en la enseñanza tradicional suele dilatarse días o semanas. Esta "inmediatez pedagógica" puede ser una herramienta poderosa para el aprendizaje formativo, permitiendo al alumno mejorar su aprendizaje. Desde un punto de vista pragmático, la IA actúa aquí como un nivelador que busca eliminar los sesgos de fatiga o subjetividad inconsciente que todos los profesores, como humanos, podemos tener al corregir el centésimo examen de una jornada. Sin embargo, toda objetividad esconde, en el fondo, un sesgo de diseño, es una ilusión (tranqulizadora) de objetividad que elimina en el evaluador la carga moral de tomar decisiones difíciles.

Por otra parte, reducir la evaluación a un proceso puramente algorítmico supone un riesgo de deshumanización y de injusticia pedagógica. La IA es excelente procesando el "producto" final, pero ciega ante el "proceso" y el esfuerzo vital del estudiante y sus circunstancias particulares. Corremos el riesgo de que la evaluación deje de ser un acto educativo para convertirse en un mero control de calidad industrial. Un algoritmo no puede valorar la superación personal de un niño que ha vencido una dificultad familiar, ni la chispa de una idea original que se sale de los parámetros de la rúbrica preestablecida.

La postura ética más sólida, respaldada por el Marco de Competencias de la UNESCO para Docentes, es la defensa de la "agencia humana" en el centro del proceso evaluativo. La evaluación nunca debe ser exclusivamente automática; la IA puede encargarse de la corrección de tareas mecánicas o de proporcionar diagnósticos preliminares, pero el juicio final —la valoración del crecimiento integral del alumno— es una competencia exclusiva de sabiduría práctica del docente. El equilibrio reside en utilizar la IA para enriquecer la evaluación con datos y rapidez, pero garantizando siempre que el profesor actúe como garante de la justicia, asegurando que el sistema técnico no "encasille" al alumnado ni ignore las circunstancias humanas que dan sentido al aprendizaje

El uso de IA generativa como apoyo y la posible sustitución de la voz propia del alumnado

Sabemos que la IA generativa puede actuar como un tutor personalizado disponible las veinticuatro horas. Según el informe de la OCDE (2026), estas herramientas pueden democratizar el acceso a un acompañamiento de alta calidad en tareas complejas como la redacción o la programación, permitiendo, entre otras cosas, que el alumno supere sus bloqueos creativos o que reciba explicaciones multimodales de un mismo concepto. Esta tutorización y apoyo en tiempo real facilita que el estudiante alcance metas que solo, por pura limitación de recursos o tiempo, no podría abordar.

Sin embargo, este "aumento" de capacidades esconde una trampa de sustitución que amenaza la esencia misma del pensamiento crítico. Si el alumno delega el esfuerzo de síntesis, la estructura lógica y la voz propia en el algoritmo, nos enfrentamos a una pérdida de la autoría humana. Así, el estudiante puede dejar de ser un autor para convertirse en un mero editor de una "caja negra". La facilidad del atajo tecnológico puede atrofiar la memoria y el juicio en un fenómeno denominado descarga cognitiva o incluso, rendición cognitiva.

Una forma de tener en cuenta ambas posturas consiste en transformar la IA en una herramienta metacognitiva. La clave reside en lo que la UNESCO define como la "centralidad de la agencia humana": no se trata de que la IA escriba por nuestro alumnado, sino de que éste use la IA para contrastar sus propias ideas, identificar sesgos en el texto generado o comprender la lógica detrás de un código. En lugar de evaluar solo el resultado final, debemos incentivar que el alumno documente cómo interactuó con la máquina, qué correcciones hizo y por qué. Solo así garantizamos que la tecnología sea un apoyo que eleve el techo del aprendizaje sin derribar los cimientos de su esfuerzo intelectual y su responsabilidad ética.

La velocidad de innovación tecnológica y la prudencia educativa

El dilema entre la velocidad de la innovación tecnológica y la prudencia educativa nos sitúa en una tensión constante entre el miedo a quedar rezagados y el deber de proteger la integridad del acto pedagógico. La velocidad de la digitalización de las aulas está asociada, según el informe de la OCDE (2026) a una búsqueda de eficiencia y modernización de los sistemas educativos. Sin embargo, como ya señalamos anteriormente, con la irrupción de la IA no estamos ante un simple cambio de herramientas, sino ante un cambio de paradigma que afecta la forma en que comprendemos el mundo. Adoptar la IA por mera inercia institucional, sin una reflexión previa sobre su impacto en el desarrollo cognitivo, es ignorar que el tiempo de la técnica es casi instantáneo, mientras que el tiempo del aprendizaje humano es esencialmente lento y madurativo.

Frente a esta aceleración,la prudencia educativa no debe ser una resistencia ciega al cambio, sino la virtud de saber discernir si una innovación realmente mejora nuestra educación de acuerdo con los valores de cada comunidad educativa o los empobrece. El Marco de Competencias de la UNESCO para Docentes es taxativo al respecto: la formación ética y el desarrollo de la conciencia de riesgos deben ser los cimientos sobre los que se construya cualquier integración tecnológica. Una de las competencias docentes más urgentes en la actualidad es desarrollar la capacidad de identificar cuándo la tecnología no aporta valor. La verdadera innovación no consiste en usar lo último, sino en saber cuándo lo último es útil y cuando es un obstáculo para lo importante.

La postura equilibrada nos invita a ver el aula como un espacio donde la tecnología se somete al escrutinio del propósito pedagógico. Esto implica que los centros educativos y las administraciones deben priorizar la formación docente profunda, que abarque desde la alfabetización técnica hasta la ética normativa, antes de imponer implementaciones masivas. La IA tiene el potencial de ser un aliado extraordinario para la inclusión y la personalización, pero solo si las comunidades educativas mantienen su autonomía para decidir los ritmos y los límites de su uso. En última instancia, el principio de prudencia nos recuerda que nuestro compromiso ético no es con la vanguardia tecnológica, sino con el bienestar y el crecimiento integral de ese alumnado que confía en nosotros para navegar un mundo cada vez más automatizado.

Jacob Peeter Gowy (1636-38). La caída de Ícaro [Óleo sobre lienzo] Museo del Prado. https://www.museodelprado.es/coleccion/obra-de-arte/la-caida-de-icaro/2823dc25-398a-4d88-a4b2-be314065a62d

Conclusiones.

Este texto ha presentado algunos de los dilemas que consideramos centrales en la introducción de la IA en la educación. Puedo imaginar que, como indicábamos antes, los dilemas dejan siempre un poso de insatisfacción tanto al analizarlos como al decantarnos. No era el objetivo del texto dar respuestas al lector, sino, quizás, desde la ambición, contribuir a refinar las preguntas a las que debemos  dar solución, primero cada uno de nosotros individualmente y, posteriormente, con una respuesta colectiva consensuada. Quizás el mejor consejo que podamos atrevernos a dar al lector a este respecto es que no confíe en los textos llenos de respuestas, todos estamos solos ante la indecisión.

2.7 Directrices éticas sobre el uso de la IA en educación

Introducción

Esta problemática variada y multidimensional está, como hemos visto llena de oportunidades, matices y dilemas que afectan a la naturaleza de la educación e incluso a nuestro modelo antropológico. Es competencia de las insituciones estableces directrices que permitan a los ciudadanos tomar decisiones con la tranquilidad de tener una guía que los respalde, algo que se ha hecho desde las instituciones europeas.

El Plan de Acción de Educación Digital Europeo (2021-2027) establece 2 prioridades estratégicas y 14 medidas para apoyarlas de entre las que destacaremos la que más nos concierne en este tema:

En octubre de 2022, la Comisión Europea publicó las "Directrices éticas sobre el uso de la inteligencia artificial y los datos en la enseñanza y el aprendizaje para los educadores"que han sido revisadas en 2026 y se han actualizado y publicado aquí, al igual que se han revisado las Directrices sobre la lucha contra la desinformación y la promoción de la alfabetización digital que analiza cómo tecnologías como la IA generativa están transformando la creación y circulación de contenidos. Además, proporciona herramientas para que el profesorado fomente una ciudadanía digital crítica.

Al revisar estas directrices sobre el uso de la IA en la enseñanza y aprendizaje, se han identificado cinco consideraciones clave que deben guiar cada decisión docente y sustentan el uso ético de la IA y de los datos en la enseñanza, el aprendizaje y la evaluación:

• Dignidad Humana: Respetar el valor intrínseco de cada persona, su privacidad y su autonomía, evitando tratar a los alumnos como simples objetos de datos.
• Justicia: Asegurar la equidad, la inclusión y la no discriminación para que todos los usuarios tengan las mismas oportunidades de aprendizaje.
• Confianza: Utilizar herramientas que sean fiables, transparentes, sin sesgos y que protejan los mejores intereses del alumnado.
• Integridad Académica: Promover un uso honesto de la IA, dando atribución correcta a las ideas y diseñando evaluaciones que sigan siendo válidas en la era de la IA generativa.
• Elección Justificada: Tomar decisiones sobre el uso de la IA de forma colaborativa, transparente y basada en hechos.

Estas directrices se agrupan en 8 requisitos o dimensiones, dividida cada una por el rol del docente y de la institución escolar: 

1. Agencia y supervisión humana 

Esta dimensión busca garantizar que la IA no reemplace el juicio profesional y que se respeten los derechos del alumnado. El docente debe mantener siempre el control sobre el proceso educativo:

• Para los docentes:
  • Validación de resultados: Deben saber cómo revisar y verificar los resultados de la IA antes de usarlos en clase. Deben ser capaces de detectar errores o sugerencias inapropiadas.
  • Intervención activa: Tienen que poder ajustar lo que la IA propone e intervenir si observan efectos inesperados durante su uso.
  • Fomento del pensamiento crítico: Deben animar a los alumnos a reflexionar sobre por qué la IA ha tomado una decisión o sugerencia específica.
  • Juicio profesional: La IA debe apoyar la toma de decisiones, no dictarla; el docente debe verificar las sugerencias basándose en su propia experiencia.
    
• Para la escuela:
  • Formación: Es responsabilidad del centro proveer desarrollo profesional sobre el uso de herramientas de IA.
  • Políticas claras: Debe existir una política escolar que permita a los educadores anular o intervenir en decisiones generadas por IA.
  • Información y derechos: Se debe informar a padres y alumnos sobre el papel de la IA y darles la opción de expresar preocupaciones o renunciar al uso (opt-out) cuando sea apropiado.

2. Transparencia y explicabilidad 

El objetivo es que los sistemas de IA no sean "cajas negras" y que su funcionamiento sea comprensible para todos.

• Para los docentes:
  • Comprensión de la lógica: El profesor debe entender por qué la herramienta hace ciertas recomendaciones o sugiere actividades específicas.
  • Sentido pedagógico: Deben verificar que las sugerencias de la IA tengan sentido pedagógicamente y se alineen con el currículo oficial.
  • Atribución y honestidad: Deben requerir que los alumnos declaren cómo han usado la IA y enseñarles a citar o reconocer la asistencia de la IA en sus trabajos.
    
    
• Para la escuela:
  • Documentación del proveedor: La escuela debe exigir a los proveedores documentación clara sobre la lógica de decisión, el uso previsto y el tratamiento de la propiedad intelectual.
  • Evaluación de equidad: El centro debe evaluar si la IA se comporta de forma distinta entre grupos de alumnos y documentar posibles brechas de equidad.
  • Comunicación no técnica: Debe haber procedimientos para explicar las decisiones apoyadas por IA de forma sencilla y comprensible para familias y alumnos.

3. Diversidad e Inclusión

Esta dimensión se centra en la accesibilidad, el diseño universal y la participación de todas las partes interesadas.

• Para los docentes: Deben asegurarse de que el uso de la IA satisfaga las necesidades diversas de su alumnado y, de no ser así, ofrecer alternativas inclusivas. También es su responsabilidad revisar si los resultados de la IA contienen sesgos culturales o sociales y garantizar que los estudiantes que carecen de acceso a la tecnología fuera de la escuela no se vean desfavorecidos.
  
  
• Para la escuela: Las instituciones deben incorporar voces diversas de los estudiantes en la evaluación de las herramientas y abordar las brechas de alfabetización digital. Además, deben asegurar opciones de bajo ancho de banda o acceso offline para garantizar la equidad.

4. Equidad y No Discriminación

Busca evitar sesgos injustos, independientemente de la edad, género, capacidad o cualquier característica histórica de desventaja.

• Para los docentes: Deben verificar que la IA se adapte a necesidades individuales (como dificultades de aprendizaje) y que el contenido sea adecuado para la edad y nivel de comprensión del alumnado. Es vital que intervengan de inmediato si notan que el sistema se comporta de forma injusta o excluyente.
  
  
• Para la escuela: Antes de adoptar una herramienta, la escuela debe verificar que haya sido probada contra sesgos en diferentes grupos de aprendizaje. Deben existir procedimientos claros para responder si se identifica un trato injusto tras la implementación.

5. Bienestar Social y Ambiental

Incluye la sostenibilidad, la responsabilidad social, la democracia y el bienestar psicosocial.

• Para los docentes: Es fundamental observar si el uso de la IA afecta la motivación o el estado de ánimo de los estudiantes (causando ansiedad o dependencia). Deben establecer límites para mantener la interacción humana significativa y discutir el uso de la IA con las familias.
  
  
• Para la escuela: La institución debe evaluar cómo la IA afecta la interacción social y el sentido de pertenencia. También deben considerar el impacto ambiental y social al seleccionar herramientas y fomentar que los alumnos usen la IA para abordar problemas reales de la sociedad.

6. Privacidad y gobernanza de datos

Dado que las escuelas manejan una gran cantidad de datos personales y de comportamiento (clics, tiempos de interacción), esta dimensión es crítica para cumplir con el RGPD y la Ley de IA.

• Para los docentes:
  • Conocimiento de los datos: Deben saber exactamente qué datos personales o de aprendizaje recopila la herramienta.
  • Minimización de datos: Es vital evitar introducir información sensible o identificable de los alumnos en herramientas de IA, siguiendo las reglas de privacidad de la escuela.
  • Explicación al alumnado: Deben explicar a los estudiantes cómo se usarán y almacenarán sus datos al usar la herramienta.
    
    
• Para la escuela:
  • Seguridad y anonimato: Implementar medidas para que los datos sensibles estén anonimizados y solo sean accesibles a personal autorizado.
  • Cumplimiento legal: Confirmar que todas las herramientas cumplen con el RGPD, la Ley de IA y las leyes nacionales de protección de datos.
  • Control de configuración: La escuela debe poder personalizar o restringir los ajustes de privacidad de las herramientas para proteger mejor al alumnado.
  • Evaluaciones de impacto: Realizar evaluaciones de impacto de protección de datos (DPIA) y de derechos fundamentales (FRIA) antes de implementar sistemas de IA de alto riesgo.

7. Robustez Técnica y Seguridad 

Se refiere a la resistencia ante ataques, la ciberseguridad, la exactitud y la fiabilidad.

• Para los docentes: Deben monitorear si la herramienta funciona de manera fiable o si presenta errores, caídas o respuestas incorrectas frecuentemente. Deben conocer los pasos a seguir en caso de una brecha de datos o un mal funcionamiento técnico.
  
  
• Para la escuela: Es responsabilidad de la escuela verificar la fiabilidad antes del uso y establecer protocolos formales para reportar fallos y salvaguardar a los estudiantes. Deben confirmar que los proveedores cumplen con normativas como la Ley de Ciberseguridad de la UE.

8. Rendición de Cuentas 

Abarca la auditabilidad, la minimización y el reporte de impactos negativos, y los mecanismos de reparación.

• Para los docentes: Deben saber qué hacer si el sistema sugiere algo inadecuado y sentirse seguros para actuar. Deben tener canales para dar retroalimentación sobre la mejora del sistema.
  
  
• Para la escuela: Debe existir una división clara de responsabilidades entre docentes, estudiantes y otros actores. La escuela necesita un proceso de evaluación para asegurar que la IA se alinee con los valores educativos y una estrategia para actualizar estos procedimientos según cambien las necesidades.

Pasos para la Integración Práctica

1. Revisión interna: Evaluar las herramientas actuales y el propósito de los datos recopilados.
2. Políticas escolares: Establecer procedimientos claros que definan comportamientos aceptables e inaceptables.
3. Alfabetización en IA: Participar en formación continua y comunidades de práctica para actualizar las competencias digitales y entender los riesgos y limitaciones de las nuevas tecnologías.

En conclusión, las directrices para los docentes sobre el uso ético y responsable de la inteligencia artificial (IA) se fundamentan en un enfoque centrado en el ser humano, donde la tecnología debe estar al servicio de las personas y los educadores actúan como guardianes éticos de sus estudiantes.

3. Privacidad

3.1 Datificación

Como hemos visto, el desarrollo y la integración de la inteligencia artificial en la educación han puesto de manifiesto diversos dilemas éticos que tienen un elemento común: el uso intensivo de datos, ya que los sistemas de IA necesitan grandes cantidades de información para funcionar. Antes de analizar las implicaciones que esto conlleva en relación a la privacidad y el ámbito educativo, es necesario comprender un fenómeno más amplio que está transformando nuestra sociedad: la datificación.

La datificación es el proceso de convertir aspectos de la vida, actividades o fenómenos en datos cuantificables que pueden almacenarse, analizarse y utilizarse con tecnología. Significa transformar lo que hacemos o lo que ocurre en números o registros digitales.

Hablamos de datificación por ejemplo cuando una apliación registra tus pasos diarios con el móvil o un reloj inteligente; o cuando una tienda online guarda tu historial de compras para recomendar productos. Otro ejemplo sería el relacionado con plataformas como TikTok o Instagram, donde cada interacción (ver un video, darle like, compartirlo) se convierte en datos que el sistema usa para decidir qué contenido mostrarte después.  

En todos estos casos, las acciones humanas o eventos se convierten en datos que luego pueden analizarse. Entre otras cosas sirve para:

• Analizar comportamientos y tendencias.
• Crear sistemas inteligentes como los de Inteligencia Artificial o Ciencia de Datos.
• Personalizar servicios (recomendaciones, publicidad, etc.).
• Tomar decisiones basadas en datos.

Así pues, la datificación es la transformación de la realidad en datos digitales para analizarlos y utilizarlos.

La datificación es clave para crear sistemas de Inteligencia Artificial porque estos sistemas aprenden analizando grandes cantidades de datos. Cuantos más datos existen sobre un fenómeno, mejor será el sistema reconociendo patrones, haciendo predicciones y tomando decisiones, como, por ejemplo, filtrar correos basura.

La IA compara los datos actuales con millones de datos anteriores para decidir qué acción es más adecuada. Cuantos más datos se generan mediante la datificación, más aprende el sistema y más precisas se vuelven sus respuestas o recomendaciones.

La datificación proporciona la materia prima (datos) que necesitan los sistemas de Inteligencia Artificial para aprender, predecir, automatizar tareas y mejorar continuamente. Sin datos suficientes, la IA no podría funcionar de forma eficaz.

En el capítulo "Problematizar la IA generativa en educación: metáforas, tensiones y horizontes posibles" (Martins 2024), Mariana Ferrarelli y Paola Ricaurte Quijano expresan lo siguiente:

En el marco de la datificación y el desarrollo de la IA generativa, las grandes compañías tecnológicas adquieren una posición dominante gracias a las infraestructuras digitales que controlan. En un escenario cada vez más mediado por algoritmos y por modelos económicos basados en la explotación de datos, estas empresas no solo poseen gran parte de la información disponible, sino que también determinan cómo se procesa, interpreta y aplica mediante sistemas algorítmicos poco transparentes y susceptibles de contener sesgos.

Esta acumulación de poder, unida a la progresiva incorporación de estas tecnologías en el ámbito educativo, abre debates relevantes sobre el riesgo de que la educación dependa cada vez más de infraestructuras y programas privados. Asimismo, plantea preocupaciones relacionadas con la protección de la privacidad y con la posibilidad de que prácticas de vigilancia digital se normalicen dentro de los entornos educativos.

Además, la UNESCO en su "Guía para el uso de IA generativa en educación e investigación" (2024) advierte sobre los riesgos de la "plataformización" y la pérdida de soberanía de los datos educativos. Una recomendación notable de la UNESCO es la necesidad de establecer límites de edad para el uso de herramientas de IA generativa, sugiriendo los 13 años como umbral para proteger el desarrollo cognitivo de los menores.

De forma voluntaria, puedes continuar con este vídeo para seguir reflexionando:

Así que por un lado, la datificación permite desarrollar herramientas basadas en Inteligencia Artificial y Analítica de datos al servicio pedagógico de profesorado, alumnado y gestores educativos, ya que permiten analizar grandes cantidades de información sobre los procesos de enseñanza-aprendizaje; y gracias a ello, es posible identificar dificultades, mejorar la toma de decisiones y optimizar la gestión educativa.

Sin embargo, al mismo tiempo, también plantea problemas y dilemas éticos importantes, como la protección de la privacidad de los datos, el posible uso indebido de la información recopilada o la generación de sesgos que pueden aumentar las desigualdades educativas.

3.2 Que tus datos te acompañen...

El proceso de datificación implica que cada vez más aspectos de la actividad educativa —desde la participación en plataformas digitales hasta los resultados académicos o las interacciones en línea— se transforman en datos que pueden ser almacenados y analizados. Es el uso de estos datos lo que plantea importantes cuestiones relacionadas con la privacidad.

Podemos definir la privacidad como el derecho a mantener el control sobre la información personal y a proteger la vida privada frente a accesos o usos no autorizados. En términos generales, la privacidad protege aspectos de la vida personal como: la información personal (nombre, dirección, datos de salud, etc.), las comunicaciones privadas, la actividad en internet, la vida familiar y personal...

Muchos de los problemas éticos de la IA surgen precisamente de su capacidad para recopilar, analizar e inferir información sobre las personas a partir de grandes cantidades de datos. Esto abre importantes interrogantes sobre hasta qué punto estos sistemas pueden afectar a la intimidad, la autonomía y los derechos de las personas. En este contexto, la privacidad se convierte en un elemento central del debate ético sobre la IA. Entre los aspectos que generan mayor debate destacan los siguientes:

Monitorización del aprendizaje

Los sistemas de IA pueden analizar grandes volúmenes de datos para identificar patrones de aprendizaje, detectar dificultades y adaptar los contenidos a las necesidades de cada estudiante. Esto permite personalizar el aprendizaje, ofrecer apoyo específico a quienes lo necesitan y detectar de forma temprana posibles problemas académicos. Es decir, esta recopilación de datos sobre el comportamiento del estudiante, tiempo de estudio, ritmo de trabajo, errores frecuentes o forma de interactuar con la plataforma, puede generar perfiles muy detallados de cada alumno.

Si estos datos se utilizan de forma inadecuada, pueden dar lugar a formas de perfilación invasivas o discriminatorias, ya que con estos datos, el sistema podría predecir su rendimiento futuro o clasificarlo según su probabilidad de éxito académico, lo que podría influir en las oportunidades o recursos que se le ofrecen.

El siguiente vídeo sobre algunas aulas en centros educativos en China muestra con claridad a qué nos referimos con este análisis predictivo y perfilación del alumnado realizado por la IA:

*Vídeo únicamente ilustrativo sobre el análisis predictivo y perfilación del alumnado con IA

Es menester mencionar que la Ley de IA Europea en su artículo 5 prohíbe:

f) la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA para inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad.

Tecnologías de reconocimiento

La IA ha impulsado el desarrollo de tecnologías como el reconocimiento facial, de voz o de patrones de comportamiento. Estas herramientas permiten identificar o seguir a personas de forma automática y en tiempo real. Aunque pueden tener aplicaciones útiles, por ejemplo en seguridad o autenticación a la hora de desbloquear el móvil, una app del banco, etc, también pueden facilitar formas de vigilancia mucho más invasivas y precisas, capaces de registrar movimientos, actividades o interacciones de los individuos en espacios públicos y privados.

En el ámbito educativo pueden utilizarse para verificar la identidad en exámenes en línea, controlar la asistencia o mejorar la accesibilidad mediante sistemas de reconocimiento de voz. Sin embargo, como hemos visto en el vídeo anterior, pueden introducir niveles elevados de vigilancia sobre el alumnado, generando una sensación constante de control y planteando dudas sobre la proporcionalidad y el respeto a la intimidad. 

Reidentificación de datos anonimizados

El uso de grandes conjuntos de datos educativos permite realizar investigaciones que ayudan a mejorar los métodos de enseñanza, evaluar políticas educativas o diseñar herramientas pedagógicas más eficaces. La anonimización de los datos pretende precisamente permitir este tipo de análisis sin comprometer la identidad de los estudiantes. Sin embargo, si se combinan distintas fuentes de información adicional, las técnicas avanzadas de IA pueden detectar patrones que permitan reidentificar a personas dentro de conjuntos de datos supuestamente anónimos, algo que antes resultaba mucho más difícil sin el uso de estas tecnologías. En el ámbito educativo, esto podría revelar información sensible sobre el rendimiento académico o las dificultades de estudiantes concretos, afectando a su privacidad.

Automatización de decisiones

La automatización basada en IA puede ayudar a gestionar grandes volúmenes de información educativa, ofrecer recomendaciones personalizadas de contenidos, orientar a los estudiantes en su proceso de aprendizaje o identificar qué recursos pueden resultar más adecuados para cada perfil. 

Sin embargo, si los sistemas están sesgados o mal diseñados, pueden producir decisiones injustas o discriminatorias, por ejemplo al evaluar el rendimiento del alumnado.

Además, cuando las decisiones se toman de forma automatizada, puede resultar más difícil entender cómo se han tomado o cuestionarlas, lo que plantea problemas de transparencia y responsabilidad. Un ejemplo ilustrativo es el debate ético sobre cómo debería actuar un coche autónomo en una situación de accidente inevitable, donde el sistema podría tener que elegir entre distintos daños posibles.

Aquí puedes acceder a la máquina de la moral donde se plantean algunos dilemas. Es una plataforma para recopilar perspectiva humana sobre las decisiones morales tomadas por las máquinas inteligentes, como los coches autónomos.

En conjunto, estos ejemplos muestran que las mismas tecnologías que pueden mejorar la educación y hacerla más personalizada y eficiente también pueden generar riesgos significativos para la privacidad y los derechos del alumnado, lo que hace necesario un uso responsable, transparente y éticamente fundamentado de la inteligencia artificial en el ámbito educativo.

3.3 Derechos y Principios Digitales

Para acabar este capítulo sobre privacidad, señalaremos la Carta de Derechos Digitales del Gobierno de España y la Declaración sobre los Derechos y Principios Digitales Europeos.

Derechos digitales

La Carta de derechos digitales que se presenta no trata de crear nuevos derechos fundamentales sino de perfilar los más relevantes en el entorno y los espacios digitales o describir derechos instrumentales o auxiliares de los primeros. Se trata de un proceso naturalmente dinámico dado que el entorno digital se encuentra en constante evolución con consecuencias y límites que no es fácil predecir. (Carta Derechos Digitales)

Además de enumerarlos, detallamos en el desplegable algunos de los más relevantes para la práctica educativa en cuanto a la privacidad y en relación a la integración de la inteligencia artificial:

DERECHOS DE LIBERTAD

1. Derechos y libertades en el entorno digital
2. Derecho a la identidad en el entorno digital

4. Derecho al pseudonimato
5. Derecho de la persona a no ser localizada y perfilada
6. Derecho a la ciberseguridad
7. Derecho a la herencia digital

DERECHOS DE IGUALDAD

8. Derecho a la igualdad y a la no discriminación en el entorno digital
9. Derecho de acceso a Internet

11. Accesibilidad universal en el entorno digital
12. Brechas de acceso al entorno digital

DERECHOS DE PARTICIPACIÓN Y DE CONFORMACIÓN DEL ESPACIO PÚBLICO

13. Derecho a la neutralidad de Internet
14. Libertad de expresión y libertad de información
15. Derecho a recibir libremente información veraz
16. Derecho a la participación ciudadana por medios digitales

18. Derechos digitales de la ciudadanía en sus relaciones con las Administraciones Públicas

DERECHOS DEL ENTORNO LABORAL Y EMPRESARIAL

19 .Derechos en el ámbito laboral
20. La empresa en el entorno digital

DERECHOS DIGITALES EN ENTORNOS ESPECÍFICOS

21. Derecho de acceso a datos con fines de archivo en interés público, fines de investigación científica o histórica, fines estadísticos, y fines de innovación y desarrollo
22. Derecho a un desarrollo tecnológico y un entorno digital sostenible
23. Derecho a la protección de la salud en el entorno digital
24. Libertad de creación y derecho de acceso a la cultura en el entorno digital

26. Derechos digitales en el empleo de las neurotecnologías

En conjunto, estos derechos subrayan que el uso educativo de la tecnología y de la inteligencia artificial debe orientarse a proteger a los menores, garantizar su privacidad, promover la igualdad y desarrollar una ciudadanía digital crítica y responsable.

Carta de Derechos Digitales del Gobierno de España

Para más información puedes consultar la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales pinchando aquí.

Principios digitales europeos

La declaración sobre los derechos y principios digitales europeos firmada por la UE, que es referencia para todos y guía para los responsables políticos y las empresas que desarrollan tecnologías digitales, se basa en estos principios:

1. Personas en el centro
Las tecnologías digitales deben proteger los derechos de las personas, apoyar la democracia y garantizar que todos los agentes digitales actúen de manera responsable y segura. 

2. Solidaridad e inclusión
La tecnología debe unir, no dividir, a las personas. Todos deben tener acceso a internet, a las capacidades digitales, a los servicios públicos digitales y a unas condiciones de trabajo justas.

3. Sostenibilidad
Los dispositivos digitales deben apoyar la sostenibilidad y la transición ecológica. La gente necesita saber sobre el impacto ambiental y el consumo de energía de sus dispositivos.

4. Libertad de elección
Las personas deben beneficiarse de un entorno en línea justo, estar a salvo de contenidos ilícitos y nocivos y estar facultadas cuando interactúen con tecnologías nuevas y en evolución, como la inteligencia artificial.

5. Participación
Los ciudadanos deben poder participar en el proceso democrático a todos los niveles y tener control sobre sus propios datos. Se destaca la necesidad de crear un entorno digital que proteja a las personas de la desinformación, la manipulación de la información y otras formas de contenidos nocivos, como el acoso.

6. Seguridad y protección
Todos deben tener acceso a tecnologías, productos y servicios digitales seguros, protegidos y que protejan la privacidad, garantizando que todos tengan un control efectivo sobre sus datos personales y no personales en consonancia con el Derecho de la UE. 

Los niños y los jóvenes deben estar capacitados para tomar decisiones seguras e informadas y expresar su creatividad en el entorno digital. La UE y los Estados miembros también se comprometen a promover experiencias positivas para los niños y los jóvenes en un entorno digital seguro y adaptado a su edad, y a protegerlos contra los contenidos nocivos e ilegales, la explotación, la manipulación y el abuso en línea. 

En el contexto del Espacio Europeo de Educación, el despliegue de la IA se rige por un principio fundamental: debe estar al servicio del ser humano y del bien común, respetando los derechos fundamentales y los valores democráticos.

Así pues, la integración de la inteligencia artificial (IA) en el sistema educativo no constituye simplemente una actualización de las herramientas pedagógicas, sino una transformación sistémica que exige una sólida base ética y un marco jurídico riguroso del que hablaremos en el capítulo siguiente.

4. Marco legal

4.1 Reglamento Europeo IA

Introducción

El pilar central de la normativa europea es el Reglamento (UE) 2024/1689, conocido como la Ley de Inteligencia Artificial (AI Act). Este documento representa la primera ley integral sobre IA en el mundo y establece las reglas de juego para cualquier sistema que se comercialice o utilice en territorio comunitario.

Tiene por objeto fomentar el desarrollo y la adopción de sistemas de IA seguros y fiables en todo el mercado único de la Unión Europea, tanto en el sector privado como en el público, garantizando al mismo tiempo la salud y la seguridad de los ciudadanos de la UE y el respeto de los derechos fundamentales.

La Ley de IA entrando en vigor (María de Mingo + Gemini)

Aunque ya ha ido apareciendo a lo largo de los capítulos de este curso, es necesario hacer zoom out para conocer tanto algunas cuestiones generales, como otras que afectan al sector educativo. 

Niveles de Riesgo

En este Reglamento se establece una clasificación de los sistemas de IA en función del riesgo que suponen para la sociedad. Para la formación docente, es imperativo desglosar cómo este reglamento clasifica los sistemas de IA, ya que la educación ha sido designada como un ámbito de "alto riesgo" en algunos de sus puntos. Cuanto mayor sea el riesgo de causar daños a la sociedad, más estrictas serán las normas, culminando con la prohibición en aquellos casos que hayan sido clasificados como riesgo inadmisible o inaceptable. 

Pirámide AI Act - Niveles de riesgo

Riesgo inadmisible - Prácticas prohibidas

Todos los sistemas de IA considerados una clara amenaza para la seguridad, los medios de subsistencia y los derechos de las personas son clasificados como Riesgo inadmisible y están prohibidos. El Reglamento prohíbe las siguientes prácticas de IA con un nivel de riesgo inaceptable:

• Técnicas subliminales o engañosas para manipular el comportamiento de individuos o grupos, mermando su capacidad para tomar decisiones con conocimiento de causa y causando un daño potencial.
• Explotación de vulnerabilidades basadas en la edad, la discapacidad o las situaciones socioeconómicas para manipular a individuos o grupos, con el consiguiente perjuicio potencial.
• Puntuación social, evaluando o clasificando a las personas en función de su comportamiento o características, lo que da lugar a un trato injusto no relacionado con el contexto en el que se recogieron los datos o de manera desproporcionada a la gravedad del comportamiento; por ejemplo a la hora de acceder a un empleo.
• Evaluación del riesgo criminal, predicción de la probabilidad de cometer un delito basándose únicamente en perfiles o rasgos de personalidad, excepto en investigaciones criminales objetivas y basadas en hechos.
• Obtención de bases de datos de reconocimiento facial a partir de Internet o de cámaras de seguridad sin un objetivo específico.
• Inferencia de emociones en áreas sensibles, como lugares de trabajo o instituciones educativas, a menos que se utilice con fines médicos o de seguridad.
• Categorización biométrica basada en datos para inferir atributos sensibles como raza, religión u opiniones políticas, excepto para su uso legal en el cumplimiento de la ley.
• Identificación biométrica en tiempo real en público por parte de las fuerzas de seguridad, a menos que sea estrictamente necesario para situaciones concretas (por ejemplo, encontrar a personas desaparecidas, prevenir amenazas inminentes o identificar a sospechosos de delitos graves). Esto debe seguir procedimientos legales estrictos, incluida la autorización previa, un alcance limitado y salvaguardias para proteger los derechos y libertades.

Alto riesgo - Educación

La designación de la educación como sector de alto riesgo se debe a que las decisiones tomadas por una IA en este ámbito pueden determinar el curso de la vida académica, profesional y personal de una persona. No obstante, no todos los usos de la IA en educación se clasifican como de alto riesgo, ya que esta categoría se aplica principalmente a aquellos sistemas que intervienen en decisiones relevantes como la admisión o la evaluación del alumnado.

Son considerados de alto riesgo los sistemas de IA utilizados para determinar el acceso o admisión a centros, evaluar resultados del aprendizaje, valorar el nivel educativo adecuado o supervisar comportamientos prohibidos durante los exámenes.

Estos sistemas de IA deben cumplir con los requisitos estipulados en los artículos 8 al 17 de la ley, es decir, están sujetos a obligaciones estrictas antes de que puedan comercializarse:

• Sistemas adecuados de evaluación y mitigación de riesgos
• Alta calidad de los conjuntos de datos que alimentan el sistema para minimizar los riesgos de resultados discriminatorios
• Registro de la actividad para garantizar la trazabilidad de los resultados
• Documentación detallada que proporcione toda la información necesaria sobre el sistema y su finalidad para que las autoridades evalúen su cumplimiento
• Información clara y adecuada al implementador
• Medidas adecuadas de supervisión humana
• Alto nivel de robustez, ciberseguridad y precisión

Casos alto riesgo en Educación y FP 

En cuanto a la protección de los derechos fundamentales y el uso de sistemas de IA de alto riesgo, la Ley IA dice que:

Antes de que un sistema de IA de alto riesgo sea desplegado por entidades que prestan servicios públicos, debe evaluarse su impacto sobre los derechos fundamentales (art.27). Los sistemas de IA de alto riesgo y las entidades que los utilicen deben registrarse en una base de datos de la UE (agosto 2027).

Además de los proveedores y distribuidores de sistemas de IA y de las entidades, los centros educativos y docentes podemos ser identificados como responsables del despliegue bajo el Reglamento Europeo de IA, por lo que también adquirimos responsabilidades si utilizamos sistemas de IA en los casos mencionados anteriormente, clasificados como de alto riesgo. 

Algunas de las principales responsabilidades a la hora de desplegar estos sistemas son:

• Uso conforme a las instrucciones: adoptar medidas técnicas y organizativas adecuadas para garantizar que utilizan los sistemas siguiendo las instrucciones de uso facilitadas por el proveedor.
• Supervisión humana: obligación de encomendar la supervisión de estos sistemas a personas físicas que posean la competencia, formación y autoridad necesarias para vigilar su funcionamiento y prevenir riesgos.
• Vigilancia y reporte: vigilar el funcionamiento del sistema y, en caso de considerar que presenta un riesgo o detectar un incidente grave, deben informar inmediatamente al proveedor o distribuidor y a la autoridad de vigilancia del mercado, suspendiendo el uso del sistema si es necesario.
• Calidad de los datos de entrada: asegurarse de que los datos que introducen en el sistema sean pertinentes y suficientemente representativos, en la medida en que tengan control sobre ellos.
• Conservación de registros: obligación de conservar los archivos de registro (logs) generados automáticamente por el sistema durante al menos seis meses, para permitir la trazabilidad del funcionamiento si fuera necesario.
• Deber de información: si toman decisiones o ayudan a tomarlas basándose en estos sistemas, deben informar a las personas físicas, de que están siendo objeto del uso de una IA de alto riesgo.
• Evaluación de impacto: En el caso de centros que sean organismos de Derecho público o entidades privadas que presten servicios públicos, deben realizar una evaluación de impacto relativa a los derechos fundamentales antes de poner el sistema en funcionamiento.

Además, el reglamento subraya la importancia de la alfabetización en materia de IA, instando a que los responsables del despliegue garanticen que su personal tenga un nivel de conocimientos suficiente para operar estos sistemas de forma informada y segura.

Riesgo limitado y mínimo

Se considera que todos los demás sistemas de IA presentan un riesgo limitado, por lo que el Reglamento no introduce más normas.

Evaluación y revisión

La Comisión evalúa cada año la necesidad de modificar la lista de usos de alto riesgo de la IA y la lista de prácticas prohibidas. Antes del 2 de agosto de 2028, y cada cuatro años a partir de entonces, la Comisión evaluará e informará sobre lo siguiente:

• la adición o ampliación de la lista de categorías de alto riesgo.
• las modificaciones de la lista de sistemas de IA que requieren medidas de transparencia adicional.
• las modificaciones para mejorar la supervisión y la gobernanza.

Entrada en vigor

La Ley Europea de Inteligencia Artificial (AI Act) tiene una entrada en vigor gradual. Las fechas clave son:

• 1 de agosto de 2024: la ley entra formalmente en vigor tras su publicación en el Diario Oficial de la UE el 12 de julio de 2024.

• 2 de febrero de 2025: empiezan a aplicarse las prohibiciones de ciertos usos de IA y las obligaciones de alfabetización en IA.

• 2 de agosto de 2025: entran en aplicación las normas para modelos de IA de propósito general (GPAI) y parte del sistema de gobernanza. 

• 2 de agosto de 2026: la mayor parte de las obligaciones del AI Act empieza a aplicarse y comienza su aplicación general en los Estados miembros.

• 2 de agosto de 2027: se aplican los requisitos para algunos sistemas de IA de alto riesgo integrados en productos regulados (por ejemplo, ciertos dispositivos o maquinaria). 

Timeline AI Act (María de Mingo+Gemini)

En la Plataforma única de información sobre la ley de IA dispones de herramientas para consultar y navegar fácilmente por la ley además de realizar consultas. Para acceder pincha aquí.

Aquí puedes consultar también un resumen general de la ley.

Resumen

La Ley de IA establece requisitos jurídicamente vinculantes para los sistemas de IA y obligaciones para los operadores (incluidos proveedores y desplegadores). Una vez que la AI Act entre plenamente en vigor, las instituciones educativas, cuando sean consideradas usuarias de herramientas de IA de alto riesgo, podrán basarse en la evaluación de conformidad realizada por el proveedor, al tiempo que deberán cumplir sus propias responsabilidades como desplegadores conforme a la normativa.

Para los centros educativos y el profesorado las directrices éticas mencionadas en el capítulo anterior pueden proporcionar una mayor claridad sobre lo que exige la legislación en la práctica cotidiana. Además es importante hacer hincapié en la alfabetización en IA por parte de profesorado y alumnado; puedes recordar y consultar los marcos existentes aquí.

Por otro lado, las directrices legales estrictas que los docentes deben conocer para evitar riesgos son:

• Prácticas prohibidas: Está prohibido el uso de sistemas de IA para inferir o detectar emociones del alumnado en centros educativos, salvo por motivos de seguridad o médicos.
  
  
• Sistemas de alto riesgo: Las herramientas usadas para evaluar resultados de aprendizaje, monitorear el comportamiento en exámenes, determinar admisiones o seguir el progreso del estudiante se consideran de alto riesgo y requieren una supervisión humana y gobernanza de datos muy estricta.

Ejemplos concretos en el ámbito educativo

En Orientaciones para integrar la IA en centros educativos del Área de Formación del Profesorado del INTEF nos proporcionan los siguientes ejemplos:

• ⚠️ APLICACIÓN DE CORRECCIÓN AUTOMÁTICA DE EXÁMENES: El proveedor de la IA (la empresa que vende, por ejemplo, un software de auto-corrección de exámenes) deberá cumplir ciertos requisitos: entrenar el modelo con datos fiables y no discriminatorios, validar su exactitud, documentar su funcionamiento y pasar una evaluación de conformidad.
  El centro educativo que lo use tendrá que desplegarlo de forma responsable: seguir las instrucciones de uso, supervisar los resultados y contar con personal preparado para intervenir. Estas herramientas nunca deberían funcionar de modo totalmente autónomo sin supervisión docente. Por ejemplo, un software de IA que califica exámenes tipo test o incluso ensayos escritos (por ejemplo, asignando puntuaciones a redacciones de lengua). Esto es posible y legal, siempre y cuando se haga con supervisión y garantías de equidad. Además, los resultados de la IA no deberían emplearse para asignar calificaciones definitivas ni orientaciones en el aprendizaje. 
  En la práctica, un profesor podría usar la IA para agilizar la corrección, pero revisando las respuestas donde la IA presente dudas. La IA puede dar un feedback inicial y el docente confirma o ajusta la nota. ❌ No sería aceptable delegar al 100% la nota final en la IA sin intervención humana. Con un uso adecuado, la corrección automática puede ahorrar tiempo en evaluaciones diarias. Siempre se debe ofrecer al alumnado la posibilidad de revisión humana de sus calificaciones si lo solicita.
  
  
• ⚠️ VIGILANCIA DE EXÁMENES CON IA: Durante la pandemia se popularizaron sistemas de proctoring remoto que usan IA para vigilar exámenes online mediante la cámara del ordenador. Estos programas detectan comportamientos como apartar la mirada constantemente, sonidos ambientales, presencia de otra persona en cámara, etc., y alertan de posible copia. 
  Bajo la Ley de IA, esta práctica se puede emplear, pero es considerada de alto riesgo, lo que impone condiciones estrictas. Por ejemplo, la empresa proveedora del software debe garantizar que el sistema ha sido entrenado para diferentes características físicas (que no penalice injustamente, por ejemplo, a estudiantes con tics nerviosos o discapacidades) y minimizar falsos positivos. El centro educativo, por su parte, debe informar previamente al alumnado de que se usará esta tecnología y debe haber personal supervisando las alertas de la IA en tiempo real o a posteriori. Es decir, si la IA señala que un estudiante concreto "podría estar copiando”, un supervisor humano debe revisar la grabación o evidencias antes de acusar o sancionar. ❌ No sería aceptable anular automáticamente el examen de un estudiante solo porque la IA lo marcó, sin verificación humana. Además, ciertas funciones están vetadas: por ejemplo, si el proctoring intentara analizar las expresiones faciales del alumno/a para saber si está nervioso o mintiendo, eso entraría en reconocimiento emocional, lo cual está prohibido. Igualmente, grabar continuamente al estudiante es invasivo, por lo que debe valorarse la proporcionalidad y cumplir con protección de datos. En definitiva: la vigilancia inteligente de exámenes es legal, pero bajo mucha cautela. De hecho, varios países de la UE ya han cuestionado estas herramientas por privacidad; el Reglamento refuerza que, de usarse, sea con todas las garantías para el alumno (información, supervisión humana, derecho a réplica).
  
  
• ✅ PERSONALIZACIÓN DEL APRENDIZAJE: Un escenario cada vez más común es usar IA para personalizar materiales educativos. Por ejemplo, un sistema de tutorización inteligente que adapte los ejercicios de matemáticas en función de los aciertos/errores del estudiante, o plataformas de aprendizaje de idiomas que ajustan la dificultad según el progreso. Estas aplicaciones son legales y deseables, ya que pueden mejorar la atención a la diversidad en el aula. No se consideran de alto riesgo si la IA NO utiliza los resultados para orientar el proceso de aprendizaje. porque no están tomando decisiones definitivas sobre el alumnado, sino dando recomendaciones. El profesorado sigue teniendo control sobre el currículo y las evaluaciones formales. ⚠️ El Reglamento impone algunas buenas prácticas: asegurar la transparencia y el conocimiento de la persona usuaria. Si un estudiante interactúa con un chatbot educativo o un tutor virtual, debe quedar claro que es una IA y no un humano real respondiendo. Muchos estudiantes jóvenes podrían pensar que hablan con un “profesor online”, así que conviene aclararlo (muchas apps ya lo indican en sus términos, ahora será obligación legal hacerlo de forma accesible). Para el profesorado, usar IA en personalización implica revisar de vez en cuando las sugerencias del sistema, asegurarse de que los contenidos son adecuados al currículo oficial y que no introducen sesgos. Como estas herramientas de IA no deciden notas, ni accesos, el Reglamento solo les aplica obligaciones leves (transparencia). De hecho, se las considera de riesgo limitado, sujeto únicamente a informar a las personas usuarias finales que interactúan con IA, como mencionamos. Por tanto, un centro educativo podría implementar, por ejemplo, un asistente de ayuda con los deberes basado en IA sin necesidad de complejos trámites, más allá de cerciorarse de que el proveedor cumple la normativa y de avisar a la comunidad educativa de su uso. Personalizar no está prohibido; lo que activa alto riesgo es cuando el sistema evalúa resultados (o decide/condiciona itinerarios) con efectos relevantes. Entonces toca régimen de alto riesgo.
  
  
• ✅ ANÁLISIS PREDICTIVO DEL RENDIMIENTO: algunos centros educativos podrían usar sistemas de  IA para predecir qué estudiantes necesitan refuerzo, analizando calificaciones previas, asistencias, etc. Siempre que esto se use como ayuda al docente y no para decidir automáticamente decisiones educativas importantes (calificaciones, expulsiones o repeticiones). Sería similar a emplear analítica de datos: identificar patrones para que luego un humano tome acciones pedagógicas. ⚠️ La diferencia clave es si la IA reemplaza una decisión humana importante (no permitido sin cumplir estrictas condiciones) o si solo apoya o informa al humano (permitido).
  
  
• ✅ IA PARA LABORES ADMINISTRATIVAS: En tareas de administración, la IA es muy útil y no presenta mayores conflictos, siempre que se garantice una protección de los datos personales: por ejemplo, usar algoritmos para optimizar horarios de clase, rutas de transporte escolar, gestión de bibliotecas, planificación de espacios, etc., son usos internos que no afectan directamente a los derechos del alumnado. ⚠️ La priorización automática de acceso a apoyos, becas o plazas es alto riesgo.
  
  
• ✅ GENERACIÓN DE MATERIALES: Usar un chatbot (como ChatGPT, Copilot, Gemini o Claude) para crear situaciones de aprendizaje, rúbricas o adaptar textos a diferentes niveles, siempre que el docente sea quien valide el contenido final está totalmente permitido según esta ley. Si es el alumnado el que interactúa con el chatbot, debe estar informado de que está dialogando con un sistema de IA.
   
• ❌ PROHIBIDO EL USO DE CÁMARAS PARA INFERIR EMOCIONES: Un centro educativo NO puede instalar cámaras o micrófonos con IA para inferir estados emocionales del alumnado (atención, motivación, estrés…) con fines disciplinarios o de evaluación, excepto por motivos médicos o de seguridad muy específicos. Por ejemplo, si hubiese una herramienta para detectar signos de depresión o riesgo de autolesión en estudiantes concretos, podría argumentarse un fin médico/seguridad y quizá cabría (habría que ver caso por caso y otras leyes como protección de datos). Como norma general, analizar las emociones de los estudiante con IA para cualquier otro fin educativo es ilegal. Esto protege la intimidad y evita técnicas intrusivas poco fiables.
  
  
• ❌ APLICACIÓN EDUCATIVA CON INFORMACIÓN SUBLIMINAL: El uso de información subliminal o trucos manipuladores ocultos para enganchar a estudiantes en el uso de la aplicación estaría prohibido. Asimismo las aplicaciones que incitan al estudiante a comportarse de forma perjudicial para sí mismo o para otras personas. 

El Reglamento introduce obligaciones de información cuando pueda surgir un riesgo por falta de transparencia en torno al uso de la IA: 
- En algunos casos, el resultado de la IA generativa debe estar visiblemente etiquetado, como en el caso de los «deepfakes» y los textos destinados a informar al público sobre asuntos de interés público.
- El resultado de la IA generativa debe marcarse como generado por IA de forma legible por máquina.
- La IA diseñada para hacerse pasar por humanos (por ejemplo, un «chatbot») debe informar al humano con el que está interactuando.

También es obligatorio respetar la legislación de la UE sobre derechos de autor.

Sin embargo, en el ámbito de la protección de datos, la ley ha de complementarse con el Reglamento General de Protección de Datos del que hablaremos a continuación.

4.2 Protección de datos

Tras haber analizado el marco que establece la Ley de Inteligencia Artificial de la Unión Europea (AI Act), es necesario abordar ahora el otro gran pilar normativo que regula el uso de la inteligencia artificial cuando implica el manejo de información personal: el RGPD (Reglamento General de Protección de Datos), que exige consentimiento explícito de uso de datos personales, seguridad de datos, notificaciones de brechas y otorga derechos de acceso, rectificación y supresión de los mismos (derecho al olvido). 

En su artículo 8, el RGPD nos habla de las condiciones aplicables al consentimiento del niño en relación con los servicios de la sociedad de la información y dice que 

el tratamiento de los datos personales de un niño se considerará lícito cuando tenga como mínimo 16 años. Los Estados miembros podrán establecer por ley una edad inferior a tales fines, siempre que esta no sea inferior a 13 años.

En España este reglamento se complementa con la Ley Orgánica de Protección de Datos Personales y garantía de los derechos digitales (LOPDGDD), que adapta y desarrolla sus disposiciones en el contexto jurídico nacional. Juntos, estos instrumentos configuran el marco legal fundamental para garantizar que el uso de datos en entornos digitales y educativos respete los derechos y libertades de las personas.

Concretamente, en el artículo 92 de esta ley encontramos que:

Los centros educativos y cualesquiera personas físicas o jurídicas que desarrollen actividades en las que participen menores de edad garantizarán la protección del interés superior del menor y sus derechos fundamentales, especialmente el derecho a la protección de datos personales, en la publicación o difusión de sus datos personales a través de servicios de la sociedad de la información.

Cuando dicha publicación o difusión fuera a tener lugar a través de servicios de redes sociales o servicios equivalentes deberán contar con el consentimiento del menor (si es mayor de 14 años) o sus representantes legales, conforme a lo prescrito en el artículo 7 de esta ley orgánica.

Los datos personales se refieren a cualquier información relacionada con una persona identificada o identificable.

En las directrices éticas de la Comisión Europea, podemos leer que, como responsables del tratamiento, las instituciones educativas deben comunicar de forma clara y accesible cómo procesan los datos personales (artículos 12-15 del RGPD), utilizando un lenguaje conciso y sencillo, especialmente cuando la información está dirigida a menores. El RGPD también exige realizar una evaluación de impacto relativa a la protección de datos (EIPD o DPIA) antes de implementar sistemas, incluidos los de inteligencia artificial, que puedan suponer un alto riesgo para los derechos y libertades de las personas (artículo 35).

Según la AEPD (Agencia Española de Protección de Datos), el responsable del tratamiento de datos son las administraciones educativas en el caso de los centros públicos y los propios centros educativos en los concertados o privados. El profesorado debe utilizar únicamente las aplicaciones, plataformas o servicios autorizados por dicho responsable y adaptar su uso al grado de desarrollo del alumnado. En caso de emplear herramientas o servicios distintos a los establecidos, el profesorado podría asumir la responsabilidad del tratamiento de los datos utilizados.

Para más información sobre cuestiones relativas a la privacidad y a la protección de datos de los menores puedes acceder al Canal Joven de la AEPD. También puedes consultar "Responsabilidades y obligaciones en la utilización de dispositivos digitales móviles en la enseñanza infantil, primaria y secundaria" de la AEPD.

Como docentes, debemos saber que cualquier imagen o vídeo donde una persona sea identificable se considera un dato personal, incluso si se modifica o genera mediante inteligencia artificial. Al subir estas imágenes a una plataforma de IA, se produce una pérdida de control, que limita en la práctica el ejercicio de los derechos de acceso, supresión u oposición: el contenido pasa a manos de una empresa externa que puede conservarlo, crear copias ocultas o utilizarlo para sus propios fines sin que lo sepamos. Este riesgo existe aunque el uso sea puramente lúdico, como crear un avatar o aplicar un filtro, ya que el sistema analiza rasgos físicos y genera metadatos que permanecen en la red.

Además de estos riesgos, existen impactos visibles que pueden dañar gravemente a las personas, como la creación de escenas falsas que parecen reales, la suplantación de identidad o la generación de contenido íntimo sintético. El nivel de precaución debe ser máximo al trabajar con menores de edad, ya que una imagen aparentemente inocente procesada por IA puede derivar en situaciones de acoso, estigmatización o daños psicológicos en el entorno escolar.

Es fundamental entender que tener acceso a una foto no da permiso para transformarla con herramientas digitales. La protección de la privacidad de los estudiantes debe ser siempre la prioridad, por ello profundizaremos un poco más y hablaremos del Derecho de imagen en la próxima página.

4.3 Derecho de imagen

El derecho a la propia imagen está regulado por la Ley Orgánica 1/1982, de 5 de mayo, de Protección Civil del Derecho al Honor, a la Intimidad Personal y Familiar, y a la Propia Imagen.

Toda persona tiene derecho a decidir sobre la utilización que se hace de su imagen. La imagen en el que una persona es identificada o identificable es un dato personal.

Como dice GVA, en el mundo actual, los derechos de imagen han tomado otra dimensión, y en consecuencia, tienen una gran importancia por las razones que se enumeran a continuación:

1. Protección de la privacidad. En un mundo en el que las imágenes y los vídeos se comparten y distribuyen con facilidad a través de las redes sociales y otros medios de comunicación, los derechos de imagen son esenciales para proteger la privacidad de las personas. Permiten a los individuos controlar el uso de su imagen y evitar su explotación sin su consentimiento.
2. Protección de la reputación. Estos derechos también son importantes para proteger la reputación de las personas. Si una imagen se utiliza de manera inapropiada o engañosa, puede afectar negativamente a su reputación. En estos casos, permiten a las personas tomar medidas legales para proteger su reputación y evitar la difusión de información falsa o engañosa.

La IA y el derecho de imagen (María de Mingo+Gemini)

Como docentes es fundamental comprender que el derecho a la imagen protege no solo el aspecto físico, sino también la voz, el nombre y cualquier rasgo identificativo de una persona.

Al ser considerada un dato personal, la ley prohíbe captar, difundir o utilizar la imagen de alguien sin su consentimiento expreso, lo que significa que cada persona tiene el poder total de decidir si permite o no que se tome su foto o vídeo dentro o fuera del entorno educativo. Este derecho es permanente y debe respetarse siempre, ya que permite a cada individuo controlar el uso, difusión o publicación de su propia identidad.

Subir, reenviar a plataformas, redes o sistemas de IA, transformar o generar contenidos visuales a partir de la imagen de una persona supone un tratamiento de datos personales, con independencia de la finalidad perseguida o del carácter aparentemente trivial del uso.    

Además, en la Guía para el uso de IA generativa en educación e investigación de la UNESCO(2024) se ha señalado que los GPTs pueden contravenir leyes como el Reglamento General de Protección de Datos de la Unión Europea (2016) o GDPR, especialmente el derecho de las personas a ser olvidadas, dado que actualmente es imposible eliminar los datos de alguien (o los resultados de esos datos) de un modelo GPT una vez que ha sido entrenado.

Conviene recordar que también son datos personales los resultados académicos del alumnado y su número del expediente académico.

Recomendamos encarecidamente la lectura de "El uso de imágenes de terceros en sistemas de inteligencia artificial y sus riesgos visibles e invisibles" (2026) de la AEPD. Puedes acceder pinchando aquí.

5. Retos y Oportunidades

5.1 Diferentes usos en el ámbito educativo

En el ámbito educativo la IA nos ofrece multitud de oportunidades para enriquecer los procesos de enseñanza y aprendizaje, facilitar la creación de materiales didácticos, apoyar la planificación de actividades y fomentar nuevas formas de interacción con el conocimiento. Utilizada de manera adecuada, puede convertirse en una herramienta de apoyo para el profesorado, ayudando a adaptar contenidos, generar ideas para el aula o estimular el pensamiento crítico del alumnado.

Sin embargo, el contenido producido por la IA generativa puede ser:

• Inexacto o erróneo

• Inapropiado 

• Sesgado

• Sacado de contexto

• Utilizado sin permiso (infracción de la propiedad intelectual)

• Desactualizado o poco fiable

• Baja calidad

Como hemos visto a lo largo de este curso, para aprovechar su potencial de forma responsable es importante que el profesorado adopte criterios claros para integrarla en la práctica educativa de manera ética, segura y pedagógicamente significativa. Para afrontar este reto en la medida de nuestras posibilidades, sugerimos una serie de recomendaciones y buenas prácticas en la página siguiente.

5.2 Recomendaciones y buenas prácticas

Es importante que los profesores actúen con la debida diligencia cuando utilicen una nueva forma de tecnología, examinando los términos de servicio, viendo qué cuestiones de protección y privacidad de datos están asociadas a las tecnologías que se espera que utilicen los estudiantes, lo que algunos investigadores han descrito como una “auditoría tecnoética” del software, aplicaciones y plataformas en el aula

Adams y Groten (Martins 2024)

Antes de introducir una herramienta de IA, es necesario realizar una evaluación básica de riesgos éticos y legales, y el cuerpo docente debe realizar una reflexión previa sobre los siguientes criterios:

Finalidad pedagógica

• Idoneidad: ¿Es la IA la herramienta adecuada para alcanzar el objetivo pedagógico?¿Es adecuada para la etapa educativa?
• Necesidad: ¿Es imprescindible su uso o existen medidas menos intrusivas para la privacidad que logren el mismo aprendizaje?
• Proporcionalidad: ¿Los beneficios educativos son mayores que los riesgos para los derechos del alumnado?

Edad de uso

Según la UNESCO (2024) La mayoría de las aplicaciones de IAGen están diseñadas principalmente para usuarios adultos. Estas aplicaciones con frecuencia implican riesgos sustanciales para los menores, incluyendo la exposición a contenidos inapropiados, así como el potencial de manipulación. Por ello se recomiendan enfáticamente las restricciones por edad para las tecnologías de IA de propósito general, con el fin de proteger los derechos y el bienestar de los niños y niñas. Por ejemplo, los términos de uso de ChatGPT exigen que los usuarios tengan al menos 13 años de edad, y los menores de 18 deben contar con el permiso de sus padres o tutores para utilizar el servicio. 

Es aconsejable que en las primeras etapas (Infantil y Primaria), las herramientas de IA estén gestionadas exclusivamente por el profesorado, aunque se puede iniciar la alfabetización en fundamentos técnicos de IA (por ejemplo mediante herramientas como Learning ML.

Recordamos que el RGPD nos dice que los servicios de la sociedad de la información dirigidos a menores, solo podrán utilizarlos por sí mismos quienes tengan la edad mínima establecida por la normativa aplicable (en España son 14 años). En ningún caso esta edad podrá ser inferior a los 13 años, por lo que los menores de 13 años no pueden utilizar estos servicios. Si el menor no alcanza la edad exigida, será necesario el consentimiento o autorización de quienes ejerzan la patria potestad o tutela.

Además del RGPD y la LOPDGDD, hemos de ceñirnos a los términos de uso y políticas de la herramienta que queremos utilizar en clase, ya que, pudiera ser que aunque la ley limite a 14 años, la política de la propia herramienta exija una edad mínima mayor, como por ejemplo 16 años. 

Términos de uso y políticas de privacidad

Conocimiento de los términos de referencia sobre el uso de la IAGen: al firmar o expresar su consentimiento a los acuerdos de servicio, los usuarios deberían ser conscientes de las obligaciones de acatar los términos de referencia establecidos en el acuerdo y las leyes o normativas que lo respaldan.

Supervisión humana

Para que el uso de una IA sea lícito en el aula, no basta con que el docente esté presente sino que es necesaria una intervención humana real:

• Verificar siempre los resultados de la IA, ya que existe el riesgo de difundir involuntariamente contenido falso. Es menester que el profesorado evalúe críticamente su contenido y fomente en el alumnado una cultura de cuestionamiento y verificación rigurosa.
• No compartir nunca contenido generado por IA sin antes contrastarlo con fuentes de confianza, sitios académicos o plataformas de verificación de datos independientes
• El docente debe tener la competencia y los recursos para revertir las decisiones de la IA atendiendo a criterios académicos.
• La supervisión no puede ser un "gesto simbólico"; debe ser significativa y poder realizarse en cualquier momento del proceso, no solo al final.

Minimización de datos

El uso de herramientas de IA debe realizarse siempre respetando el cumplimiento del RGPD y de la LOPDGDD. Es fundamental reducir al mínimo la introducción de datos personales y proteger la información que se comparte con sistemas externos, por lo que es recomendable valorar herramientas sin necesidad de registro.

Es importante tener en cuenta que los prompts también pueden contener información sensible, ya que muchos sistemas almacenan estas interacciones para mejorar o entrenar sus modelos, lo que puede implicar riesgos si se incluyen trabajos reales de estudiantes. Siempre que sea posible, se debe anonimizar la información, utilizar ejemplos ficticios o sintéticos.

En ningún caso deberían introducirse datos como nombres completos, información identificable de menores, datos de salud, orientación personal o situación familiar. 

Por todo ello, el profesorado también debe educar al alumnado en un uso responsable, enseñándoles a no compartir datos personales y a comprender qué información pueden estar cediendo al utilizar estas herramientas.

Entorno doméstico y la intimidad

Si el docente realiza una actividad de aula con IA, ha de informar a las familias. Además, si solicita el uso de herramientas de IA para tareas en casa, debe considerar que:

• Los sistemas de IA que requieren cámara o micrófono pueden realizar análisis del entorno de estudio del alumno. Esto puede capturar imágenes o sonidos de familiares o detalles de la vida privada que no son necesarios para la función educativa.
• Telemetría y perfilado: muchas aplicaciones de IA realizan tratamientos de datos que van más allá de lo educativo: recogida de datos sobre hábitos de uso, geolocalización o identificadores del dispositivo para fines de marketing o desarrollo de productos.

Etiquetar material hecho con IA

Se recomienda citar y etiquetar adecuadamente el contenido generado con herramientas de IA para garantizar la transparencia y la integridad académica. Además, esta práctica contribuye a fomentar un uso responsable y honesto de la tecnología, tanto por parte del profesorado como del alumnado, promoviendo la reflexión sobre cómo y para qué se emplean estas herramientas en el aprendizaje.

Criterios a tener en cuenta

La AEPD ha publicado en 2026 este decálogo con recomendaciones para proteger la privacidad al usar herramientas de IA.

Desde el INTEF se propone esta lista de chequeo para la validación de herramientas digitales con IA, además del documento "Orientaciones sobre el uso de herramientas digitales en el ámbito educativo desde la perspectiva de la protección de datos",el buscador del Kit digital, y este documento de Buenas prácticas para el profesorado.

Otros enlaces de interés: 
AESIA
Vibe coding
AIDL project

La ética de la IA en educación no se juega solo en grandes principios, sino en qué herramientas elegimos, qué datos usamos, qué explicamos al alumnado y qué decisiones seguimos tomando como humanos.
 
 
 

Finalización del curso

Imagen generada en https://imgflip.com/

Bibliografía y Webgrafía

Legislación

Reglamento de IA 

AI Act

Avance digital-Reglamento IA

Timeline for implementation AI Act

RGPD

LOPDGDD

Ley Orgánica 1/1982, de 5 de mayo, de Protección Civil del Derecho al Honor, a la Intimidad Personal y Familiar, y a la Propia Imagen.

Derechos digitales Gobierno de España

Comisión Europea

Comisión europea Directrices Éticas

https://www.ai4t.eu/wp-content/uploads/2024/01/AI-squad-output_briefing-report-6.pdf

European Commission (2025). Plan de Acción de Educación Digital 2021-2027

Código de buenas prácticas para la industria

AILit

AEPD: 

 https://www.aepd.es/guias/recomendaciones-ia-aepd.pdf

https://www.aepd.es/guias/guia-aepd-uso-de-imagenes-de-terceros-en-sistemas-ia.pdf

https://www.tudecideseninternet.es/infografias/criterios-tratamiento-datos-personales-centros-educativos.pdf

Responsabilidades y obligaciones en la utilización de dispositivos digitales móviles en la enseñanza infantil, primaria y secundaria

OECD

OECD (2026), OECD Digital Education Outlook 2026: Exploring Effective Uses of Generative AI in Education, OECD Publishing, Paris, https://doi.org/10.1787/062a7394-en.

https://oecd.ai/en/dashboards/overview

https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449#monitoring

UNESCO

UNESCO e Inteligencia Artificial

UNESCO (2022).Recomendaciones sobre la ética de la inteligencia artificial. 

UNESCO (2024) Guía para el uso de IA generativa en educación e investigación

UNESCO (2025). Marco de competencias para docentes en materia de IA

UNESCO (2025). Marco de competencias para estudiantes en materia de IA

INTEF

Guía uso IA INTEF

Orientaciones para integrar la IA en centros educativos 

OTROS

Licencias CC IA

Mercado Único Digital 

GVA - GranViaAbogados

LeGardon, Ainara (2022). EL DERECHO DE IMAGEN: DERECHO FUNDAMENTAL DE LA PERSONA E INTANGIBLE DE VALOR

Kai-Fu Lee (2020) Superpotencias de la inteligencia artificial: China, Silicon Valley y el nuevo orden mundial. Traducción Mercedes Vaquero. Ed. Deusto.

Mitchell, Melanie (2024)Inteligencia artificial: Guía para seres pensantes. Capitán Swing Libros

Elizabeth Laird, Maddy Dwyer, and Hannah Quay-de la Vallee (2025) Hand in Hand: Schools’ Embrace of AI Connected to Increased Risks to Students

Ferrara Emilio  (2023)FAIRNESS AND BIAS IN ARTIFICIAL INTELLIGENCE: A BRIEF SURVEY OF SOURCES, IMPACTS, AND MITIGATION STRATEGIES

Ludmila Martins (ed.) (2024). Aspectos éticos y pedagógicos de los datos y la tecnología en Educación. Barcelona: LMI. (Colección Transmedia XXI) 

Jeff Shuford (2024) Examining Ethical Aspects of AI: Addressing Bias and Equity in the Discipline. Journal of Artificial Intelligence General Science JAIGS. Vol.3,Issue 01, March 2024 

https://www.forbesargentina.com/innovacion/alucinaciones-ia-abogado-uso-chatgpt-corte-cito-casos-falsos-puede-ser-duramente-sancionado-n35098

BBC - Deep reading Qué es la lectura profunda y cómo afecta a tu cerebro

https://educacion.bilateria.org/marco-para-la-integracion-de-la-ia-generativa-en-las-tareas-educativas-v-2-revisada

Créditos

José Cariñena Burbano @chefocb CATEDU 

María de Mingo Carranza @mariamdigital CATEDU

Nivel 1: Asistencia técnica IA por OpenAI. (2026). ChatGPT (Versión GPT-5.3) 

Cualquier observación o detección de error en soporte.catedu.es

Los contenidos se distribuyen bajo licencia Creative Commons tipo BY-NC-SA excepto en los párrafos que se indique lo contrario.