1.6 Conciencia de riesgos
Así el cobarde, el temerario, el valiente, lo son relativamente a los mismos objetos. Sólo que sus relaciones con estos objetos son diferentes, pecando los unos por exceso, los otros por defecto. El hombre de valor sabe mantenerse en un justo medio y obrar como lo exige la razón. Los temerarios corren con ardor en busca del peligro; después, cuando este llega, vuelven pié atrás las más veces. Los valientes, por el contrario, serenos antes, sostienen después resueltamente su puesto en la acción.
Aristóteles. Ética a Nicómaco. Libro 3 Capítulo VIII.
Todo cambio profundo en nuestras condiciones de vida nos despierta, a la vez, una mezcla de esperanza y temor. Explorar las posibilidades en una forma de proyectarnos al futuro empleando nuestra inteligencia. Es también una de las causas de la evolución de nuestro cerebro en la hominización. Esta capacidad, basada en el conocimiento, es la que nos permite elegir, siempre a través del polvo de la batalla, el punto de equilibrio entre los cambios deseables y los riesgos que queremos evitar e incluso, cuando la fortuna nos elige, nos permite estar atentos para esquivar sus golpes o agarrar el mechón de pelo antes de que se desvanezca.
La Fortuna. Guido Reni, Public domain, via Wikimedia Commons
Ser conscientes de los riesgos es una necesidad para evitarlos y mitigar o reducir el daño que puede producir una transformación profunda como la llegada de la IA a la educación. El propósito de este apartado no es que la enumeración de estos riesgos nos paralice si no contribuir a generar una cultura compartida que nos permita vigilar juntos y elegir las mejores opciones en este viaje inevitable cuyo rumbo tenemos que decidir colectivamente.
La inteligencia artificial, como todos los desarrollos tecnológicos, no es un sistema neutral, conlleva, como hemos visto en apartados anteriores, cambios socioeconómicos y en la forma de comunicarnos cuya profundidad apenas podemos intuir. Estos cambios llevan aparejados unos riesgos que, en el campo de la educación, adquieren especial relevancia por afectar a menores, procesos formativos y derechos fundamentales.
Riesgo de opacidad y pérdida de comprensión
En el corazón de la integración de la IA reside el fenómeno de la "caja negra", una realidad técnica donde la opacidad de los algoritmos de aprendizaje profundo impide trazar el camino lógico que une un dato de entrada con su resultado final. A diferencia de tecnologías educativas previas que eran transparentes en su funcionamiento mecánico, estos sistemas operan mediante inferencias y patrones complejos que no siempre resultan legibles para el ojo humano. Si el docente utiliza estas herramientas sin comprender sus mecanismos internos, la interacción triangular (profesor-IA-alumno) corre el riesgo de desequilibrarse, desplazando la autoridad del saber desde el juicio pedagógico hacia una "razón" algorítmica cuyas fuentes y sesgos permanecen ocultos tras una interfaz amigable.
Esta pérdida de comprensión puede derivar en una erosión silenciosa de la agencia docente, transformando al profesor en lo que se denomina un "Centauro Inverso": un ejecutor físico de decisiones que han sido predefinidas por una estructura técnica invisible. Al delegar tareas como la evaluación formativa o el diseño curricular a sistemas cuyos criterios de funcionamiento se desconocen, el docente puede verse reducido a un mero supervisor legal de errores que no tiene capacidad de explicar. El peligro aquí no es una rebelión de las máquinas, si no que el profesorado, ante la eficiencia aparente del sistema, renuncie a su rol esencial como "orquestador" y "guía de la razón", aceptando los resultados de la IA simplemente porque parecen verosímiles.
Para mitigar este riesgo, la alfabetización en IA debe trascender el simple aprendizaje de instrucciones o prompts para centrarse en una formación crítica que desmitifique la tecnología. Es fundamental que las comunidades educativas desarrollen los conceptos necesarios para interpretar correctamente las salidas del sistema y entender cómo estas decisiones impactan en el alumnado. Solo a través de este conocimiento técnico y pedagógico el docente podrá mantener su "juicio profesional", validando y respaldando los resultados de la IA para asegurar que la tecnología actúe como un amplificador de la capacidad humana y no como una prótesis que atrofie nuestra autonomía moral.
La ilusión de conocimiento
La inmediatez con la que la IA genera respuestas puede crear una ilusión de conocimiento tanto en el docente como en el alumno. Al obtener resultados instantáneos sin transitar el proceso mental necesario para llegar a ellos, corremos el riesgo de fomentar una inmadurez intelectual disfrazada de eficiencia. Como señala Biesta, la educación es un "riesgo hermoso" porque no es mecánica; intentar hacerla puramente predecible mediante algoritmos podría destruir su esencia transformadora.
El sesgo de la etiqueta algorítmica
Cuando una plataforma clasifica a un estudiante como de "bajo rendimiento" sin ofrecer una justificación pedagógica, estamos ante un ejemplo de conductismo de máquina. En este escenario, el alumno deja de ser un sujeto para convertirse en un objeto de intervenciones algorítmicas. Aceptar estas clasificaciones sin crítica ignora que nuestros estudiantes no son mecanismos simples de estímulo-respuesta, si no individuos con capacidad de crear sentido
Confundir rendimiento con aprendizaje real
Corremos el riesgo de confundir el rendimiento de nuestro alumnado (la capacidad de entregar un producto final pulido) con el aprendizaje real (la integración profunda de conocimientos). Como advierte el informe de la OECD (2026), completar con éxito una tarea educativa usando IA generativa no equivale automáticamente a haber aprendido, ya que estas herramientas pueden actuar como un atajo de productividad en lugar de una herramienta pedagógica. Nuestro objetivo como educadores no es que el alumnado genere producciones elevadas, si no que desarrolle unas competencias reales y sea capaz de integrar lo aprendido de forma autónoma.
Esta discrepancia entre rendimiento y aprendizaje, entre lo que sabe y lo que puede hacer, da lugar a un espejismo de maestría, donde la IA mejora la calidad aparente del trabajo del alumno sin que exista una adquisición real de conocimiento. Al obtener respuestas instantáneas, el estudiante puede creerse sabio, pero si carece del proceso mental necesario para llegar a esa conclusión, el resultado es una inmadurez intelectual disfrazada de eficiencia.
Esta dinámica fomenta una pereza metacognitiva o "descarga cognitivo" (offloading), donde se eliminan la fricción cognitiva y el esfuerzo necesarios para aprender, llevando al alumnado a saltarse fases críticas como el diagnóstico, la evaluación y la iteración de sus propias ideas.
Finalmente, este fenómeno se manifiesta claramente en el denominado efecto "muleta". Diversos estudios indican que, aunque los estudiantes que usan IA sin restricciones mejoran su rendimiento en las prácticas diarias, rinden significativamente peor en exámenes individuales posteriores donde no tienen acceso a la herramienta. Para un docente, esto equivale a la diferencia entre un alumno que recorre una distancia en coche y otro que la corre a pie: el primero llega antes, pero solo el segundo fortalece sus capacidades. Por ello, es vital que la IA se integre bajo un diseño intencional que priorice el desarrollo humano y la autonomía moral sobre la mera producción algorítmica
Dependencia tecnológica y erosión de la autonomía docente
La automatización de decisiones en el aula nos sitúa en un dilema donde la eficiencia puede colisionar con la esencia misma de la filosofía de la educación. Al integrar sistemas que realizan análisis predictivos y asisten en la toma de decisiones, corremos el riesgo de que la IA deje de ser un recurso pasivo para convertirse en un actor que condicione la trayectoria del aprendizaje. Este fenómeno puede derivar en un "conductismo de máquina", donde el juicio pedagógico humano es desplazado por una optimización algorítmica que ignora tanto la capacidad del individuo para existir como un sujeto autónomo como la existencia de actores contextuales y vitales no computables. Como docentes, nuestra labor no es solo aceptar resultados verosímiles, sino ejercer ese discernimiento crítico para distinguir cuándo una intervención potencia el desarrollo y cuándo atrofia el pensamiento independiente.
Esta deriva nos conduce al peligro de la delegación cognitiva, un escenario donde el profesional renuncia a sus funciones fundamentales de diseño, evaluación y reflexión profunda. Si permitimos que la tecnología sea el "cerebro" que dicta la ruta y nosotros simplemente su ejecución física, caeríamos de nuevo en el modelo del "Centauro Inverso" propuesto por Cory Doctorow. En esta dinámica, el docente deja de ser un orquestador de la autonomía para convertirse en un operario de una tecnoestructura que le dicta qué hacer, perdiendo la oportunidad de enfrentar la alteridad y el "riesgo hermoso" que supone toda educación genuina. La IA debe funcionar como un "exoesqueleto" que amplifique nuestra labor, nunca como una prótesis que nos exima de la responsabilidad de pensar y sentir el aula.
Finalmente, existe una asimetría de poder entre los proveedores tecnológicos y las comunidades educativas que no podemos ignorar. No debemos olvidar que detrás de estos sistemas hay intereses comerciales que, como explicamos antes, buscan la "humanización de la IA" como estrategia de éxito, intentando que prefiramos la interacción con máquinas sin fricciones antes que el complejo y problemático diálogo humano. Frente a esto, el principio clave debe ser la soberanía tecnológica: la IA debe integrarse de forma intencionada y reflexivo bajo el mando del juicio profesional y de los usuarios, es decir, bajo la tutela de la comunidad educativa. La educación debe seguir siendo, en última instancia, un espacio gobernado por valores humanos donde el docente actúe como guía de la razón y garante de los derechos digitales de su alumnado.
Riesgo de alucinaciones en la IA
El fenómeno de las alucinaciones en la IA representa un desafío profundo para la verdad educativa, ya que estos sistemas están diseñados para priorizar la verosimilitud sobre la veracidad. Como advierte la OCDE (2026), estos modelos pueden generar información que resulta totalmente plausible y bien estructurada pero que es fundamentalmente errónea, llegando incluso a fabricar citas bibliográficas inexistentes. Esto crea una suerte de "caverna digital" donde alumnos y docentes pueden terminar interactuando con "sombras lingüísticas": proyecciones estadísticas de textos que no tienen nada que ver con la realidad del mundo.
Aceptar estos resultados sin un filtro riguroso transforma el aula en un espacio de "infodemia", donde el tsunami de datos desaloja la acción racional y la comprensión profunda. Para contrarrestar este riesgo, los docentes debemos tratar de ser el último "guía de la razón humana", ejerciendo su juicio profesional para validar y respaldar cada resultado antes de que sea integrado en el proceso de aprendizaje. El objetivo es que nuestro alumnado no caiga en una confianza ciega en la "razón" algorítmica a través de una alfabetización crítica que permita usar la IA como un amplificador del saber humano.
La parábola de los ciegos. Pieter Brueghel el Viejo (1568).
Sesgos inherentes al entrenamiento y diseño
El riesgo de sesgos en la IA no es una simple anomalía técnica, sino una característica intrínseca de sistemas que seleccionan y estructuran la información bajo criterios opacos. Como advierte el informe de la OCDE (2026), estos modelos tienden a reproducir y amplificar perspectivas propias de culturas angloparlantes y occidentales, lo que puede silenciar realidades o valores que no resultan convenientes para los intereses de quienes programan el algoritmo. Toda selección de contenidos parte inevitablemente de un sesgo o una perspectiva; sin embargo, el peligro aquí radica en que la IA tiene el poder de "iluminar" ciertas partes de la realidad mientras deja otras en la más absoluta oscuridad.
Este hincapié no es solo debido a unas malas intenciones del diseñador si no también a la cantidad histórica de datos estructurados generados por cada uno de los sectores de la sociedad en función de su riqueza, país de origen o de razones históricas. El riesgo socioeducativo es la desmaterialización de la diversidad.
EL EJEMPLO DE LOS NAZIS AFRO y de las imagenes de alumnos y alumnas..
Privacidad y Soberanía
La protección de la intimidad en la era del dato: La integración de la IA en las aulas no es solo una cuestión de eficacia pedagógica, sino un desafío directo a la protección de los derechos digitales de toda la comunidad educativa, especialmente los del alumnado por ser menor de edad. Es importantes que los docentes comprendamos los aspectos éticos y normativos necesarios para salvaguardar estos derechos. Introducir datos sensibles en sistemas externos sin las debidas garantías puede vulnerar la privacidad y la seguridad de los menores, tal como advierte la UNESCO al señalar que el suministro algorítmico de información plantea serias dudas sobre la confidencialidad y el manejo ético de los datos personales.
He aquí algunos ejemplos de datos privados de nuestro alumnado que no podemos subir a aplicaciones de inteligencia artificial online sin un permiso explícito de sus tutores legales específico para ese uso:
- Imágenes de nuestro alumnado para convertirlos en dibujos animados
- Examenes para ser corregidos
- Voces de nuestro alumnado para crear una canción o una IA que hable como ellos
VOY POR AQUI
Soberanía tecnológica frente al determinismo
La irrupción de la IA no debe entenderse como un destino inevitable dictado por leyes naturales, sino como el resultado de decisiones humanas que deben someterse al debate público y pedagógico. La búsqueda de una verdadera soberanía tecnológica permite a las comunidades educativas elegir herramientas que sean acordes a sus valores y proyectos educativos, en lugar de ser meras receptoras pasivas de tecnologías impuestas. Este enfoque busca proteger el "florecimiento humano" en el corazón de cada aula, asegurando que la IA sirva para fortalecer las capacidades de la comunidad y no para crear dependencias de estructuras ajenas a los fines de la educación.
El marco legal como garantía de derechos
Frente a los riesgos de despersonalización y desigualdad, la respuesta institucional debe combinar una regulación estricta, como la impulsada por la Unión Europea para sistemas de alto riesgo, con una alfabetización crítica profunda. Según el Reglamento de Inteligencia Artificial (AI Act), esta alfabetización debe dotar a los responsables y usuarios de los conceptos necesarios para tomar decisiones con conocimiento de causa, protegiendo la salud, la seguridad y los derechos fundamentales. Solo mediante este control democrático y una comprensión clara de los mecanismos técnicos, podremos asegurar que la educación siga siendo un espacio de encuentro humano gobernado por principios éticos y no por intereses comerciales opacos
Reproducción y amplificación de desigualdades
Los modelos aprenden de datos históricos, que contienen sesgos sociales.
Puede perpetuar desigualdades por género, origen socioeconómico o lingüístico.
Riesgo de etiquetado temprano del alumnado.
📌 Ejemplo: un sistema de predicción de abandono escolar penaliza sistemáticamente a determinados perfiles.
Riesgos para la privacidad y la dignidad
Uso masivo de datos educativos sensibles.
Seguimiento constante del comportamiento del alumnado.
Normalización de prácticas de vigilancia.
📌 Pregunta ética clave: ¿todo lo técnicamente posible es pedagógicamente legítimo?
Reducción del aprendizaje a métricas
Tendencia a cuantificar lo educativo (engagement, rendimiento, productividad).
Desplazamiento de valores educativos cualitativos: creatividad, error, diálogo.
Alex Urmeneta, Margarida Romero (2024): Creative Applications of Artificial Intelligence in Education
Conflicto de Intereses: Es necesario definir claramente la lealtad de la IA (AI loyalty); ¿a quién sirven los sistemas de IA: a estudiantes, a instituciones o a empresas comerciales?
Riesgo de Dependencia y Deshabilidad: Existe el riesgo de desarrollar pereza intelectual o de que las habilidades cognitivas esenciales (como la síntesis o la memorización) se vean obstaculizadas por la excesiva dependencia de herramientas que facilitan demasiado la tarea
• Rechazo de Recomendaciones: Los estudiantes deben tener la opción de no actuar de acuerdo con las recomendaciones de un sistema de IA para mantener su agencia.
• Privacidad y Vigilancia: Los estudiantes deben ser conscientes de que la IA puede utilizar sus datos personales para personalizar anuncios o guiar sus elecciones, lo que genera preocupaciones sobre la privacidad y la seguridad.
Amplificación de la brecha cognitiva (por capacidad intelectual y económica)
Desarrollo pensamiento crítico
Automatización de decisiones éticas
Uso familias vs. uso escolar