1.6 Conciencia de riesgos

Así el cobarde, el temerario, el valiente, lo son relativamente a los mismos objetos. Sólo que sus relaciones con estos objetos son diferentes, pecando los unos por exceso, los otros por defecto. El hombre de valor sabe mantenerse en un justo medio y obrar como lo exige la razón. Los temerarios corren con ardor en busca del peligro; después, cuando este llega, vuelven pié atrás las más veces. Los valientes, por el contrario, serenos antes, sostienen después resueltamente su puesto en la acción.

Aristóteles. Ética a Nicómaco. Libro 3 Capítulo VIII.

Todo cambio profundo en nuestras condiciones de vida nos despierta, a la vez, una mezcla de esperanza y temor. Explorar las posibilidades en una forma de proyectarnos al futuro empleando nuestra inteligencia. Es también una de las causas de la evolución de nuestro cerebro en la hominización. Esta capacidad, basada en el conocimiento, es la que nos permite elegir, siempre a través del polvo de la batalla, el punto de equilibrio entre los cambios deseables y los riesgos que queremos evitar e incluso, cuando la fortuna nos elige, nos permite estar atentos para esquivar sus golpes o agarrar el mechón de pelo antes de que se desvanezca.

La Fortuna. Guido Reni, Public domain, via Wikimedia Commons

Ser conscientes de los riesgos es una necesidad para evitarlos y mitigar o reducir el daño que puede producir una transformación profunda como la llegada de la IA a la educación. El propósito de este apartado no es que la enumeración de estos riesgos nos paralice si no contribuir a generar una cultura compartida que nos permita vigilar juntos y elegir las mejores opciones en este viaje inevitable cuyo rumbo tenemos que decidir colectivamente.

La inteligencia artificial, como todos los desarrollos tecnológicos, no es un sistema neutral, conlleva, como hemos visto en apartados anteriores, cambios socioeconómicos y en la forma de comunicarnos cuya profundidad apenas podemos intuir. Estos cambios llevan aparejados unos riesgos que, en el campo de la educación,  adquieren especial relevancia por afectar a menores, procesos formativos y derechos fundamentales.

Riesgo de opacidad y pérdida de comprensión

MuchosEn el corazón de la integración de la IA reside el fenómeno de la "caja negra", una realidad técnica donde la opacidad de los algoritmos de aprendizaje profundo impide trazar el camino lógico que une un dato de entrada con su resultado final. A diferencia de tecnologías educativas previas que eran transparentes en su funcionamiento mecánico, estos sistemas operan mediante inferencias y patrones complejos que no siempre resultan legibles para el ojo humano. Si el docente utiliza estas herramientas sin comprender sus mecanismos internos, la interacción triangular (profesor-IA-alumno) corre el riesgo de IAdesequilibrarse, funcionandesplazando la autoridad del saber desde el juicio pedagógico hacia una "razón" algorítmica cuyas fuentes y sesgos permanecen ocultos tras una interfaz amigable.

Esta pérdida de comprensión puede derivar en una erosión silenciosa de la agencia docente, transformando al profesor en lo que se denomina un "Centauro Inverso": un ejecutor físico de decisiones que han sido predefinidas por una estructura técnica invisible. Al delegar tareas como cajasla negras.
Elevaluación profesoradoformativa puedeo utilizarel herramientasdiseño curricular a sistemas cuyos criterios de funcionamiento se desconocen, el docente puede verse reducido a un mero supervisor legal de errores que no comprende.
tiene capacidad de explicar. El peligro aquí no es una rebelión de las máquinas, si no que el profesorado, ante la eficiencia aparente del sistema, renuncie a su rol esencial como "orquestador" y "guía de la razón", aceptando los resultados de la IA simplemente porque parecen verosímiles.

RiesgoPara educativo:mitigar aceptareste riesgo, la alfabetización en IA debe trascender el simple aprendizaje de instrucciones o prompts para centrarse en una formación crítica que desmitifique la tecnología. Es fundamental que las comunidades educativas desarrollen los conceptos necesarios para interpretar correctamente las salidas del sistema y entender cómo estas decisiones impactan en el alumnado. Solo a través de este conocimiento técnico y pedagógico el docente podrá mantener su "juicio profesional", validando y respaldando los resultados de la IA para asegurar que la tecnología actúe como un amplificador de la capacidad humana y no como una prótesis que atrofie nuestra autonomía moral.

La ilusión de conocimiento

La inmediatez con la que la IA genera respuestas puede crear una ilusión de conocimiento tanto en el docente como en el alumno. Al obtener resultados instantáneos sin pensamientotransitar críticoel (respuestas,proceso calificaciones,mental recomendaciones)necesario para llegar a ellos, corremos el riesgo de fomentar una inmadurez intelectual disfrazada de eficiencia.
📌 Ejemplo:Como señala Biesta, la educación es un "riesgo hermoso" porque no es mecánica; intentar hacerla puramente predecible mediante algoritmos podría destruir su esencia transformadora.

El sesgo de la etiqueta algorítmica

Cuando una plataforma recomiendaclasifica itinerariosa un estudiante como de aprendizaje"bajo rendimiento" sin explicarofrecer poruna quéjustificación pedagógica, estamos ante un ejemplo de conductismo de máquina. En este escenario, el alumno esdeja clasificadode comoser “bajoun rendimiento”sujeto para convertirse en un objeto de intervenciones algorítmicas. Aceptar estas clasificaciones sin crítica ignora que nuestros estudiantes no son mecanismos simples de estímulo-respuesta, si no individuos con capacidad de crear sentido

aprendido, Al

obtener respuestas instantáneas, el estudiante puede creerse sabio, pero si carece del proceso mental necesario para llegar a esa conclusión, el resultado es una inmadurez intelectual disfrazada de eficiencia•.

Esta dinámica fomenta una Perezapereza metacognitiva:metacognitiva Elo uso"descarga decognitivo" herramientas(offloading), dedonde respuestase directaeliminan puedela reducirfricción cognitiva y el compromisoesfuerzo activo,necesarios para aprender, llevando al "descargoalumnado cognitivo"a (offloading),saltarse dondefases el estudiante se salta procesos esencialescríticas como el diagnóstico, la evaluación y la iteración de sus propias ideas.

Finalmente, este fenómeno se manifiesta claramente en el denominado efecto "muleta".

• EfectoDiversos "muleta":estudios Estudiosindican muestranque, queaunque los estudiantes que usaronusan IAGenIA sin restricciones mejoraronmejoran su rendimiento en lalas práctica,prácticas perodiarias, rindieronrinden significativamente peor en exámenes individuales posteriores sindonde no tienen acceso a la herramienta

. Para un docente, esto equivale a la diferencia entre un alumno que recorre una distancia en coche y otro que la corre a pie: el primero llega antes, pero solo el segundo fortalece sus capacidades. Por ello, es vital que la IA se integre bajo un diseño intencional que priorice el desarrollo humano y la autonomía moral sobre la mera producción algorítmica

 Dependencia tecnológica y erosión de la autonomía docente
Automatizar decisiones puede desplazar el juicio pedagógico humano.
Riesgo de delegación cognitiva: el docente deja de diseñar, evaluar o reflexionar.
Se genera una asimetría de poder entre proveedor tecnológico y comunidad educativa.
📌 Principio clave: la IA debe asistir, nunca sustituir la responsabilidad pedagógica.

Dependencia cognitiva

Sedentarismo cognitivo

Según la OECD

Alucinaciones: La IA puede generar información plausible pero errónea o fabricar citas bibliográficas39> <4142.

• Sesgos: Los modelos tienden a reproducir perspectivas de culturas angloparlantes y occidentales, lo que requiere supervisión humana constante3943.

• Privacidad y Soberanía: La importancia de no introducir datos sensibles y de usar modelos que respeten la soberanía de los datos educativos4445

Reproducción y amplificación de desigualdades
Los modelos aprenden de datos históricos, que contienen sesgos sociales.
Puede perpetuar desigualdades por género, origen socioeconómico o lingüístico.
Riesgo de etiquetado temprano del alumnado.
📌 Ejemplo: un sistema de predicción de abandono escolar penaliza sistemáticamente a determinados perfiles.

  Riesgos para la privacidad y la dignidad
Uso masivo de datos educativos sensibles.
Seguimiento constante del comportamiento del alumnado.
Normalización de prácticas de vigilancia.
📌 Pregunta ética clave: ¿todo lo técnicamente posible es pedagógicamente legítimo?

 Reducción del aprendizaje a métricas
Tendencia a cuantificar lo educativo (engagement, rendimiento, productividad).
Desplazamiento de valores educativos cualitativos: creatividad, error, diálogo.

Alex Urmeneta, Margarida Romero (2024): Creative Applications of Artificial Intelligence in Education

Riesgos Sociales y de Democracia: La IA presenta amenazas serias como la censura de IA, la desinformación y la creación de deepfakes, que pueden manipular la opinión pública y exacerbar desigualdades

Conflicto de Intereses: Es necesario definir claramente la lealtad de la IA (AI loyalty); ¿a quién sirven los sistemas de IA: a estudiantes, a instituciones o a empresas comerciales?

Riesgo de Dependencia y Deshabilidad: Existe el riesgo de desarrollar pereza intelectual o de que las habilidades cognitivas esenciales (como la síntesis o la memorización) se vean obstaculizadas por la excesiva dependencia de herramientas que facilitan demasiado la tarea

• Rechazo de Recomendaciones: Los estudiantes deben tener la opción de no actuar de acuerdo con las recomendaciones de un sistema de IA para mantener su agencia.

• Privacidad y Vigilancia: Los estudiantes deben ser conscientes de que la IA puede utilizar sus datos personales para personalizar anuncios o guiar sus elecciones, lo que genera preocupaciones sobre la privacidad y la seguridad.

Amplificación de la brecha cognitiva (por capacidad intelectual y económica)

Desarrollo pensamiento crítico

Automatización de decisiones éticas

Uso familias vs. uso escolar