1.6 Conciencia de riesgos
Así el cobarde, el temerario, el valiente, lo son relativamente a los mismos objetos. Sólo que sus relaciones con estos objetos son diferentes, pecando los unos por exceso, los otros por defecto. El hombre de valor sabe mantenerse en un justo medio y obrar como lo exige la razón. Los temerarios corren con ardor en busca del peligro; después, cuando este llega, vuelven pié atrás las más veces. Los valientes, por el contrario, serenos antes, sostienen después resueltamente su puesto en la acción.
Aristóteles. Ética a Nicómaco. Libro 3 Capítulo VIII.
Todo cambio profundo en nuestras condiciones de vida nos despierta, a la vez, una mezcla de esperanza y temor. Explorar las posibilidades, proyectarnos al futuro empleando nuestra inteligencia, es una de las causas de la evolución de nuestro cerebro en la hominización. Es esa capacidad basada en el conocimiento la que nos permite elegir, siempre a través del polvo de la batalla, el punto de equilibrio entre los cambios deseables y los riesgos que queremos evitar e, incluso, cuando la fortuna nos elige, nos permite estar atentos para esquivar sus golpes o agarrar el mechón de pelo antes de que se desvanezca.
La Fortuna. Guido Reni, Public domain, via Wikimedia Commons
Ser conscientes de los riesgos es una necesidad para evitarlos y mitigar o reducir el daño que puede producir una transformación profunda como la llegada de la IA a la educación. El propósito de este apartado no es que la enumeración de estos riesgos nos paralice si no contribuir a generar una cultura compartida que nos permita vigilar juntos y elegir las mejores opciones en este viaje inevitable cuyo rumbo tenemos que decidir colectivamente.
La inteligencia artificial, como todos los desarrollos tecnológicos, no es un sistema neutral, conlleva, como hemos visto en apartados anteriores, cambios socioeconómicos y en la forma de comunicarnos cuya profundidad apenas podemos intuir. Estos cambios llevan aparejados unos riesgos que, en el campo de la educación, adquieren especial relevancia por afectar a menores, procesos formativos y derechos fundamentales.
Riesgo de opacidad y pérdida de comprensión
Muchos sistemas de IA funcionan como cajas negras.
El profesorado puede utilizar herramientas cuyos criterios de funcionamiento no comprende.
Riesgo educativo: aceptar resultados sin pensamiento crítico (respuestas, calificaciones, recomendaciones).
📌 Ejemplo: una plataforma recomienda itinerarios de aprendizaje sin explicar por qué un alumno es clasificado como “bajo rendimiento”.
Dependencia tecnológica y erosión de la autonomía docente
Automatizar decisiones puede desplazar el juicio pedagógico humano.
Riesgo de delegación cognitiva: el docente deja de diseñar, evaluar o reflexionar.
Se genera una asimetría de poder entre proveedor tecnológico y comunidad educativa.
📌 Principio clave: la IA debe asistir, nunca sustituir la responsabilidad pedagógica.
Sedentarismo cognitivo
Según la OECD
Reproducción y amplificación de desigualdades
Los modelos aprenden de datos históricos, que contienen sesgos sociales.
Puede perpetuar desigualdades por género, origen socioeconómico o lingüístico.
Riesgo de etiquetado temprano del alumnado.
📌 Ejemplo: un sistema de predicción de abandono escolar penaliza sistemáticamente a determinados perfiles.
Riesgos para la privacidad y la dignidad
Uso masivo de datos educativos sensibles.
Seguimiento constante del comportamiento del alumnado.
Normalización de prácticas de vigilancia.
📌 Pregunta ética clave: ¿todo lo técnicamente posible es pedagógicamente legítimo?
Reducción del aprendizaje a métricas
Tendencia a cuantificar lo educativo (engagement, rendimiento, productividad).
Desplazamiento de valores educativos cualitativos: creatividad, error, diálogo.
Alex Urmeneta, Margarida Romero (2024): Creative Applications of Artificial Intelligence in Education
Conflicto de Intereses: Es necesario definir claramente la lealtad de la IA (AI loyalty); ¿a quién sirven los sistemas de IA: a estudiantes, a instituciones o a empresas comerciales?
Riesgo de Dependencia y Deshabilidad: Existe el riesgo de desarrollar pereza intelectual o de que las habilidades cognitivas esenciales (como la síntesis o la memorización) se vean obstaculizadas por la excesiva dependencia de herramientas que facilitan demasiado la tarea
• Rechazo de Recomendaciones: Los estudiantes deben tener la opción de no actuar de acuerdo con las recomendaciones de un sistema de IA para mantener su agencia.
• Privacidad y Vigilancia: Los estudiantes deben ser conscientes de que la IA puede utilizar sus datos personales para personalizar anuncios o guiar sus elecciones, lo que genera preocupaciones sobre la privacidad y la seguridad.
Amplificación de la brecha cognitiva (por capacidad intelectual y económica)
Desarrollo pensamiento crítico
Automatización de decisiones éticas
Uso familias vs. uso escolar