1.6 Conciencia de riesgos

ChatGPT

La IA no es un sistema neutral: es una tecnología socio-técnica, es decir, combina decisiones técnicas con valores humanos, intereses institucionales y contextos culturales. En educación, estos riesgos adquieren especial relevancia por afectar a menores, procesos formativos y derechos fundamentales.

Riesgo de opacidad y pérdida de comprensión
Muchos sistemas de IA funcionan como cajas negras.
El profesorado puede utilizar herramientas cuyos criterios de funcionamiento no comprende.
Riesgo educativo: aceptar resultados sin pensamiento crítico (respuestas, calificaciones, recomendaciones).
📌 Ejemplo: una plataforma recomienda itinerarios de aprendizaje sin explicar por qué un alumno es clasificado como “bajo rendimiento”.

"Rendimiento vs. Aprendizaje"

Según el informe de la OECD (2026) Es crucial entender que completar con éxito una tarea educativa usando IA generativa (IAGen) no equivale automáticamente a haber aprendido.

• Espejismo de maestría: La IAGen puede mejorar la calidad aparente del trabajo del alumno sin mejorar su adquisición real de conocimiento.

• Pereza metacognitiva: El uso de herramientas de respuesta directa puede reducir el compromiso activo, llevando al "descargo cognitivo" (offloading), donde el estudiante se salta procesos esenciales como el diagnóstico, la evaluación y la iteración.

• Efecto "muleta": Estudios muestran que estudiantes que usaron IAGen sin restricciones mejoraron en la práctica, pero rindieron significativamente peor en exámenes individuales posteriores sin acceso a la herramienta

Dependencia tecnológica y erosión de la autonomía docente
Automatizar decisiones puede desplazar el juicio pedagógico humano.
Riesgo de delegación cognitiva: el docente deja de diseñar, evaluar o reflexionar.
Se genera una asimetría de poder entre proveedor tecnológico y comunidad educativa.
📌 Principio clave: la IA debe asistir, nunca sustituir la responsabilidad pedagógica.

Dependencia cognitiva

Sedentarismo cognitivo

Según la OECD

Alucinaciones: La IA puede generar información plausible pero errónea o fabricar citas bibliográficas.

• Sesgos: Los modelos tienden a reproducir perspectivas de culturas angloparlantes y occidentales, lo que requiere supervisión humana constante.

• Privacidad y Soberanía: La importancia de no introducir datos sensibles y de usar modelos que respeten la soberanía de los datos educativos

Reproducción y amplificación de desigualdades
Los modelos aprenden de datos históricos, que contienen sesgos sociales.
Puede perpetuar desigualdades por género, origen socioeconómico o lingüístico.
Riesgo de etiquetado temprano del alumnado.
📌 Ejemplo: un sistema de predicción de abandono escolar penaliza sistemáticamente a determinados perfiles.

Riesgos para la privacidad y la dignidad
Uso masivo de datos educativos sensibles.
Seguimiento constante del comportamiento del alumnado.
Normalización de prácticas de vigilancia.
📌 Pregunta ética clave: ¿todo lo técnicamente posible es pedagógicamente legítimo?

Reducción del aprendizaje a métricas
Tendencia a cuantificar lo educativo (engagement, rendimiento, productividad).
Desplazamiento de valores educativos cualitativos: creatividad, error, diálogo.

Alex Urmeneta, Margarida Romero (2024): Creative Applications of Artificial Intelligence in Education

Riesgos Sociales y de Democracia: La IA presenta amenazas serias como la censura de IA, la desinformación y la creación de deepfakes, que pueden manipular la opinión pública y exacerbar desigualdades

Conflicto de Intereses: Es necesario definir claramente la lealtad de la IA (AI loyalty); ¿a quién sirven los sistemas de IA: a estudiantes, a instituciones o a empresas comerciales?

Riesgo de Dependencia y Deshabilidad: Existe el riesgo de desarrollar pereza intelectual o de que las habilidades cognitivas esenciales (como la síntesis o la memorización) se vean obstaculizadas por la excesiva dependencia de herramientas que facilitan demasiado la tarea

• Rechazo de Recomendaciones: Los estudiantes deben tener la opción de no actuar de acuerdo con las recomendaciones de un sistema de IA para mantener su agencia.

• Privacidad y Vigilancia: Los estudiantes deben ser conscientes de que la IA puede utilizar sus datos personales para personalizar anuncios o guiar sus elecciones, lo que genera preocupaciones sobre la privacidad y la seguridad.

Amplificación de la brecha cognitiva (por capacidad intelectual y económica)

Desarrollo pensamiento crítico

Automatización de decisiones éticas

Uso familias vs. uso escolar