1.4 Conciencia de riesgos
ChatGPT
La IA no es un sistema neutral: es una tecnología socio-técnica, es decir, combina decisiones técnicas con valores humanos, intereses institucionales y contextos culturales. En educación, estos riesgos adquieren especial relevancia por afectar a menores, procesos formativos y derechos fundamentales.
Riesgo de opacidad y pérdida de comprensión
Muchos sistemas de IA funcionan como cajas negras.
El profesorado puede utilizar herramientas cuyos criterios de funcionamiento no comprende.
Riesgo educativo: aceptar resultados sin pensamiento crítico (respuestas, calificaciones, recomendaciones).
📌 Ejemplo: una plataforma recomienda itinerarios de aprendizaje sin explicar por qué un alumno es clasificado como “bajo rendimiento”.
Dependencia tecnológica y erosión de la autonomía docente
Automatizar decisiones puede desplazar el juicio pedagógico humano.
Riesgo de delegación cognitiva: el docente deja de diseñar, evaluar o reflexionar.
Se genera una asimetría de poder entre proveedor tecnológico y comunidad educativa.
📌 Principio clave: la IA debe asistir, nunca sustituir la responsabilidad pedagógica.
Reproducción y amplificación de desigualdades
Los modelos aprenden de datos históricos, que contienen sesgos sociales.
Puede perpetuar desigualdades por género, origen socioeconómico o lingüístico.
Riesgo de etiquetado temprano del alumnado.
📌 Ejemplo: un sistema de predicción de abandono escolar penaliza sistemáticamente a determinados perfiles.
Riesgos para la privacidad y la dignidad
Uso masivo de datos educativos sensibles.
Seguimiento constante del comportamiento del alumnado.
Normalización de prácticas de vigilancia.
📌 Pregunta ética clave: ¿todo lo técnicamente posible es pedagógicamente legítimo?
Reducción del aprendizaje a métricas
Tendencia a cuantificar lo educativo (engagement, rendimiento, productividad).
Desplazamiento de valores educativos cualitativos: creatividad, error, diálogo.
Alex Urmeneta, Margarida Romero (2024): Creative Applications of Artificial Intelligence in Education
Conflicto de Intereses: Es necesario definir claramente la lealtad de la IA (AI loyalty); ¿a quién sirven los sistemas de IA: a estudiantes, a instituciones o a empresas comerciales?
Riesgo de Dependencia y Deshabilidad: Existe el riesgo de desarrollar pereza intelectual o de que las habilidades cognitivas esenciales (como la síntesis o la memorización) se vean obstaculizadas por la excesiva dependencia de herramientas que facilitan demasiado la tarea
• Rechazo de Recomendaciones: Los estudiantes deben tener la opción de no actuar de acuerdo con las recomendaciones de un sistema de IA para mantener su agencia.
• Privacidad y Vigilancia: Los estudiantes deben ser conscientes de que la IA puede utilizar sus datos personales para personalizar anuncios o guiar sus elecciones, lo que genera preocupaciones sobre la privacidad y la seguridad.
Amplificación de la brecha cognitiva (por capacidad intelectual y económica)
Desarrollo pensamiento crítico
Automatización de decisiones éticas
Uso familias vs. uso escolar