3.2 Que tus datos te acompañen...

El proceso de datificación implica que cada vez más aspectos de la actividad educativa —desde la participación en plataformas digitales hasta los resultados académicos o las interacciones en línea— se transforman en datos que pueden ser almacenados y analizados. Es el uso de estos datos lo que plantea importantes cuestiones relacionadas con la privacidad.

Podemos definir la privacidad como el derecho a mantener el control sobre la información personal y a proteger la vida privada frente a accesos o usos no autorizados. En términos generales, la privacidad protege aspectos de la vida personal como: la información personal (nombre, dirección, datos de salud, etc.), las comunicaciones privadas, la actividad en internet, la vida familiar y personal...

Muchos de los problemas éticos de la IA surgen precisamente de su capacidad para recopilar, analizar e inferir información sobre las personas a partir de grandes cantidades de datos. Esto abre importantes interrogantes sobre hasta qué punto estos sistemas pueden afectar a la intimidad, la autonomía y los derechos de las personas. En este contexto, la privacidad se convierte en un elemento central del debate ético sobre la IA. Entre los aspectos que generan mayor debate destacan los siguientes:

Monitorización del aprendizaje

Los sistemas de IA pueden analizar grandes volúmenes de datos para identificar patrones de aprendizaje, detectar dificultades y adaptar los contenidos a las necesidades de cada estudiante. Esto permite personalizar el aprendizaje, ofrecer apoyo específico a quienes lo necesitan y detectar de forma temprana posibles problemas académicos. Es decir, esta recopilación de datos sobre el comportamiento del estudiante, tiempo de estudio, ritmo de trabajo, errores frecuentes o forma de interactuar con la plataforma, puede generar perfiles muy detallados de cada alumno.

Si estos datos se utilizan de forma inadecuada, pueden dar lugar a formas de perfilación invasivas o discriminatorias, ya que con estos datos, el sistema podría predecir su rendimiento futuro o clasificarlo según su probabilidad de éxito académico, lo que podría influir en las oportunidades o recursos que se le ofrecen.

El siguiente vídeo sobre algunas aulas en centros educativos en China muestra con claridad a qué nos referimos con este análisis predictivo y perfilación del alumnado realizado por la IA:

Es menester mencionar que la Ley de IA Europea en su artículo 5 prohíbe:

f) la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA para inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad.

Tecnologías de reconocimiento

La IA ha impulsado el desarrollo de tecnologías como el reconocimiento facial, de voz o de patrones de comportamiento. Estas herramientas permiten identificar o seguir a personas de forma automática y en tiempo real. Aunque pueden tener aplicaciones útiles, por ejemplo en seguridad o autenticación a la hora de desbloquear el móvil, una app del banco, etc, también pueden facilitar formas de vigilancia mucho más invasivas y precisas, capaces de registrar movimientos, actividades o interacciones de los individuos en espacios públicos y privados.

En el ámbito educativo pueden utilizarse para verificar la identidad en exámenes en línea, controlar la asistencia o mejorar la accesibilidad mediante sistemas de reconocimiento de voz. Sin embargo, como hemos visto en el vídeo anterior, pueden introducir niveles elevados de vigilancia sobre el alumnado, generando una sensación constante de control y planteando dudas sobre la proporcionalidad y el respeto a la intimidad. 

Reidentificación de datos anonimizados

El uso de grandes conjuntos de datos educativos permite realizar investigaciones que ayudan a mejorar los métodos de enseñanza, evaluar políticas educativas o diseñar herramientas pedagógicas más eficaces. La anonimización de los datos pretende precisamente permitir este tipo de análisis sin comprometer la identidad de los estudiantes. Sin embargo, si se combinan distintas fuentes de información adicional, las técnicas avanzadas de IA pueden detectar patrones que permitan reidentificar a personas dentro de conjuntos de datos supuestamente anónimos, algo que antes resultaba mucho más difícil sin el uso de estas tecnologías. En el ámbito educativo, esto podría revelar información sensible sobre el rendimiento académico o las dificultades de estudiantes concretos, afectando a su privacidad.

Automatización de decisiones

La automatización basada en IA puede ayudar a gestionar grandes volúmenes de información educativa, ofrecer recomendaciones personalizadas de contenidos, orientar a los estudiantes en su proceso de aprendizaje o identificar qué recursos pueden resultar más adecuados para cada perfil. 

Sin embargo, si los sistemas están sesgados o mal diseñados, pueden producir decisiones injustas o discriminatorias, por ejemplo al evaluar el rendimiento del alumnado.

Además, cuando las decisiones se toman de forma automatizada, puede resultar más difícil entender cómo se han tomado o cuestionarlas, lo que plantea problemas de transparencia y responsabilidad. Un ejemplo ilustrativo es el debate ético sobre cómo debería actuar un coche autónomo en una situación de accidente inevitable, donde el sistema podría tener que elegir entre distintos daños posibles.

Aquí puedes acceder a la máquina de la moral donde se plantean algunos dilemas. Es una plataforma para recopilar perspectiva humana sobre las decisiones morales tomadas por las máquinas inteligentes, como los coches autónomos.

En conjunto, estos ejemplos muestran que las mismas tecnologías que pueden mejorar la educación y hacerla más personalizada y eficiente también pueden generar riesgos significativos para la privacidad y los derechos del alumnado, lo que hace necesario un uso responsable, transparente y éticamente fundamentado de la inteligencia artificial en el ámbito educativo.