3. Privacidad

3.1 Datificación

Como hemos visto, el desarrollo y la integración de la inteligencia artificial en la educación han puesto de manifiesto diversos dilemas éticos que tienen un elemento común: el uso intensivo de datos, ya que los sistemas de IA necesitan grandes cantidades de información para funcionar. Antes de analizar las implicaciones que esto conlleva en relación a la privacidad y el ámbito educativo, es necesario comprender un fenómeno más amplio que está transformando nuestra sociedad: la datificación.

La datificación es el proceso de convertir aspectos de la vida, actividades o fenómenos en datos cuantificables que pueden almacenarse, analizarse y utilizarse con tecnología. Significa transformar lo que hacemos o lo que ocurre en números o registros digitales.

Hablamos de datificación por ejemplo cuando una apliación registra tus pasos diarios con el móvil o un reloj inteligente; o cuando una tienda online guarda tu historial de compras para recomendar productos. Otro ejemplo sería el relacionado con plataformas como TikTok o Instagram, donde cada interacción (ver un video, darle like, compartirlo) se convierte en datos que el sistema usa para decidir qué contenido mostrarte después.  

En todos estos casos, las acciones humanas o eventos se convierten en datos que luego pueden analizarse. Entre otras cosas sirve para:


Así pues, la datificación es la transformación de la realidad en datos digitales para analizarlos y utilizarlos.

La datificación es clave para crear sistemas de Inteligencia Artificial porque estos sistemas aprenden analizando grandes cantidades de datos. Cuantos más datos existen sobre un fenómeno, mejor será el sistema reconociendo patrones, haciendo predicciones y tomando decisiones, como, por ejemplo, filtrar correos basura.

La IA compara los datos actuales con millones de datos anteriores para decidir qué acción es más adecuada. Cuantos más datos se generan mediante la datificación, más aprende el sistema y más precisas se vuelven sus respuestas o recomendaciones.

La datificación proporciona la materia prima (datos) que necesitan los sistemas de Inteligencia Artificial para aprender, predecir, automatizar tareas y mejorar continuamente. Sin datos suficientes, la IA no podría funcionar de forma eficaz.

En el capítulo "Problematizar la IA generativa en educación: metáforas, tensiones y horizontes posibles" (Martins 2024), Mariana Ferrarelli y Paola Ricaurte Quijano expresan lo siguiente:

En el marco de la datificación y el desarrollo de la IA generativa, las grandes compañías tecnológicas adquieren una posición dominante gracias a las infraestructuras digitales que controlan. En un escenario cada vez más mediado por algoritmos y por modelos económicos basados en la explotación de datos, estas empresas no solo poseen gran parte de la información disponible, sino que también determinan cómo se procesa, interpreta y aplica mediante sistemas algorítmicos poco transparentes y susceptibles de contener sesgos.

Esta acumulación de poder, unida a la progresiva incorporación de estas tecnologías en el ámbito educativo, abre debates relevantes sobre el riesgo de que la educación dependa cada vez más de infraestructuras y programas privados. Asimismo, plantea preocupaciones relacionadas con la protección de la privacidad y con la posibilidad de que prácticas de vigilancia digital se normalicen dentro de los entornos educativos.

Además, la UNESCO en su "Guía para el uso de IA generativa en educación e investigación" (2024) advierte sobre los riesgos de la "plataformización" y la pérdida de soberanía de los datos educativos. Una recomendación notable de la UNESCO es la necesidad de establecer límites de edad para el uso de herramientas de IA generativa, sugiriendo los 13 años como umbral para proteger el desarrollo cognitivo de los menores.

De forma voluntaria, puedes continuar con este vídeo para seguir reflexionando:

Así que por un lado, la datificación permite desarrollar herramientas basadas en Inteligencia Artificial y Analítica de datos al servicio pedagógico de profesorado, alumnado y gestores educativos, ya que permiten analizar grandes cantidades de información sobre los procesos de enseñanza-aprendizaje; y gracias a ello, es posible identificar dificultades, mejorar la toma de decisiones y optimizar la gestión educativa.

Sin embargo, al mismo tiempo, también plantea problemas y dilemas éticos importantes, como la protección de la privacidad de los datos, el posible uso indebido de la información recopilada o la generación de sesgos que pueden aumentar las desigualdades educativas.

3.2 Que tus datos te acompañen...

El proceso de datificación implica que cada vez más aspectos de la actividad educativa —desde la participación en plataformas digitales hasta los resultados académicos o las interacciones en línea— se transforman en datos que pueden ser almacenados y analizados. Es el uso de estos datos lo que plantea importantes cuestiones relacionadas con la privacidad.

Podemos definir la privacidad como el derecho a mantener el control sobre la información personal y a proteger la vida privada frente a accesos o usos no autorizados. En términos generales, la privacidad protege aspectos de la vida personal como: la información personal (nombre, dirección, datos de salud, etc.), las comunicaciones privadas, la actividad en internet, la vida familiar y personal...

Muchos de los problemas éticos de la IA surgen precisamente de su capacidad para recopilar, analizar e inferir información sobre las personas a partir de grandes cantidades de datos. Esto abre importantes interrogantes sobre hasta qué punto estos sistemas pueden afectar a la intimidad, la autonomía y los derechos de las personas. En este contexto, la privacidad se convierte en un elemento central del debate ético sobre la IA. Entre los aspectos que generan mayor debate destacan los siguientes:

Monitorización del aprendizaje

Los sistemas de IA pueden analizar grandes volúmenes de datos para identificar patrones de aprendizaje, detectar dificultades y adaptar los contenidos a las necesidades de cada estudiante. Esto permite personalizar el aprendizaje, ofrecer apoyo específico a quienes lo necesitan y detectar de forma temprana posibles problemas académicos. Es decir, esta recopilación de datos sobre el comportamiento del estudiante, tiempo de estudio, ritmo de trabajo, errores frecuentes o forma de interactuar con la plataforma, puede generar perfiles muy detallados de cada alumno.

Si estos datos se utilizan de forma inadecuada, pueden dar lugar a formas de perfilación invasivas o discriminatorias, ya que con estos datos, el sistema podría predecir su rendimiento futuro o clasificarlo según su probabilidad de éxito académico, lo que podría influir en las oportunidades o recursos que se le ofrecen.

El siguiente vídeo sobre algunas aulas en centros educativos en China muestra con claridad a qué nos referimos con este análisis predictivo y perfilación del alumnado realizado por la IA:

*Vídeo únicamente ilustrativo sobre el análisis predictivo y perfilación del alumnado con IA

Es menester mencionar que la Ley de IA Europea en su artículo 5 prohíbe:

f) la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA para inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad.

Tecnologías de reconocimiento

La IA ha impulsado el desarrollo de tecnologías como el reconocimiento facial, de voz o de patrones de comportamiento. Estas herramientas permiten identificar o seguir a personas de forma automática y en tiempo real. Aunque pueden tener aplicaciones útiles, por ejemplo en seguridad o autenticación a la hora de desbloquear el móvil, una app del banco, etc, también pueden facilitar formas de vigilancia mucho más invasivas y precisas, capaces de registrar movimientos, actividades o interacciones de los individuos en espacios públicos y privados.

En el ámbito educativo pueden utilizarse para verificar la identidad en exámenes en línea, controlar la asistencia o mejorar la accesibilidad mediante sistemas de reconocimiento de voz. Sin embargo, como hemos visto en el vídeo anterior, pueden introducir niveles elevados de vigilancia sobre el alumnado, generando una sensación constante de control y planteando dudas sobre la proporcionalidad y el respeto a la intimidad. 

Reidentificación de datos anonimizados

El uso de grandes conjuntos de datos educativos permite realizar investigaciones que ayudan a mejorar los métodos de enseñanza, evaluar políticas educativas o diseñar herramientas pedagógicas más eficaces. La anonimización de los datos pretende precisamente permitir este tipo de análisis sin comprometer la identidad de los estudiantes. Sin embargo, si se combinan distintas fuentes de información adicional, las técnicas avanzadas de IA pueden detectar patrones que permitan reidentificar a personas dentro de conjuntos de datos supuestamente anónimos, algo que antes resultaba mucho más difícil sin el uso de estas tecnologías. En el ámbito educativo, esto podría revelar información sensible sobre el rendimiento académico o las dificultades de estudiantes concretos, afectando a su privacidad.

Automatización de decisiones

La automatización basada en IA puede ayudar a gestionar grandes volúmenes de información educativa, ofrecer recomendaciones personalizadas de contenidos, orientar a los estudiantes en su proceso de aprendizaje o identificar qué recursos pueden resultar más adecuados para cada perfil. 

Sin embargo, si los sistemas están sesgados o mal diseñados, pueden producir decisiones injustas o discriminatorias, por ejemplo al evaluar el rendimiento del alumnado.

Además, cuando las decisiones se toman de forma automatizada, puede resultar más difícil entender cómo se han tomado o cuestionarlas, lo que plantea problemas de transparencia y responsabilidad. Un ejemplo ilustrativo es el debate ético sobre cómo debería actuar un coche autónomo en una situación de accidente inevitable, donde el sistema podría tener que elegir entre distintos daños posibles.

Aquí puedes acceder a la máquina de la moral donde se plantean algunos dilemas. Es una plataforma para recopilar perspectiva humana sobre las decisiones morales tomadas por las máquinas inteligentes, como los coches autónomos.

En conjunto, estos ejemplos muestran que las mismas tecnologías que pueden mejorar la educación y hacerla más personalizada y eficiente también pueden generar riesgos significativos para la privacidad y los derechos del alumnado, lo que hace necesario un uso responsable, transparente y éticamente fundamentado de la inteligencia artificial en el ámbito educativo.


3.3 Derechos y Principios Digitales

Para acabar este capítulo sobre privacidad, señalaremos la Carta de Derechos Digitales del Gobierno de España y la Declaración sobre los Derechos y Principios Digitales Europeos.

Derechos digitales

La Carta de derechos digitales que se presenta no trata de crear nuevos derechos fundamentales sino de perfilar los más relevantes en el entorno y los espacios digitales o describir derechos instrumentales o auxiliares de los primeros. Se trata de un proceso naturalmente dinámico dado que el entorno digital se encuentra en constante evolución con consecuencias y límites que no es fácil predecir. (Carta Derechos Digitales)

Además de enumerarlos, detallamos en el desplegable algunos de los más relevantes para la práctica educativa en cuanto a la privacidad y en relación a la integración de la inteligencia artificial:

DERECHOS DE LIBERTAD

1. Derechos y libertades en el entorno digital
2. Derecho a la identidad en el entorno digital

3. Derecho a la protección de datos

1. Con arreglo al Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de abril de 2016, y la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales, toda persona tiene derecho a la protección de los datos de carácter personal que le conciernan.
2. Estos datos serán tratados respetando los principios de licitud, lealtad, transparencia, minimización, integridad, confidencialidad y limitación por la finalidad y plazo de conservación, con base en las garantías de su protección desde el diseño y por defecto.
3. El tratamiento de datos personales se fundamentará en las bases jurídicas que la mencionada normativa prevé.
4. Toda persona tiene derecho a ser informada en el momento de la recogida de los datos sobre su destino y los usos que se hagan de los mismos, a acceder a los datos recogidos que le conciernan y a ejercer sus derechos de rectificación, oposición, cancelación, portabilidad de los datos, y derecho a la supresión (derecho al olvido) en los términos previstos en la normativa de protección de datos nacional y europea.
5. El respeto de este derecho estará sujeto al control de la Autoridad de Protección de Datos y el resto de organismos competentes en la materia.


4. Derecho al pseudonimato
5. Derecho de la persona a no ser localizada y perfilada
6. Derecho a la ciberseguridad
7. Derecho a la herencia digital

DERECHOS DE IGUALDAD

8. Derecho a la igualdad y a la no discriminación en el entorno digital
9. Derecho de acceso a Internet

10. Protección a las personas menores de edad en el entorno digital

Los centros educativos, las Administraciones y cualesquiera personas físicas o jurídicas que desarrollen actividades en entornos digitales en las que participen personas menores de edad están obligados, por la legislación aplicable, a la protección del interés superior de la persona menor y sus derechos fundamentales, especialmente los derechos a la intimidad, al honor y a la propia imagen, al secreto de las comunicaciones y el derecho a la protección de datos personales. Deberá recabarse su consentimiento, si es mayor de 14 años, o el de sus representantes legales, para la publicación o difusión de sus datos personales o su imagen a través de servicios de redes sociales.

11. Accesibilidad universal en el entorno digital
12. Brechas de acceso al entorno digital

DERECHOS DE PARTICIPACIÓN Y DE CONFORMACIÓN DEL ESPACIO PÚBLICO

13. Derecho a la neutralidad de Internet
14. Libertad de expresión y libertad de información
15. Derecho a recibir libremente información veraz
16. Derecho a la participación ciudadana por medios digitales

17. Derecho a la educación digital

1. El sistema educativo debe tender a la plena inserción de la comunidad educativa en la sociedad digital y un aprendizaje del uso de los medios digitales dirigido a una transformación digital de la sociedad centrada en el ser humano. Esta misión se inspirará en los valores de respeto de la dignidad humana con garantía de los derechos fundamentales y los valores constitucionales. Estos principios informarán cualesquiera otras actividades formativas promovidas por los poderes públicos.
2. Se potenciará que el profesorado reciba formación para adquirir competencias digitales y para la enseñanza y transmisión de los valores y derechos referidos en el número anterior.


18. Derechos digitales de la ciudadanía en sus relaciones con las Administraciones Públicas

DERECHOS DEL ENTORNO LABORAL Y EMPRESARIAL

19 .Derechos en el ámbito laboral
20. La empresa en el entorno digital

DERECHOS DIGITALES EN ENTORNOS ESPECÍFICOS

21. Derecho de acceso a datos con fines de archivo en interés público, fines de investigación científica o histórica, fines estadísticos, y fines de innovación y desarrollo
22. Derecho a un desarrollo tecnológico y un entorno digital sostenible
23. Derecho a la protección de la salud en el entorno digital
24. Libertad de creación y derecho de acceso a la cultura en el entorno digital

25. Derechos ante la inteligencia artificial

1. La inteligencia artificial deberá asegurar un enfoque centrado en la persona y su inalienable dignidad, perseguirá el bien común y asegurará cumplir con el principio de no maleficencia.


2. En el desarrollo y ciclo de vida de los sistemas de inteligencia artificial:
a) Se deberá garantizar el derecho a la no discriminación cualquiera que fuera su origen, causa o naturaleza, en relación con las decisiones, uso de datos y procesos basados en inteligencia artificial.
b) Se establecerán condiciones de transparencia, auditabilidad, explicabilidad, trazabilidad,supervisión humana y gobernanza. En todo caso, la información facilitada deberá ser accesible y comprensible.
c) Deberán garantizarse la accesibilidad, usabilidad y fiabilidad.

3. Las personas tienen derecho a solicitar una supervisión e intervención humana y a impugnar las decisiones automatizadas tomadas por sistemas de inteligencia artificial que produzcan efectos en su esfera personal y patrimonial.


26. Derechos digitales en el empleo de las neurotecnologías

En conjunto, estos derechos subrayan que el uso educativo de la tecnología y de la inteligencia artificial debe orientarse a proteger a los menores, garantizar su privacidad, promover la igualdad y desarrollar una ciudadanía digital crítica y responsable.


image.png

Carta de Derechos Digitales del Gobierno de España

Para más información puedes consultar la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales pinchando aquí.

Principios digitales europeos

La declaración sobre los derechos y principios digitales europeos firmada por la UE, que es referencia para todos y guía para los responsables políticos y las empresas que desarrollan tecnologías digitales, se basa en estos principios:

1. Personas en el centro
Las tecnologías digitales deben proteger los derechos de las personas, apoyar la democracia y garantizar que todos los agentes digitales actúen de manera responsable y segura. 

2. Solidaridad e inclusión
La tecnología debe unir, no dividir, a las personas. Todos deben tener acceso a internet, a las capacidades digitales, a los servicios públicos digitales y a unas condiciones de trabajo justas.

3. Sostenibilidad
Los dispositivos digitales deben apoyar la sostenibilidad y la transición ecológica. La gente necesita saber sobre el impacto ambiental y el consumo de energía de sus dispositivos.

4. Libertad de elección
Las personas deben beneficiarse de un entorno en línea justo, estar a salvo de contenidos ilícitos y nocivos y estar facultadas cuando interactúen con tecnologías nuevas y en evolución, como la inteligencia artificial.

5. Participación
Los ciudadanos deben poder participar en el proceso democrático a todos los niveles y tener control sobre sus propios datos. Se destaca la necesidad de crear un entorno digital que proteja a las personas de la desinformación, la manipulación de la información y otras formas de contenidos nocivos, como el acoso.

6. Seguridad y protección
Todos deben tener acceso a tecnologías, productos y servicios digitales seguros, protegidos y que protejan la privacidad, garantizando que todos tengan un control efectivo sobre sus datos personales y no personales en consonancia con el Derecho de la UE. 

Los niños y los jóvenes deben estar capacitados para tomar decisiones seguras e informadas y expresar su creatividad en el entorno digital. La UE y los Estados miembros también se comprometen a promover experiencias positivas para los niños y los jóvenes en un entorno digital seguro y adaptado a su edad, y a protegerlos contra los contenidos nocivos e ilegales, la explotación, la manipulación y el abuso en línea. 

En el contexto del Espacio Europeo de Educación, el despliegue de la IA se rige por un principio fundamental: debe estar al servicio del ser humano y del bien común, respetando los derechos fundamentales y los valores democráticos.

Así pues, la integración de la inteligencia artificial (IA) en el sistema educativo no constituye simplemente una actualización de las herramientas pedagógicas, sino una transformación sistémica que exige una sólida base ética y un marco jurídico riguroso del que hablaremos en el capítulo siguiente.