3.3 Limitaciones de la IA en la clase de Lengua: métrica y sintaxis

Los LLM y la métrica

Aquí tenemos la respuesta ChatGPT a la petición de que escribiera un soneto sobre la inteligencia artificial:

Aquí tienes un soneto clásico (14 versos endecasílabos con rima consonante):

En redes de razón nace la idea,
silente luz de código y memoria;
aprende sin descanso la historia
del mundo que a su lógica se apea.

No sueña, mas calcula y rastrea
patrones que la mente humana ignora;
pregunta, busca, mide y atesora
la huella de la duda que campea.

¿Es mente o sólo espejo refinado
del sabio y del error que la alimenta,
del pulso de quien piensa y ha pensado?

Tal vez sea herramienta que sustenta
un nuevo amanecer, aún no nombrado,
donde el humano y código se encuentran. 🤖✨

Como se puede observar, el soneto presenta algunos errores en la medida de los versos, y rompe la musicalidad en el último verso, cuya rima no es consonante. Para ver cómo analiza la propia IA esos errores, copiamos el poema, se lo entregamos a la misma chatbox en una conversación nueva y le pedimos que haga un análisis métrico. Esta es su respuesta:

Cuando le señalamos que algunos versos (por ejemplo el tercero) no son endecasílabos, salvo que se elimine la sinalefa (con un resultado desastroso en la sonoridad del poema), su respuesta es la siguiente:

Como puede observarse, la herramienta entra en bucle con su propio error.

Sin embargo, cuando le señalamos la irregularidad en la rima del último verso, sí es capaz de reconocer el desajuste:

Por último, le preguntamos si, teniendo en cuenta esos errores, cree que se trata de un poema escrito por un humano o por una IA (si quieres conocer la respuesta, tendrás que esperar al capítulo 3.5).

Los LLM y la sintaxis

Como hemos visto ya en varias ocasiones, los LLM no son capaces de razonar, y solo operan con información disponible en su entrenamiento. Los primeros modelos de ChatGPT eran incapaces de entender conceptos tan sencillos como la diferencia entre el complemento directo y el complemento indirecto. Veamos esta conversación de enero de 2024:

Los nuevos modelos han mejorado mucho y ya no cometen errores en peticiones tan sencillas, pero siguen teniendo dificultades para solucionar las dudas reales que pueden surgir a un alumno o alumna que trata de comprender la complejidad de la sintaxis. Los docentes no tenemos más remedio que examinar de forma crítica los LLM si queremos anticiparnos al uso que harán nuestros alumnos y alumnas y a los errores conceptuales que puede provocar la IA.

Los ejemplos que hemos visto con la métrica y la sintaxis se pueden ampliar a otras muchas áreas de las materias de perfil sociolingüístico. Estos errores pueden ser un problema cuando nuestro alumnado utiliza la IA para medir versos o para analizar oraciones, pero también son una oportunidad pedagógica cuando utilizamos estas "lagunas" para afilar las herramientas críticas de nuestros estudiantes y para valorar la complejidad, la dificultad, la sutileza y (por qué no) la belleza de nuestros objetos de estudio.