Escrito por Jaime León [i]
Universidad de Las Palmas de Gran Canaria
Palabras clave: RIE, Evaluación, Inteligencia artificial, ChatGPT, Procesamiento del lenguaje natural
---
Los expertos en ciencias sociales, en general, y en educación, en particular, trabajan para mejorar la sociedad. Pero existe un gran problema: evaluar o medir los avances en nuestro campo no resulta sencillo. Los métodos que empleamos para recoger información tienen sus limitaciones. Por ejemplo, métodos de recogida cerrados como los cuestionarios de opción múltiple nos proporcionan información muy básica y no nos cuentan toda la historia. Por otro lado, los métodos como las entrevistas o las respuestas abiertas en las encuestas nos aportan una gran cantidad de información, pero requieren un tiempo considerable para entenderla y analizarla. Aquí es donde la inteligencia artificial, y más específicamente el procesamiento del lenguaje natural, puede ser de gran ayuda.
El procesamiento del lenguaje natural es una técnica que permite a los ordenadores entender, interpretar y generar lenguaje humano. Una herramienta que utiliza esta tecnología para interactuar con los usuarios de una manera natural es ChatGPT, que se hizo muy conocida a finales del año pasado por su capacidad para generar texto coherente y relevante.
Herramientas como ChatGPT utilizan redes neuronales que se entrenan para generar texto a partir de grandes cantidades de información, como conversaciones humanas o artículos científicos. Este proceso se repite millones de veces, permitiendo al modelo aprender patrones y estructuras del lenguaje humano. A partir de esta información el modelo predice la siguiente palabra en una frase. Así, se pueden generar respuestas a preguntas o continuar una conversación, seleccionando la palabra siguiente más probable y repitiendo este proceso hasta generar frases completas y coherentes.
 |
| Fuente de la imagen: Pixabay |
En este contexto, la inteligencia artificial puede desempeñar un papel crucial en la evaluación educativa. Los sistemas de procesamiento del lenguaje natural pueden procesar y analizar grandes volúmenes de datos de manera eficiente, lo que puede ser especialmente útil en la evaluación de respuestas abiertas o entrevistas. Un ejemplo, lo podemos ver en la reciente publicación de dos colegas: Carmen Álvarez-Álvarez y Samuel Falcón (2023). Esta investigación empezó solicitando a universitarios que describieran las mejores prácticas que habían visto en clase. Para codificar las respuestas utilizaron una rúbrica basada en nueve categorías (Smith y Baik, 2021): claridad, investigación, aplicación, experiencia, desafíos, importancia, interacción y relaciones, consolidación y autorregulación. Debido a la gran cantidad de datos obtenidos, 1081 respuestas, recurrieron a la inteligencia artificial para codificar las respuestas. En concreto, utilizaron la tercera versión de GPT, vigente en marzo de 2022. Posteriormente, evaluaron la fiabilidad de las clasificaciones realizadas por GPT-3. Encontraron evidencias de fiabilidad al observar que el acuerdo entre expertos era similar al observado entre los expertos y GPT-3. Concluyeron que los alumnos optan por el profesorado que se centra en los aspectos de claridad y de interacciones y relaciones, y que, de no ser por esa tecnología, no podrían haberse evaluado de forma tan eficiente las 1081 respuestas abiertas.
Otra investigación en la que estamos trabajando actualmente (proyecto PID2019-106948RA-I00), se basa en el uso de la inteligencia artificial para analizar y evaluar los mensajes que utilizan el profesorado en el aula para implicar a sus alumnos. El objetivo es entender cómo estos mensajes impactan en el aprendizaje y rendimiento de los estudiantes. Hasta hace poco esta línea se basaba en el uso de cuestionarios (Santana-Monagas, Núñez et al., 2022; Santana-Monagas, Putwain et al., 2022). Posteriormente, pasamos a solicitar a los profesores que se grabaran la voz durante las clases. Estas grabaciones se subían a un servidor y nosotros transcribimos esas grabaciones a texto. La transcripción estaba basada en una herramienta de inteligencia artificial, Azure y Whisper, que añadía los signos de puntuación y corregía los errores de pronunciación o sonidos ininteligibles, sustituyéndolos por las palabras más probables en el contexto de esa conversación. La transcripción con la ayuda de la inteligencia artificial supuso una gran ayuda, pero codificar el texto nos llevaba mucho tiempo, así que utilizamos un script para buscar sólo aquellas frases que contenían las palabras más frecuentes en los mensajes y descartar toda la información irrelevante. Esto redujo un 90% el volumen de texto y, por tanto, el tiempo para codificar la información también disminuyó. Esto nos permitió analizar unas 400 horas de grabación y poder concluir cuáles eran los mensajes que utilizaba el profesorado en el aula para implicar a su alumnado (Falcon et al., 2023).
Actualmente, con la ayuda de modelos de inteligencia artificial como GPT, hemos dado otro paso adelante (Proyecto TED2021-129268B-I00). Ahora, proporcionamos al modelo muchos mensajes que se utilizan en clase y le pedimos que busque frases similares en las transcripciones completas. Como la inteligencia artificial se basa en interpretación y no en el texto literal, estamos obteniendo resultados prometedores. Detecta casi todos los mensajes, aunque a veces incluye algunos falsos positivos, es decir, afirma que un mensaje se utiliza para implicar al alumno, cuando, en realidad, no es un mensaje que sí promueva la implicación en las tareas escolares.
En otro proyecto de investigación, dirigido por Javier Vidal y María José Vieira (PID2021-125405NB-I00), se está analizando la posibilidad de usar GPT en el análisis de redes sociales informales para la orientación en Educación Superior. Se utiliza GPT como herramienta para identificar y etiquetar las dudas que los estudiantes plantean en foros sobre educación superior (Universidad y FP). Aunque el procedimiento es conocido, esta herramienta está demostrando su capacidad para analizar miles de mensajes con un acierto en la identificación de temas muy elevada, lo que aumenta posibilidades y reduce los tiempos de análisis. Sin embargo, requiere un conocimiento previo de los modelos de orientación y los sistemas de educación que permita hacer las preguntas adecuadas a GPT y controlar la calidad de los resultados, fase imprescindible en todo caso.
En resumen, la inteligencia artificial ha demostrado su utilidad en la evaluación de respuestas abiertas, así como en la transcripción y análisis de grabaciones. Aunque aún existen desafíos, como la presencia de falsos positivos, los resultados preliminares son prometedores. Con el tiempo, a medida que los modelos de inteligencia artificial sigan mejorando y evolucionando, podemos esperar que su aplicación en la investigación educativa se vuelva aún más sofisticada y abra nuevas líneas de investigación.
Referencias:
Álvarez-Álvarez, C. y Falcon, S. (2023). Students’ preferences with university teaching practices: analysis of testimonials with artificial intelligence. Educational technology research and development 2023. https://doi.org/10.1007/S11423-023-10239-8
Falcon, S., Admiraal, W. y Leon, J. (2023). Teachers’ engaging messages and the relationship with students’ performance and teachers’ enthusiasm. Learning and Instruction, 101750.
Santana-Monagas, E., Núñez, J. L., Loro, J. F., Huéscar, E. y León, J. (2022). Teachers’ engaging messages: The role of perceived autonomy, competence and relatedness. Teaching and Teacher Education, 109, 103556. https://doi.org/https://doi.org/10.1016/j.tate.2021.103556
Santana-Monagas, E., Putwain, D. W., Núñez, J. L., Loro, J. F. y León, J. (2022). Do teacher engaging messages predict students’ motivation to learn and performance? A theory integration approach. Revista de Psicodidáctica, 27, 86-95.
Smith, C. D. y Baik, C. (2021). High-impact teaching practices in higher education: a best evidence review. Studies in Higher Education, 46(8), 1696-1713. https://doi.org/10.1080/03075079.2019.1698539
Cómo citar esta entrada:
León, Jaime. (2023). El rol de la inteligencia artificial en la evaluación educativa: retos y oportunidades. Aula Magna 2.0 [Blog]. https://cuedespyd.hypotheses.org/13398
---
[i] Jaime León es profesor Titular del área de Métodos de Investigación y Diagnóstico en Educación en la Universidad de Las Palmas de Gran Canaria. Su preocupación como profesor es que los maestros consigan optimizar el aprendizaje de sus alumnos, para ello incide en la educación basada en evidencias. Como investigador su preocupación es la misma, optimizar el aprendizaje y rendimiento del alumnado, especialmente de secundaria. Para ello, se centra en la identificación de factores susceptibles de modificar: calidad didáctica, lenguaje en el aula, pasión por el conocimiento, etc. Para conseguir que el profesor cambie en el aula se está centrando en diseñar un método que permita al profesor obtener feedback de su práctica docente. Este método empieza por la audiograbación de las clases, continúa con un procesamiento basado en técnicas de inteligencia artificial, y termina con la transmisión de la información al profesor. Algunas de sus publicaciones y proyectos en esta línea se pueden consultar en jaimeleon.es/ULPGC.
---
Tomado de Aula Magna 2.0 con permiso de sus editores
