Análisis comparativo de la autenticidad de problemas de libros de texto de matemáticas de secundaria entre chatgpt y un docente en formación

Abstract

[ES]El presente Trabajo de Fin de Máster se centra en el análisis de la autenticidad de problemas de matemáticas de la Educación Secundaria Obligatoria (ESO) y en el potencial de la inteligencia artificial generativa, concretamente ChatGPT, para incrementar dicha autenticidad. El objetivo principal es examinar si el análisis que realiza un modelo de lenguaje sobre la autenticidad de los enunciados coincide con el de un docente en formación y, además, si la modificación de dichos problemas mediante prompts específicos mejora su autenticidad según criterios establecidos en la literatura. Para ello, se seleccionó una muestra de 40 problemas extraídos de un solucionario digital de un libro de texto habitualmente utilizado en la ESO, que fueron analizados y modificados utilizando ChatGPT, siguiendo un sistema de cinco dimensiones propuesto por Vicente y Manchado (2017). Posteriormente, los problemas fueron evaluados de forma manual y automática antes y después de la modificación. Los resultados muestran una mejora general en la autenticidad tras las modificaciones realizadas con IA, tanto en el análisis manual como en el automático, especialmente en dimensiones como el evento, la pregunta y la especificidad de los datos, aunque existen ciertas limitaciones con respecto a la precisión del análisis automático. Este estudio pone de manifiesto la utilidad de herramientas de inteligencia artificial como recurso didáctico en el diseño de materiales educativos más contextualizados y cercanos a la experiencia del alumnado, así como la necesidad de formar al profesorado en su uso pedagógico de forma crítica y responsable.

[EN]This Master's thesis focuses on the analysis of the authenticity of Secondary Education mathematics word problems and on the potential of generative artificial intelligence, specifically ChatGPT, to increase such authenticity. The main objective is to examine whether the analysis performed by a language model on the authenticity of the problem statements coincides with that of a teacher in training and, furthermore, whether the modification of these problems by means of specific prompts improves their authenticity according to criteria established in the literature. For this purpose, a sample of 40 problems extracted from a digital solution of a textbook commonly used in Secondary Education was selected, which were analyzed and modified using ChatGPT, following a five-dimensional system proposed by Vicente and Manchado (2017). Subsequently, the problems were evaluated manually and automatically before and after modification. The results show a general improvement in authenticity after modifications made with AI, both in manual and automatic analysis, especially in dimensions such as event, question and data specificity, although there are certain limitations with respect to the accuracy of automatic analysis. This study highlights the usefulness of artificial intelligence tools as a didactic resource in the design of educational materials that are more contextualized and closer to the students' experience, as well as the need to train teachers in their pedagogical use in a critical and responsible manner.