Literacidad en evaluación del profesorado de español como lengua adicional en Brasil. Un análisis y una propuesta pedagógica

Abstract

[ES] Cuando nos convertimos en docentes y entramos en el desafiante mundo de la educación, es probable que aún no dominemos por completo todos los conocimientos y habilidades requeridos, incluyendo aquellos relacionados con la evaluación. Dado el impacto que el acto de evaluar tiene en la planificación y ejecución de la práctica pedagógica, es importante para nosotros que, en este contexto como docentes de español como lengua adicional (ELA), seamos literatos en evaluación en el contexto de lenguas (LEL). Sin embargo, considerando, en primer lugar, la escasez de componentes curriculares específicos sobre evaluación en los cursos iniciales de formación de profesores de lenguas en Brasil —lo que contribuye a la formación de docentes con poco pensamiento crítico debido a la falta de desarrollo de LEL—, en segundo lugar, la resistencia de algunos docentes a adoptar una nueva perspectiva de evaluación y en tercer lugar, la falta de incentivos para la formación continua, esta investigación se estructuró con base en dos objetivos principales: 1) Diagnosticar el conocimiento sobre LEL de los profesores de ELA en Brasil; y 2) Investigar el impacto de un Curso Online Masivo y Abierto (COMA) para profesores de ELA en Brasil en LEL. Para el desarrollo del diagnóstico, se realizó una extensa revisión bibliográfica que abarcó (a) el escenario del español en Brasil, (b) la literacidad en la evaluación, (c) los factores determinantes de la evaluación (de lenguas) y (d) la importancia de la literacidad crítica en la evaluación, lo que respaldó el desarrollo del curso propuesto en esta investigación. El curso, con una carga horaria de 60 horas, ofrecido en formato COMA y disponible a través del entorno virtual de la Universidad Federal de Minas Gerais (UFMG) entre marzo y julio de 2024, se difundió en grupos específicos de redes sociales, WhatsApp, Instagram y Facebook (principalmente grupos específicos de profesores de ELA en Brasil), así como por correos electrónicos a asociaciones estatales y nacionales del público meta, mediante los cuales conseguimos 49 participantes de las 5 regiones de Brasil hasta el cierre del curso, número que, por lo tanto, compuso la muestra analizada. Con el objetivo de desarrollar la LEL de los profesores, se abordaron 20 temas, divididos en 4 bloques: Evaluación y Salón de Clase; Evaluación y Psicometría; Evaluación y Sociedad; Manos a la Obra. Los datos de esta investigación, caracterizada como una investigación-acción exploratoria de método mixto, se recopilaron durante el curso, utilizando principalmente tres herramientas digitales: Formularios de Google, Padlet y los foros disponibles en la propia plataforma. Los datos se analizaron mediante el método de análisis de contenido de Bardin, implementado por ChatGPT 4o. Los resultados de este estudio demostraron que el curso MOOC tuvo un impacto significativo en la LEL de los participantes profesores de ELA en todos los temas abordados. Se observaron avances notables, desde una comprensión más profunda de las experiencias de evaluación —favoreciendo la retroalimentación y la claridad de criterios— hasta una redefinición de la planificación didáctica, que pasó de ser un simple guion a convertirse en una herramienta predictiva esencial para un aprendizaje significativo. Además, los docentes ampliaron su repertorio y su conocimiento crítico de los tipos de evaluación, diferenciando mejor los conceptos y reconociendo su valor formativo más allá de las calificaciones. En particular, el curso proporcionó una mejora sustancial en la comprensión de conceptos psicométricos complejos, un área en la que los docentes tenían un conocimiento limitado. También fomentó una profunda reflexión sobre las dimensiones éticas y sociales de la evaluación, promoviendo una visión de equidad e imparcialidad que trasciende una perspectiva puramente individual. Aunque no sea posible garantizar la aplicación inmediata de todos los conocimientos, la tesis concluye que el curso fomentó una reflexión crítica fundamental, contribuyendo al avance de la LAL en un contexto como el ELA en Brasil, donde la investigación en esta área es escasa, y aspirando la promoción de una red de formación de profesores que entienda la evaluación como un proceso de transformación social.

[PT] Ao nos tornarmos professores e adentrarmos no desafiante mundo da educação, é provável que ainda não tenhamos dominado completamente todos os conhecimentos e habilidades exigidos, incluindo aqueles referentes à avaliação. Em razão do impacto que o ato de avaliar traz para o planejamento e execução da prática pedagógica, surge a importância de nós, neste contexto professores de espanhol como língua adicional (ELA), sermos letrados em avaliação no contexto de línguas (LAL), que trata basicamente de um conjunto de habilidades e competências relacionadas à avaliação que principalmente nós professores deveríamos ter para avaliarmos de forma justa e equânime. Contudo, considerando, em primeiro lugar, a escassez de componentes curriculares específicos sobre avaliação nos cursos de formação inicial de professores de línguas no Brasil —o que contribui para a formação de docentes com pouca criticidade devido à ausência de desenvolvimento do LAL—, em segundo lugar, a resistência de alguns professores em adotar uma nova perspectiva avaliativa e em terceiro lugar, a insuficiência de estímulos à formação continuada, esta pesquisa foi estruturada com base em dois objetivos principais: 1. Diagnosticar os saberes sobre LAL dos professores de ELA do Brasil; e 2. Investigar o impacto de um Curso Online Aberto e Massivo (MOOC) para professores de ELA do Brasil sobre LAL. Para tanto, empreendeu-se vasta revisão bibliográfica, abrangendo (a) o cenário do espanhol no Brasil, (b) o letramento em avaliação, (c) fatores determinantes na avaliação (de línguas) (d) e a importância do letramento crítico na avaliação, o que subsidiou a elaboração do curso proposto nesta investigação. O curso, destinado a professores de ELA em formação continuada, composto por uma carga de 60 horas, ofertado no formato MOOC e disponibilizado por meio do ambiente virtual da Universidade Federal de Minas Gerais (UFMG) entre março e julho de 2024, alcançou 49 concluintes, oriundos das 5 regiões do Brasil, até o fechamento do curso, montante que compôs, portanto, a amostra analisada. Visando o desenvolvimento do LAL dos professores, foram abordados 20 temas divididos em 4 blocos: Avaliação e Sala de Aula; Avaliação e Psicometria; Avaliação e Sociedade; Mãos à Obra. Os dados desta investigação, caracterizada como pesquisa-ação de abordagem mista e caráter exploratório, foram coletados durante o curso, compostos fundamentalmente por três ferramentas digitais: Google Forms, Padlet e os fóruns disponíveis na própria plataforma. Os dados foram analisados à luz da análise de conteúdo de Bardin operacionalizado pelo ChatGPT 4o. Por resultados, este estudo conseguiu demonstrar que o curso MOOC impactou significativamente o LAL dos participantes professores de ELA em todos os temas abordados. Foram observados avanços notáveis, desde uma compreensão mais profunda das experiências avaliativas — favorecendo o feedback e a clareza de critérios — até uma redefinição do planejamento didático, que deixou de ser um mero roteiro para se tornar um instrumento essencial de previsão para uma aprendizagem significativa. Além disso, os docentes ampliaram seu repertório e consciência crítica sobre os tipos de avaliação, diferenciando melhor os conceitos e reconhecendo o valor formativo para além das notas. Particularmente, o curso proporcionou uma melhoria substancial na compreensão de conceitos complexos da psicometria, área em que os professores tinham conhecimento limitado. Também impulsionou uma reflexão profunda sobre as dimensões éticas e sociais da avaliação, promovendo uma visão de equidade e imparcialidade que transcende a perspectiva puramente individual. Embora não seja possível garantir a aplicação imediata de todos os conhecimentos, a tese conclui que o curso fomentou uma reflexão crítica fundamental, contribuindo para o avanço do LAL em um contexto como o de ELA no Brasil, onde a pesquisa nessa área é escassa, e aspirando a promoção de uma rede de formação docente que entenda a avaliação como um processo de transformação social.

[EN] When we become teachers and enter the challenging world of education, it is likely that we have not yet fully mastered all the knowledge and skills required, including those related to assessment. Given the impact that the act of assessment has on the planning and execution of pedagogical practice, it is important for us, in this context as teachers of Spanish as an Additional Language (ELA), to be literate in assessment in the context of languages (LAL). However, considering, firstly, the scarcity of specific curricular components on assessment in initial language teacher training courses in Brazil —which contributes to the training of teachers with little critical thinking due to the lack of development of LAL —, secondly, the resistance of some teachers to adopt a new assessment perspective and thirdly, the lack of incentives for continuing education, this research was structured based on two main objectives: 1. To diagnose the knowledge about LAL of ELA teachers in Brazil; and 2. To investigate the impact of a Massive Open Online Course (MOOC) for ELA teachers in Brazil on LAL. To this end, an extensive bibliographic review was undertaken, covering (a) the scenario of Spanish in Brazil, (b) literacy in assessment, (c) determining factors in (language) assessment (d) and the importance of critical literacy in assessment, which supported the development of the course proposed in this investigation. The course, consisting of a workload of 60 hours, offered in the MOOC format and made available through the virtual environment of the Universidade Federal de Minas Gerais (UFMG) between March and July 2024, was advertised in specific social media groups, WhatsApp, Instagram and Facebook (mainly specific groups of ELA teachers in Brazil), as well as by emails to state and national associations of the target audience, having reached 49 graduates, from the 5 regions of Brazil, by the end of the course, a number that therefore composed the sample analyzed. Aiming at the development of teachers' LAL, 20 themes were covered, divided into 4 blocks: Assessment and Classroom; Assessment and Psychometrics; Assessment and Society; Hands on. The data for this investigation, characterized as mixed-approach, exploratory action research, were collected during the course, from i. a preliminary questionnaire related to the participants' personal and academic aspects and the first 10 LAL topics developed throughout the course; ii. an intermediate questionnaire related to the last 10 topics; and iii. a final questionnaire, in which they were able to provide feedback on the course and list the topics of greatest and least importance. In addition, forms, forums, and activities developed throughout the course were added to the research instruments used. The data were analyzed in light of Bardin's content analysis operationalized by ChatGPT 4o. The results of this study demonstrated that the MOOC course significantly impacted the LAL of participating ELA teachers across all topics covered. Notable advances were observed, ranging from a deeper understanding of assessment experiences—favoring feedback and clarity of criteria—to a redefinition of didactic planning, which went from being a mere script to becoming an essential predictive tool for meaningful learning. Furthermore, teachers expanded their repertoire and critical awareness of assessment types, better differentiating concepts and recognizing their formative value beyond grades. In particular, the course provided a substantial improvement in the understanding of complex psychometric concepts, an area in which teachers had limited knowledge. It also fostered a deep reflection about the ethical and social dimensions of assessment, promoting a view of equity and impartiality that transcends a purely individual perspective. Although it is not possible to guarantee the immediate application of all knowledge, the thesis concludes that the course fostered fundamental critical reflection, contributing to the advancement of LAL in a context such as ELA in Brazil, where research in this area is scarce, and aspiring to promote a teacher education network that understands assessment as a process of social transformation.