To the ruin you have alone! La traducción automática, el doblaje generado por IA y los memes

Abstract

[SP] Este Trabajo Fin de grado analiza la traducción automática y el doblaje basados en inteligencia artificial de contenidos audiovisuales. En concreto, se utiliza el motor Vidnoz para traducir y doblar memes de naturaleza humorística y con una gran carga cultural de español a inglés. Por su brevedad y carga cultural, los memes representan un reto para los sistemas de traducción neuronal automática. El estudio se centra en la traducción y doblaje de un corpus de veinte memes virales, famosos por su prevalencia en el imaginario colectivo español. Para valorar la calidad del resultado, se utiliza una versión adaptada de la metodología MQM (Multidimensional Quality Metrics), que facilita la clasificación de errores en función de su naturaleza y gravedad, tanto en el ámbito de la traducción como en el del doblaje. El marco teórico detalla las nociones de meme, doblaje y traducción automática neuronal; e indica los principales retos de traducir y doblar contenido audiovisual cómico. También se definen los criterios de análisis que determinarán si el producto final es apropiado o no. Los resultados indican que la mayoría de las traducciones audiovisuales automáticas generadas tienen limitaciones significativas en la mayoría de los aspectos evaluados. Las traducciones automáticas suelen ser literales y, por lo general, suprimen el humor del original. Los doblajes producidos por inteligencia artificial utilizan voces robóticas con una entonación plana, cometen errores en la sincronización labial y omiten ruidos de fondo importantes. Incluso en los escasos casos donde las traducciones son apropiadas, las deficiencias del doblaje impiden que se considere viable la traducción automática audiovisual. Este estudio a pequeña escala revela que herramientas como Vidnoz, en su versión gratuita y bajo los términos de esta investigación, no logran producir un producto final con la calidad necesaria para reemplazar la traducción humana en encargos cómicos con una gran carga cultural.

[EN] This thesis analyses machine translation and dubbing of audiovisual content based on artificial intelligence. Specifically, we will be working with the Vidnoz engine to translate and dub humorous memes with a high cultural load from Spanish to English. Due to their briefness and cultural charge, memes represent a challenge for neural machine translation systems. The study focuses on translating and dubbing a corpus of twenty viral memes, famous for their prevalence in Spain's popular culture. To assess the quality of the result, an adapted version of the MQM (Multidimensional Quality Metrics) methodology is used, which facilitates the classification of errors according to their nature and severity, both in translation and dubbing. The theoretical framework details the notions of meme, dubbing, and neural machine translation; and indicates the main challenges of translating and dubbing comic audiovisual content. It also defines the analysis criteria that will determine whether the final product is appropriate or not. The results indicate that most of the generated audiovisual machine translations have significant limitations in most evaluated aspects. Machine translations tend to be literal and usually suppress the humor of the original. Artificially produced dubbings use robotic voices with flat intonation, make errors in lip-synchronization, and omit important background noises. Even in the rare cases where translations are appropriate, the shortcomings of dubbing prevent audiovisual machine translation from being considered viable. This small-scale study reveals that tools such as Vidnoz, in their free version and under the terms of this research, fail to produce a final product of the quality needed to replace human translation in culturally charged comedy assignments. Although these technologies can be useful as a support, it is essential that a human expert carries out a rigorous review and adaptation. It is therefore advisable to restrict their application to non-specialized contexts or as a support tool in the translation and dubbing process.