Detectando el odio ideológico en Twitter. Desarrollo y evaluación de un detector de discurso de odio por ideología política en tuits en español

Abstract

[ES] El discurso de odio propagado a través de redes sociales como Twitter merece atención especial, ya que su incremento puede relacionarse con el aumento de crímenes de odio. De las 11 categorías de discriminación que contempla el Ministerio de Interior de España, la segunda en la que más delitos de odio se registran al año es la ideología. Sin embargo, esta categoría queda fuera de la mayor parte de los planes de acción para estudiar y combatir los delitos de odio. Lo mismo ocurre con los trabajos académicos, que se centran mayoritariamente en el odio en inglés y a nivel general. Los que estudian un único tipo de odio se han enfocado en el racismo, la xenofobia o la discriminación de género, pero nunca en la ideología política. Asimismo, los prototipos de detección desarrollados hasta ahora no usan bases de datos generadas manualmente por varios codificadores. Esta investigación busca superar estas limitaciones, desarrollando y evaluando un detector automático de discurso de odio por motivos ideológicos en Twitter en español a partir de técnicas de aprendizaje automático supervisado. Para ello, se ha desarrollado un total de ocho modelos predictivos a partir de un corpus de entrenamiento generado ad-hoc, y haciendo uso de modelado superficial y de aprendizaje profundo, lo que permite mejorar el rendimiento final del prototipo. El desarrollo del corpus permitió observar, además, que un 16,2% de la muestra, recogida en el otoño de 2019, incluyó algún tipo de odio ideológico. [EN] Hate speech spread through social media such as Twitter deserves special attention, as its increase may be related to the rise in hate crimes. Of the 11 categories of discrimination contemplated by the Spanish Ministry of Internal Affairs, the second in which the most hate crimes are registered per year is political ideology. However, this category falls outside of most action plans to study and combat hate crimes. The same occurs in the case of academic works since most focus on analyzing and detecting hate in English and at a general level. The few authors who have targeted their studies to a single type of hate to improve accuracy, have focused on racism, xenophobia, or gender discrimination, but never on political ideology. Furthermore, the detection prototypes developed so far have not used databases generated manually by various coders. This paper aims to overcome these limitations, developing and evaluating an automatic hate speech detector on Twitter in Spanish for reasons of ideological discrimination, using supervised machine learning techniques. For this, we developed a total of eight predictive models from an ad-hoc generated training corpus, and making use of shallow modelling, but also deep learning, which has allowed to improve the final performance of the prototype. In addition, the development of the corpus allowed us to observe that 16.2% of the sample, collected in autumn 2019 and manually analyzed, included some type of ideological hatred. [POR] O discurso de ódio que se espalha pelas redes sociais como o Twitter merece atenção especial, pois seu aumento pode estar relacionado ao aumento dos crimes de ódio. Das onze categorias de discriminação contempladas pelo Ministério do Interior da Espanha, a segunda em que mais crimes de ódio são registrados por ano é a ideologia política. No entanto, esta categoria está fora da maioria dos planos de ação para estudar e combater os crimes de ódio. O mesmo acontece com os trabalhos acadêmicos, já que a maioria concentra-se em analisar e detectar o ódio em inglês e em um nível geral, e os poucos autores que limitaram seus estudos a um único tipo de ódio concentraram-se no racismo, xenofobia ou discriminação de gênero, mas nunca na ideologia política. Além disso, os protótipos de detecção desenvolvidos até o momento não usaram bancos de dados gerados manualmente por vários codificadores. A presente pesquisa visa superar essas limitações, desenvolvendo e avaliando um detector automático de discurso de ódio no Twitter em espanhol por motivos de discriminação ideológica, baseado em técnicas de aprendizagem automática supervisionada. Para isso, foram desenvolvidos um total de 8 modelos preditivos a partir de um corpus de treinamento gerado ad-hoc, e fazendo uso de modelagem superficial, mas também de aprendizagem profunda, que tem permitido melhorar o desempenho final do protótipo. O processo de elaboração do corpus também nos permitiu observar que 16,2% da amostra, coletada no outono de 2019, incluía algum tipo de ódio ideológico.