Plataforma para recreación de estrategia basada en aprendizaje reforzado

Abstract

[ES]Este proyecto busca revolucionar el campo de los juegos tácticos basados en turnos (TBRPG). Elaborado en Unity, este proyecto se centra en la aplicación de técnicas de aprendizaje reforzado y algoritmos de inteligencia artificial sofisticados para mejorar la jugabilidad y la experiencia del jugador. En el núcleo se encuentran varios algoritmos y técnicas sofisticadas de IA, cada uno de los cuales contribuye a la creación de una experiencia de juego profundamente rica y variada. Al tratarse de juegos con adversario es necesario dotar al mismo, visto como agente inteligente de las mejores capacidades proactivas que permitan esta experiencia de juego. En primer lugar, al tratarse de “enemigos/contrarios” con movilidad es necesario que éstos dispongan de capacidades navegacionales en el escenario, para lo que es necesaria la capacidad de planificar movimientos, para lo que, en este caso se van a proponer estrategias como el algoritmo A* que permiten tener esta capacidad con soluciones de calidad. Es una técnica de búsqueda informada eficiente y versátil, utilizada para encontrar el camino más corto en gráficos complejos, como los mapas de juegos. Adicionalmente, el cálculo de la distancia de Chevysev, una medida heurística de la distancia entre dos puntos en una cuadricula se utilizará para informar las decisiones de las unidades controladas por IA, permitiéndoles navegar de manera eficiente en el entorno del juego. Por otra parte, las capacidades estratégicas requieren de disponer de capacidades de toma de decisión autónomas, a nivel de planes de acción (ataque-defensa en nuestro caso). Para ello, y con objeto de que el adversario tenga un comportamiento adecuado e inteligente, se van a explorar las técnicas de aprendizaje reforzado. Por tanto, una de las características más destacadas de la plataforma será su capacidad para recrear situaciones de estrategia en un entorno de juego. Esto permite a los usuarios, desde los entusiastas de los juegos hasta los académicos, estudiar y comprender el aprendizaje reforzado en un entorno interactivo y lúdico. A través de la experimentación directa y la observación, los usuarios pueden explorar cómo las técnicas de aprendizaje reforzado y la IA pueden combinarse para resolver problemas de estrategia de manera efectiva y eficiente. Finalmente, y, con objeto de tener capacidades de comportamiento en tiempo real, y teniendo en cuenta que los escenarios reales de juegos generan complejos árboles de búsqueda será necesario utilizar soluciones que permitan alcanzar soluciones óptimas. Así, la plataforma incorporará el algoritmo de Montecarlo, una herramienta poderosa para la toma de decisiones probabilísticas y la modelación de incertidumbre en el contexto complejos como es en el de los juegos de estrategia. Estas herramientas de IA no solo mejoran la jugabilidad al generar oponentes controlados por computadora más inteligentes y desafiantes, sino que también mejoran la experiencia general del jugador al permitir una interacción más fluida y rica con el entorno del juego.

[EN]This project seeks to innovate the field of turn-based tactical games (TBRPG). Developed in Unity, this project focuses on the application of enhanced learning techniques and sophisticated artificial intelligence algorithms to improve gameplay and player experience. At the core are several sophisticated AI algorithms and techniques, each contributing to the creation of a deeply rich and varied gameplay experience. As these are adversarial games, it is necessary to equip the adversary, seen as an intelligent agent, with the best proactive capabilities to enable this gaming experience. First, when dealing with "enemies/counterparts" with mobility, it is necessary that they have navigational capabilities in the scenario, for which the ability to plan movements is necessary, for which, in this case, strategies such as the A* algorithm will be proposed that allow this ability with quality solutions. It is an efficient and versatile informed search technique, used to find the shortest path in complex graphs, such as game maps. Additionally, the calculation of the Chevysev distance, a heuristic measure of the distance between two points on a grid, will be used to inform the decisions of AI-controlled units, allowing them to navigate efficiently in the game environment. On the other hand, strategic capabilities require autonomous decision-making capabilities, at the level of action plans (attack-defence in our case). To this end, and with the aim of ensuring that the adversary behaves appropriately and intelligently, reinforced learning techniques will be explored. Therefore, one of the most outstanding features of the platform will be its ability to recreate strategy situations in a game environment. This allows users, from gaming enthusiasts to academics, to study and understand reinforced learning in an interactive and playful environment. Through direct experimentation and observation, users can explore how reinforcement learning techniques and AI can be combined to solve strategy problems effectively and efficiently. Finally, in order to have real-time behavioural capabilities, and taking into account that real game scenarios generate complex search trees, it will be necessary to use solutions that allow optimal solutions to be reached. Thus, the platform will incorporate the Monte Carlo algorithm, a powerful tool for probabilistic decision making and uncertainty modelling in the complex context of strategy games. These AI tools not only enhance gameplay by generating smarter and more challenging computer-controlled opponents, but also improve the overall player experience by enabling a smoother and richer interaction with the game environment.