Aprendizaje profundo por refuerzo en un sistema multiagente para definir acciones de gestión de carga de vehículos eléctricos

Abstract

[ES]Con el aumento del uso de vehículos eléctricos y la evolución del sistema de distribución de energía eléctrica, con la implementación de medidores de energía eléctricos inteligentes, los usuarios ahora tienen la posibilidad de monitorear y gestionar el consumo de energía eléctrica, así como la carga eficiente del vehículo eléctrico. Teniendo en cuenta la complejidad inherente al proceso de carga de vehículos eléctricos y la intrincada relación entre los diversos elementos que intervienen en dicho proceso, el sistema multiagente surge como una alternativa viable. En este contexto, el presente trabajo presenta una metodología para la gestión de la energía de los vehículos eléctricos, orientando al usuario sobre las acciones necesarias, teniendo en cuenta su perfil de uso, las condiciones operativas de la red eléctrica, el precio de la energía y el estado de carga de la batería del vehículo. Además de estas funciones, se tiene en cuenta la gestión del tiempo y la seguridad en el control de la carga de la batería del vehículo eléctrico por parte del usuario, incluso si este no tiene conocimientos sobre las tecnologías involucradas. El objetivo del estudio es que las herramientas desarrolladas promuevan una transición fluida de los usuarios, sustituyendo los vehículos convencionales por eléctricos. En este contexto, es importante tener en cuenta la situación en la que el usuario no dispone de una estación de carga residencial o no tiene acceso a ella, ya que depende de la infraestructura pública para recargar su vehículo. Este estudio presenta una propuesta de modelo de aprendizaje por refuerzo profundo, que tiene en cuenta las características individuales del usuario de vehículos eléctricos, con el objetivo de identificar las mejores acciones. Como contribución científica, se ha elaborado un modelo de aprendizaje por refuerzo profundo, que tiene en cuenta las características individuales del usuario de vehículos eléctricos para identificar las mejores acciones. Como contribución técnica, se presenta un modelo de sistema multiagente para la gestión de la energía destinado a la recarga de vehículos eléctricos. La metodología de la investigación implica el uso del Sistema Multiagente para definir el control de la información de cada dispositivo y gestionar la energía del vehículo eléctrico de forma individualizada. El sistema en cuestión cuenta con la ayuda de un simulador de tráfico (SUMO) y de la red eléctrica (OpenDSS). El modelo de aprendizaje propuesto se compara con los resultados de un modelo de aprendizaje por refuerzo con actor crítico, definido en el estudio del estado del arte, y obtuvo buenos resultados. El documento aborda los fundamentos teóricos necesarios para comprender el estado actual de la técnica en relación con el objeto de estudio, describe las características técnicas de las herramientas desarrolladas y concluye con el análisis de los resultados obtenidos en los experimentos realizados con dichas herramientas.

[PT]Com o aumento do uso de veículos elétricos e a evolução do sistema de distribuição de energia elétrica, com a implementação de medidores de energia elétricas inteligentes, os usuários passam a ter a possibilidade de acompanhar e gerenciar o consumo de energia elétrica, bem como o carregamento eficiente do veículo elétrico. Considerando a complexidade inerente ao processo de carregamento de veículos elétricos e o intricado relacionamento entre os diversos elementos envolvidos nesse processo, o Sistema Multiagente emerge como uma alternativa viável. Nesse contexto, o presente trabalho apresenta uma metodologia para a gestão da energia de veículos elétricos, orientando o usuário quanto às ações necessárias, considerando o seu perfil de utilização, as condições operacionais da rede elétrica, o preço da energia e o estado de carga da bateria do veículo. Além dessas atribuições, considera-se a gestão do tempo e da segurança no controle de carga da bateria do veículo elétrico pelo usuário, mesmo que este não tenha conhecimento das tecnologias envolvidas. O objetivo do estudo é que as ferramentas desenvolvidas promovam uma transição tranquila dos usuários, substituindo veículos convencionais por elétricos. Nesse contexto, é importante considerar a situação em que o usuário não possui ou não tem acesso a uma estação de carregamento residencial, uma vez que depende da infraestrutura pública para a recarga de seu veículo. Este estudo apresenta uma proposta de modelo de aprendizagem por reforço profundo, que considera as características individuais do usuário de veículo elétrico, com o objetivo de identificar as melhores ações. Como contribuição científica, foi elaborado um modelo de aprendizagem por reforço profundo, que considera características individuais do usuário de veículo elétrico para identificar as melhores ações. Como contribuição técnica, é apresentado um modelo de sistema multiagente para gestão de energia destinado ao carregamento de veículos elétricos. A metodologia da pesquisa envolve o Sistema Multiagente para definir o controle da informação de cada dispositivo e gerenciar a energia do veículo elétrico de forma individualizada. O sistema em questão conta com a ajuda de um simulador de tráfego (SUMO) e da rede elétrica (OpenDSS). O modelo de aprendizagem proposto é comparado com os resultados de um modelo de aprendizagem por reforço com ator-crítico, definido no estudo do estado da arte, e obteve bons resultados. O documento aborda a fundamentação teórica necessária para a compreensão da situação do estado da arte em relação ao objeto de estudo, descreve as características técnicas envolvidas nas ferramentas desenvolvidas e conclui com a análise dos resultados obtidos nos experimentos utilizando as ferramentas desenvolvidas.

[EN]With the increased use of electric vehicles and the evolution of the electricity distribution system, with the implementation of smart electricity meters, users now have the ability to monitor and manage their electricity consumption, as well as efficiently charge their electric vehicles. Considering the complexity inherent in the electric vehicle charging process and the intricate relationship between the various elements involved in this process, the Multiagent System emerges as a viable alternative. In this context, this study presents a methodology for managing the energy of electric vehicles, guiding users on the necessary actions, considering their usage profile, the operating conditions of the power grid, the price of energy, and the state of charge of the vehicle’s battery. In addition to these tasks, it considers time and safety management in the control of the electric vehicle battery charge by the user, even if they are not familiar with the technologies involved. The objective of the study is for the tools developed to promote a smooth transition for users, replacing conventional vehicles with electric ones. In this context, it is important to consider the situation in which the user does not own or have access to a residential charging station, since they depend on public infrastructure to recharge their vehicle. This study presents a proposal for a deep reinforcement learning model that considers the individual characteristics of electric vehicle users in order to identify the best actions. As a scientific contribution, a deep reinforcement learning model was developed that considers the individual characteristics of electric vehicle users to identify the best actions. As a technical contribution, a multi-agent system model for energy management for electric vehicle charging is presented. The research methodology involves the Multi-Agent System to define the control of information for each device and manage the energy of the electric vehicle individually. The system in question relies on the help of a traffic simulator (SUMO) and the electrical grid (OpenDSS). The proposed learning model is compared with the results of a critical actor reinforcement learning model, defined in the state-of-the-art study, and obtained good results. The document addresses the theoretical basis necessary for understanding the state of the art in relation to the object of study, describes the technical characteristics involved in the tools developed, and concludes with an analysis of the results obtained in experiments using the tools developed.