Redes neuronales diferenciales: Fundamentos y Aplicaciones

Abstract

[ES]En este trabajo explicaremos los fundamentos de las ecuaciones diferenciales ordinarias neuronales (ODENets) y las redes neuronales informadas en física (PINNs), dos técnicas de aprendizaje profundo empleadas para resolver ecuaciones diferenciales ordinarias y en derivadas parciales, respectivamente. Las ODENets son una familia de modelos de aprendizaje profundo en la que se emplea una red neuronal para parametrizar el campo vectorial. La salida de la red neuronal es calculada después por un algoritmo de resolución de ODEs que consideraremos una caja negra, de forma que la propagación hacia atrás de la red se hace sin acceder a las operaciones internas. Estos modelos tienen ventajas sobre otros métodos tradicionales de resolución de ODEs, como un coste de memoria constante, la adaptabilidad de la estrategia de evaluación a cada entrada o la posibilidad de intercambiar precisión numérica por velocidad, además de poder ser aplicados a datos con ruido y esparcidos en el tiempo. Explicaremos su funcionamiento y aplicaremos esta técnica a un ejemplo concreto. En segundo lugar, las PINNs son redes neuronales entrenadas para resolver tareas de aprendizaje supervisado obedeciendo una cierta ley física descrita por una ecuación diferencial en derivadas parciales. Describimos su funcionamiento para el caso en tiempo continuo para sus dos modos: soluciones basadas en datos y descubrimientos basado en datos. Este nuevo modelo permite obtener aproximaciones de la solución de EDPs y estimaciones de sus parámetros. Explicaremos en qué consisten y cómo funcionan para después aplicar este método a un caso concreto.

[EN]In this work, we will explain the fundamentals of Neural Ordinary Differential Equations (ODENets) and Physics-Informed Neural Networks (PINNs), two deep learning techniques employed to solve ordinary and partial differential equations, respectively. ODENets are a family of deep learning models where a neural network is used to parameterize the vector field. The output of the neural network is then computed by an ODE solver, which we will consider as a black box, so that the backpropagation of the network is performed without accessing the internal operations. These models have advantages over traditional ODE-solving methods, such as constant memory cost, adaptability of the evaluation strategy to each input, and the possibility of trading numerical precision for speed. They can also be applied to noisy and temporally scattered data. We will explain their functioning and apply this technique to a specific example. Secondly, PINNs are neural networks trained to solve supervised learning tasks by obeying a certain physical law described by a partial differential equation. We describe their functioning for the continuous time case in their two modes: databased solutions and data-driven discovery. This new model allows for obtaining approximations of PDE solutions and estimates of their parameters. We will explain what they are and how they work, and then apply this method to a specific case.