Sistema de detección de información mediante visión artificial

Abstract

[ES]En la actualidad, las personas invidentes son capaces de leer, a partir del lenguaje braille incluido en la caja de los medicamentos, una pequeña información sobre los mismos. Además, el acceso al prospecto completo se ve limitado para personas que poseen visión reducida, debido a problemas visuales (miopía, vista cansada, entre otros) por el pequeño tamaño de su letra. A través de esta investigación, se trata de solucionar esta problemática, mediante un modelo de visión artificial que pueda identificar diferentes cajas de medicamentos desde el propio dispositivo móvil. Además, que utilizando Procesamiento del Lenguaje Natural (PLN) se pueda generar una respuesta a cualquier pregunta del usuario acerca del medicamento, teniendo en cuenta el contexto del prospecto. Para lograr este objetivo, se ha creado un dataset de cajas de medicamentos españoles. Posteriormente, se han entrenado dos modelos pre-entrenados de clasificación (MobileNetV2 y ResNet50) y otros dos de detección para (EfficientDet-Lite0 y EfficientDet-Lite2) capaces de identificar la caja del medicamento a través de las imágenes proporcionadas por el dispositivo móvil del usuario en tiempo real. Por otro lado, se trata de obtener un modelo de PLN que tenga la capacidad de generar una respuesta a una pregunta de un usuario. Se han creado otros dos conjuntos de datos con la finalidad de responder a las preguntas del usuario acerca del medicamento. El primer dataset tiene como objetivo determinar en qué sección del prospecto se encuentra la respuesta a la pregunta. El segundo tiene la finalidad de generar la respuesta a la pregunta teniendo como contexto la sección elegida en el paso anterior. Se ha realizado fine-tuning con los dos conjuntos de datos de un modelo pre-entrenado con texto español basado en la arquitectura BART. Para finalizar, se ha implementado una aplicación disponible para Android que permite utilizar ambos modelos de machine learning obtenidos.

[EN]Nowadays, blind people are able to read, from the braille language included on the medicine box, a small amount of information about the medicine. In addition, access to the full package patient information is limited for people with reduced vision, due to visual problems (myopia, eyestrain, among others) because of the small size of the print. This research aims to solve this problem by means of an artificial vision model that can identify different boxes of medicines from the mobile device itself. Furthermore, using Natural Language Processing (NLP), it can generate an answer to any question from the user about the medicine, taking into account the context of the patient information leaflet. To achieve this goal, a dataset of Spanish medicine boxes has been created. Subsequently, two pre-trained classification models (MobileNetV2 and ResNet50) and two detection models (EfficientDet-Lite0 and EfficientDet-Lite2) capable of identifying the drug box through the images provided by the user's mobile device in real time have been trained. On the other hand, the aim is to obtain a PLN model that has the ability to generate an answer to a user's question. Two other datasets have been created in order to answer the user's questions about the medicine. The first dataset is intended to determine in which section of the package leaflet the answer to the question is found. The second one aims to generate the answer to the question in the context of the section chosen in the previous step. We have performed fine-tuning with the two datasets of a pre-trained model with Spanish text based on the BART architecture. Finally, an application available for Android has been implemented that allows the use of both models of machine learning obtained.