Transformers and other Attention-Based Algorithms for Biomedicine

Abstract

[EN] This research explores the application of Transformer-based models and Hybrid Attention Mechanisms across three critical biomedical tasks: meningioma segmentation, epileptic seizure detection, and pathogenicity prediction of genomic variants. For meningioma segmentation, this research investigates refining skip connections in a U-Net architecture by incorporating Swin Transformers for Magnetic Resonance Imaging. The proposed SwinC U-Net model, evaluated on the Brain Tumor Segmentation Meningioma 2023 challenge dataset, achieved a Dice score of 0.8933±0.0016, precision of 0.9020±0.0041, and recall of 0.8939±0.0044, surpassing U-Net and Attention U-Net in precision and accuracy, while slightly underperforming in recall compared to U-Net. In epileptic seizure detection, this work addresses the challenge of real-time monitoring using microelectrode array data from rat brain slices with 4-aminopyridine-induced epileptic activity. Lightweight neural models were trained to detect seizures. The best performing model, GRU+Attention, achieved an event-level F1 score of 0.839, Jaccard index of 0.722, recall of 0.813, and precision of 0.867 on a held-out test set. The model was quantized to INT8, maintaining high event-level detection performance (F1 = 0.812, Jaccard = 0.709) and demonstrating real-time feasibility on embedded platforms like the Raspberry Pi 5 (latency: 2.61 ms) and Coral Dev Board (latency: 23.7 ms), with memory usage under 614 MB. For pathogenicity prediction, a Feature Tokenizer Transformer model was developed to classify genetic variants. The model used a set of inputs derived from next-generation sequencing data from the CLINVAR database, after being processed through the regular pipeline consisting of quality control, alignment, variant calling, filtering, indexing, and annotation. The semi-supervised approach allowed the model to extract insight from uncertain-labeled data. The model achieved a precision of 0.98, sensitivity of 0.92, specificity of 0.99, and F1 score of 0.95, outperforming ClinPred and REVEL in precision and specificity, but with slightly lower sensitivity than ClinPred. These studies demonstrate the versatility and efficacy of Attention-based models in handling diverse biomedical signal modalities. The results underscore the potential of Transformer architectures to advance biomedical data analysis, enhancing diagnostics and personalized medicine.

[ES] Esta investigación explora la aplicación de modelos basados en Transformers y mecanismos híbridos de atención en tres tareas biomédicas críticas: segmentación de meningiomas, detección de ataques epilépticos y predicción de patogenicidad de variantes genómicas.

Para la segmentación de meningiomas, se estudia la mejora de las skip-connections en una arquitectura U-Net mediante la incorporación de Swin Transformers para imágenes de resonancia magnética. El modelo SwinC U-Net, evaluado en el conjunto de datos de la edición del 2023 del Brain Tumor Segmentation Challenge Meningioma, alcanzó una puntuación Dice de 0.8933±0.0016, precisión de 0.9020±0.0041 y recall de 0.8939±0.0044, superando a U-Net y Attention U-Net en precisión y exactitud, aunque con un rendimiento ligeramente inferior en recall en comparación con U-Net.

En cuanto a la detección de crisis epilépticas, se aborda el reto de la monitorización en tiempo real utilizando datos de matrices de microelectrodos obtenidos de cortes cerebrales de rata con actividad epiléptica inducida por 4-aminopiridina. Se entrenaron modelos neuronales ligeros para detectar crisis, destacando el modelo GRU+Attention, que obtuvo una puntuación F1 a nivel de evento de 0.839, un índice de Jaccard de 0.722, un recall de 0.813 y una precisión de 0.867 en un conjunto de prueba independiente. Tras la cuantización a INT8, el modelo mantuvo un rendimiento elevado (F1 = 0.812, Jaccard = 0.709) y demostró viabilidad en tiempo real en plataformas embebidas como Raspberry Pi 5 (latencia: 2.61 ms) y Coral Dev Board (latencia: 23.7 ms), con un consumo de memoria inferior a 614 MB.

Para predicción de patogenicidad, se desarrolló un modelo Feature Tokenizer Transformer para clasificar variantes genéticas utilizando datos de CLINVAR, procesados con el habitual pipeline de control de calidad, alineación, llamada de variantes y anotación. El acercamiento semisupervisado permite al modelo aprender de los datos con etiquetas inciertas. El modelo logró una precisión de 0.98, sensibilidad de 0.92, especificidad de 0.99 y F1 de 0.95, superando a ClinPred y REVEL en precisión y especificidad.

Estos estudios demuestran la versatilidad de los modelos basados en atención para procesar diversas señales biomédicas, destacando el potencial de los Transformers para mejorar el diagnóstico y la medicina personalizada.