Improving the practical use of social robots for people with dementia: tackling methodological challenges in development, evaluation, and implementation

Abstract

[EN] Background: Positioned within the realm of digital health technologies, social robots emerge as a prospective avenue for enhancing the quality of life and social health of elderly adults and people with dementia (PwD). These robots offer companionship and social engagement, cognitive stimulation, learning and entertainment, monitoring and safety, assistance with daily activities and communication aid. Based on the existing literature, they are proven to improve social interactions, activity participation and engagement, and emotions in these target groups. It is crucial to adopt proper evaluation methodologies to study social robots and their effectiveness and implementation in this target group. Moreover, careful consideration of design and interaction methods, as well as ongoing customization, is essential to address these challenges and ensure that social robots effectively support and engage individuals with dementia in a meaningful and respectful manner. Lately, a robotic platform called MINI has been designed and developed in the robotic lab of the University of Carlos III in Madrid with an aim to support seniors and provide cognitive and social stimulation for older adults, especially for those with cognitive impairment. Aim: In this project, firstly, we aimed to review the methodologies used thus far in studies evaluating the feasibility, usability, efficacy, and effectiveness of social robots in clinical and social settings for elderly people, including persons with dementia. Secondly, we assessed the viewpoints of stakeholders and external contextual factors that could either facilitate or impede the introduction of the MINI social robot in Meeting Centres (MC) located in communities, aimed at providing support for PwD and their caregivers in the Netherlands and Spain. Thirdly, we investigated the acceptability and attitudes of the PwD and Mild Cognitive Impairments (MCI) towards the MINI robot. Lastly, we evaluated the usability and user experience of the MINI robot in the laboratory setting. Methods: For the scoping review, dedicated search strings were developed. Searches in MEDLINE (PubMed), Web of Science, PsycInfo, and CINAHL were performed on August 13, 2020. To trace facilitators and barriers to the adaptive implementation of innovations in dementia care, an explorative qualitative study was conducted. Following the introduction of the MINI robot 11 stakeholders were interviewed in three MCs in the Netherlands and one in Spain, as well as stakeholders in health and welfare organizations in both countries. In total 12 adults with dementia participated in focus groups. The data were thematically analysed and narratively described. To evaluate the usability and acceptability of the MINI robot, mixed-method studies were conducted (acceptability; 22 | usability: 10 PwD and MCI, aged 65 and over). Individual interaction sessions lasted one month for acceptability and one day for usability. Results: In the scoping review, forms of randomized controlled trials were the most applied designs. Feasibility and usability were often studied together in mixed methods or experimental designs and were most often studied in individual interventions. Feasibility was often assessed with the Unified Theory of the Acceptance and Use of Technology model. Efficacy and effectiveness studies used a range of psychosocial and cognitive outcome measures. However, the included studies failed to find significant improvements in quality of life, depression, and cognition. The most important (expected) facilitating factors mentioned by stakeholders appeared to be human resources, funding, the impact of the MINI robot on the users and programs of the MCs, characteristics of the innovation, and collaboration with other care and welfare organizations, whereas (expected) barriers mentioned concerned the physical context and the functionalities of the MINI robot, user context, and MCs activity policies. The results of the Almere questionnaire showed that there was generally support for the MINI robot, with somewhat higher post-test ratings for its acceptability. The MINI robot was regarded as a joyous companion, particularly for people living alone. While participants appreciated the robot, improvement suggestions were also offered for its features and functions. The usability study highlighted strengths in terms of quick learning, simple system and handling, and integration of functions, while also exposing areas for improvement and the need for clear guidance and expert assistance. Conclusion: Enhancing the quality of studies in this domain necessitates a refined approach. Efficacy and effectiveness studies can benefit from robust randomized controlled trial designs, employing substantial sample sizes and individualized intervention sessions, while experimental designs hold promise for feasibility and usability investigations. Employing a mixed-method approach for data collection across all three goals - efficacy/effectiveness, feasibility, and usability - is recommended. The significance of drawing insights from multiple interaction sessions spanning at least one month cannot be understated, as it offers a pathway to unveil long-term impacts of social robots. The outcomes of this project hold transformative potential for a range of stakeholders, from meeting centres directors and managers to care and welfare organizations to consider elements that might hinder or facilitate the implementation of MINI robots in MCs. This research further guides the design and development of the MINI robot, matching its characteristics with the preferences and demands of PwD as well as fulfilling meeting centres policies, so promoting its effective integration and deployment. This project pioneers the assessment of the MINI robot's usability and acceptance among PwD and MCI in Spain, confirming its viability within clinical contexts. The insights gained provide a fresh perspective for advancing similar social robots designs and offer crucial guidance for tailoring robotic features to meet the specific requirements of end users. [ES] Antecedentes: Situados en el ámbito de las tecnologías sanitarias digitales, los robots sociales surgen como una posible vía para mejorar la calidad de vida y la salud social de los adultos mayores y las personas con demencia (PcD). Estos robots ofrecen compañía y compromiso social, estimulación cognitiva, aprendizaje y entretenimiento, supervisión y seguridad, asistencia en las actividades cotidianas y ayuda a la comunicación. Según la bibliografía existente, está demostrado que mejoran las interacciones sociales, la participación en actividades y el compromiso, y las emociones en estos grupos objetivo. Es crucial adoptar metodologías de evaluación adecuadas para estudiar los robots sociales y su eficacia y aplicación en este grupo destinatario. Además, es esencial considerar cuidadosamente los métodos de diseño e interacción, así como la personalización continua, para abordar estos retos y garantizar que los robots sociales apoyen e involucren eficazmente a las PcD de una manera significativa y respetuosa. Últimamente, se ha diseñado y desarrollado una plataforma robótica llamada MINI en el laboratorio de robótica de la Universidad Carlos III de Madrid con el objetivo de apoyar a las personas mayores y proporcionar estimulación cognitiva y social a los adultos mayores, especialmente a aquellos con Deterioro Cognitivo Leve (DCL). Objetivo: En este proyecto, en primer lugar, nos propusimos revisar las metodologías utilizadas hasta la fecha en los estudios de evaluación de la viabilidad, usabilidad, eficacia y efectividad de los robots sociales en entornos clínicos y sociales para personas mayores, incluidas las PcD. En segundo lugar, evaluamos los puntos de vista de las partes interesadas y los factores contextuales externos que podrían facilitar o dificultar la introducción del robot social MINI en Centros de Encuentro (CM) ubicados en comunidades, destinados a proporcionar apoyo a las PcD y a sus cuidadores en los Países Bajos y España. En tercer lugar, investigamos la aceptabilidad y las actitudes de las PcD y con DCL hacia el robot MINI. Por último, evaluamos la usabilidad y la experiencia del usuario del robot MINI en el laboratorio. Métodos: Para la revisión del alcance, se desarrollaron cadenas de búsqueda específicas. Las búsquedas en MEDLINE (PubMed), Web of Science, PsycInfo y CINAHL se realizaron el 13 de agosto de 2020. Para rastrear los facilitadores y las barreras a la implementación adaptativa de innovaciones en la atención a la demencia, se llevó a cabo un estudio cualitativo exploratorio. Tras la introducción del robot MINI, se entrevistó a 11 partes interesadas en tres CM de los Países Bajos y uno de España, así como a partes interesadas de organizaciones sanitarias y asistenciales de ambos países. En total, 12 adultos con demencia participaron en grupos de discusión. Los datos se analizaron temáticamente y se describieron de forma narrativa. Para evaluar la usabilidad y aceptabilidad del robot MINI, se realizaron estudios de métodos mixtos (aceptabilidad; 22 y usabilidad: 10 PcD y DCL, mayores de 65 años). Las sesiones individuales de interacción duraron un mes para la aceptabilidad y un día para la usabilidad. Resultados: En la revisión del alcance, las formas de ensayos controlados aleatorios fueron los diseños más aplicados. La viabilidad y la usabilidad se estudiaron a menudo juntas en diseños de métodos mixtos o experimentales y se estudiaron con más frecuencia en intervenciones individuales. La viabilidad se evaluó a menudo con el modelo de la Teoría Unificada de la Aceptación y el Uso de la Tecnología. Los estudios de eficacia y efectividad utilizaron diversas medidas de resultados psicosociales y cognitivos. Sin embargo, los estudios incluidos no lograron encontrar mejoras significativas en la calidad de vida, la depresión y la cognición. Los factores facilitadores (esperados) más importantes mencionados por las partes interesadas parecían ser los recursos humanos, la financiación, el impacto del robot MINI en los usuarios y los programas de los MC, las características de la innovación y la colaboración con otras organizaciones de asistencia y bienestar, mientras que las barreras (esperadas) mencionadas se referían al contexto físico y las funcionalidades del robot MINI, el contexto del usuario y las políticas de actividad de los MC. Los resultados del cuestionario de Almere mostraron que, en general, el robot MINI gozaba de apoyo, con valoraciones posteriores algo más altas en cuanto a su aceptabilidad. El robot MINI se consideró un compañero alegre, sobre todo para las personas que viven solas. Aunque los participantes valoraron positivamente el robot, también hicieron sugerencias para mejorar sus características y funciones. El estudio de usabilidad puso de relieve los puntos fuertes en cuanto a rapidez de aprendizaje, sencillez del sistema y manejo, e integración de funciones, al tiempo que expuso los aspectos mejorables y la necesidad de una orientación clara y la asistencia de expertos. Conclusiones: La mejora de la calidad de los estudios en este ámbito requiere un enfoque refinado. Los estudios de eficacia y efectividad pueden beneficiarse de sólidos diseños de ensayos controlados aleatorios, que empleen muestras de tamaño considerable y sesiones de intervención individualizadas, mientras que los diseños experimentales resultan prometedores para las investigaciones de viabilidad y usabilidad. Se recomienda emplear un enfoque de métodos mixtos para la recopilación de datos sobre los tres objetivos: eficacia/efectividad, viabilidad y usabilidad. No se puede subestimar la importancia de extraer conclusiones de múltiples sesiones de interacción que abarquen al menos un mes, ya que ofrece una vía para desvelar las repercusiones a largo plazo de los robots sociales. Los resultados de este proyecto encierran un potencial transformador para toda una serie de partes interesadas, desde directores y gestores de centros de reunión hasta organizaciones de asistencia y bienestar social, con el fin de considerar los elementos que podrían dificultar o facilitar la implantación de los robots MINI en los MC. Esta investigación orienta además el diseño y desarrollo del robot MINI, ajustando sus características a las preferencias y demandas de las PcD, así como al cumplimiento de las políticas de los centros de reuniones, promoviendo así su integración y despliegue efectivos. Este proyecto es pionero en la evaluación de la usabilidad y aceptación del robot MINI entre PcD y DCL en España, confirmando su viabilidad en contextos clínicos. Los conocimientos adquiridos proporcionan una nueva perspectiva para avanzar en el diseño de robots sociales similares y ofrecen una orientación crucial para adaptar las características robóticas a las necesidades específicas de los usuarios finales.