Aprendizaje por reforzamiento en el campo de la medicina

[1] Online Reinforcement Learning Control for the Personalization of a Robotic Knee Prosthesis

En el artículo se pretende reducir el tiempo de entrenamiento de las prótesis de pierna eléctricas y de cierta forma solucionar el problema de que las prótesis robóticas necesitan hasta el momento el ajuste de una gran cantidad de parámetros de control para personalizar el dispositivo para los usuarios individuales de amputaciones, además, este problema del ajuste de la prótesis está asociado con varios problemas que no son del todo sencillos tales como que no se tiene un modelo conocido y estable y el sistema humano-prótesis está constantemente sujeto a ruido de medición, cambios ambientales y variaciones causadas por el cuerpo humano.

Por lo que los autores proponen una solución basada en un enfoque de programación dinámica aproximada(ADP) para ajustar automáticamente 12 de los parámetros(la rigidez de las articulaciones entre otros) de prótesis de rodilla robótica para satisfacer las necesidades de los usuarios humanos.

Para poder probar el arquetipo se probó en 2 personas(persona sana y otra persona amputada) que caminaban a una velocidad fija en una cinta de correr. El ADP-tuner aprendió a alcanzar la cinemática de la marcha objetivo en un promedio de 300 ciclos de marcha o 10 min de marcha.

[2] Reinforcement learning-based control of drug dosing for cancer chemotherapy treatment

En este artículo se enfatiza la necesidad de programar adecuadamente la quimioterapia contra el cáncer para garantizar un tratamiento eficaz y seguro.

Los autores proponen un método sin modelo basado en el aprendizaje por refuerzo (RL) para el control de circuito cerrado de la dosificación de fármacos de quimioterapia contra el cáncer. El algoritmo usado fue el Q-learning que se utiliza para desarrollar un controlador óptimo para la dosificación de fármacos de quimioterapia contra el cáncer.

Para entrenar al modelo se hizo uso de pacientes simulados con parámetros determinados, entre algunas características como : Tasa fraccional de muerte de células inmunes, tasa de descomposición de la droga inyectada,etc. Para la simulación, se iteró en 50.000 escenarios.

En las pruebas que se realizan, el tumor se erradica mediante la dosificación óptima del fármaco de quimioterapia y los controladores son resistentes a las variaciones de los parámetros. Sin embargo, la ventaja principal del método propuesto por los autores basado en RL es que no requiere un modelo del sistema para desarrollar un controlador.

Conclusiones:

El aprendizaje por reforzamiento se está aplicando ahora en más ámbitos como la medicina, son estos los tópicos donde se saca el mejor provecho de este tipo de tecnologías debido a que tratamientos muy costosos como el de cáncer y adopción de prótesis pueden ser mucho más eficientes y eficaces.

Referencias:

• Wen, Y., Si, J., Brandt, A., Gao, X. & Huang, H.(2020)."Online Reinforcement Learning Control for the Personalization of a Robotic Knee Prosthesis," in IEEE Transactions on Cybernetics, vol. 50, no. 6, pp. 2346-2356.

• Padmanabhan, R. , Meskin, N. , & Haddad, W.(2017). Reinforcement learning-based control of drug dosing for cancer chemotherapy treatment.Mathematical Biosciences, Volume 293,pp. 11-20.

Entre los tantos algortimos de IA tenemos lo que son los de búsqueda, en este tópico se dará a conocer unos de ellos con el fin de ver la importancia de estos tipos de algoritmos en la solución de problemas de distintos ámbitos.

[1] El algoritmo de búsqueda armónica y sus usos en el procesamiento digital de imágenes
En este artículo , los problemas a solucionar son la detección de círculos en una imagen con distorsión y la estimación de movimiento.
El algoritmo que se usó en ambos casos fue el algoritmo de búsqueda armónica (BA). Este algoritmo nació de temas relacionados con la improvisación musical que ocurre cuando un músico busca la armonía óptima. Este algoritmo consta de 3 etapas: Inicialización, Improvisación de nuevas armonías y la actualización de la memoria. Cada solución se representa con vector n-dimensional. En la primera etapa se establecen límites inferiores ,superiores y otros parámetros que por defecto se establecen como por ejemplo : tamaño de memoria (HMS),la razón de exploración (HMCR), la razón de ajuste de tono (PAR), el ancho de desplazamiento (BW) y el número de improvisaciones (NI). Luego, en base los parámetros anteriores se generan unos nuevos, limitándose de forma similar al anterior paso con un límite inferior, superior y si se ve que con este nuevo vector se obtiene un mejor resultado que el que ya se tenía , se reemplaza sino, se queda el vector que se estableció. En el caso de la detección de círculos, se utiliza una combinación de tres puntos borde para codificar círculos candidatos y para la función objetivo se usa la ecuación general de la circunferencia. En base a estos y con el algoritmo de BA se recalculan los círculos candidatos y se ve eligiendo el mejor.
En los resultados se puede apreciar que este algoritmo puede identificar de manera eficiente(en menos iteraciones) y con un error muy bajo que otros como algoritmos genéticos, transformada de Hough aleatoria y algoritmo de alimentación bacteriana adaptativa.

[2] Aplicación de algoritmos de búsqueda en los videojuegos.
En este artículo, pretende darnos una revisión de los avances que están los algoritmos de búsqueda en el ámbito de los videojuegos. Existen muchos, por ejemplo para resolver la búsqueda de caminos(Dijkstra, búsqueda primero el mejor, algoritmo A*) y estos van de la mano con algoritmos de movimiento e interacción(Flocking, Comportamientos de dirección), en juegos que van por turnos. Pero como podemos ver los algoritmos a utilizar dependerá del sistema de juego(reglas).
Por dar un ejemplo de Warcraft que en donde se aplica algoritmo de búsqueda de caminos, donde cuadrícula representa un escenario en grilla.
Como resultado de este artículo se ve las principales diferencias entre los algoritmos de caminos informados, si es que utiliza heurística o no, si contempla entornos dinámicos, el espacio de memoria, si la cantidad de nodos es elevada entre otros factores.

Conclusiones:
De los artículos vistos se puede concluir que los algoritmos de búsqueda son de gran utilidad en diferentes ámbitos desde la medicina, detección de imágenes, videojuegos entre otros. Y en muchos de estos casos son utilizados por la compañía con otros algoritmos intentando mejorar la eficiencia y eficacia.

Referencias:
[1] Cuevas, E.& Ortega-Sánchez, N.(2013). El algoritmo de búsqueda armónica y sus usos en el procesamiento digital de imágenes. Computación y Sistemas, 17(4), 543-560.
[2] Velasco,Julian. (2018). Aplicación de algoritmos de búsqueda en los videojuegos.

Si bien es cierto que muchos de los autos autónomos están en desarrollo y producción, en países desarrollados ya son de mucha utilidad, pero al momento de usar este tipo de vehículos surge la duda sobre quien asume la responsabilidad en caso de que suceda un accidente y la forma en cómo decide la IA.
Es por esto que se han hecho distintos estudios por el mundo sobre la ética en los vehículos autónomos. Muchos de ellos se basaron sobre el “dilema de la tranvia” que básicamente es sacrificar una vida por otra, pero bajo qué parámetros se basaría la decisión de la IA, se podría preferir mediante edad, sexo, discapacidad entre otros factores.

En 2016, un grupo de investigadores del MIT Media Lab crearon ‘Moral Machine’,un juego que plantea a los participantes el tipo de cuestiones éticas que, dentro de poco, tendrán que resolver los vehículos sin conductor. Se han reunido más de cuatro millones de respuestas y los resultados muestran que depende de la cultura y los valores de cada uno, por lo que no hay una verdad absoluta. Sin embargo este estudio es un gran avance para poder enfrentar este problema inconcluso, pero la verdad es que la IA debe trabajar en base a criterios éticos y con responsabilidad.

Para desarrollar IA con términos morales y éticos, primero debemos entender cómo nuestro cerebro toma estas decisiones, según estudios realizados por un grupo de Ingeniería Biomédica de la Universidad de Valladolid (UVa), en colaboración con científicos de Ottawa (Canadá) e Hiroshima (Japón) se demostró que las personas al momento de tomar decisiones morales, se registró mediante un electroencefalograma que nuestro cerebro emite ondas cerebrales del tipo ‘delta', 'theta' y 'alfa'. Para los mismo participantes del experimento ,se replicó en la toma de decisiones del día a día (elección deductiva) capturando las señales de éstas. De modo que al comparar las gráficas se puede aislar la parte moral. Este es un gran avance que se podría partir de allí para poder replicar de modo similar en los algoritmos de IA.

Por otro lado, Perú es uno de los países de latinoamérica que tienes más infractores vehiculares y parte de estos causan accidentes(mortales), en caso de que se logre aplicar este tipo de IA(vehículos autónomos) surge la duda en que tan dispuestos estamos en sacrificar nuestro libre albedrío, ya que los coches autónomos podrían tomar decisiones en función del 'valor social' de los ciudadanos, por ejemplo, el gobierno podría reglamentar una ley que obligaría a todos los fabricantes a que sus coches cuenten con un dispositivo de asistencia con inteligencia artificial, de modo que cada vez que hacemos una infracción lo registra. El objetivo de este es bueno, ya que reduciría los accidentes significativamente, pero qué pasaría con nuestro libre albedrío.¿Estamos dispuestos a sacrificar el libre albedrío para tener mayor seguridad?.