Aprendizaje por refuerzo en el campo de la medicina

[1] Control de admisión eficiente en el núcleo de una red 5G basado en aprendizaje por refuerzo para el servicio de cirugía remota

Conceptos:
- Q-Learning: tipo de algoritmo de aprendizaje por refuerzo, basado en valor que aprende una función optima de acción-valor, y permite una función de política fácilmente derivable.
- El sistema de redes definidas por software (SDN) : es un programa de software que realiza una tarea en un entorno de redes definido por software.

De acuerdo con el paper referido, la problemática surge en las estimaciones que realiza la OMS (La Organización Mundial de la Salud), más de 2 mil millones de personas no reciben atención quirúrgica de manera oportuna, por la ausencia de cirujanos especializados.

Los autores, dentro de su propuesta se basan en el contexto de las Redes Definidas por Software, el cual les permite la asignación de funciones cognitivas, las cuales facilitan la toma de decisiones asertivas, y por ende necesitan un análisis de los recursos de red. Dicho análisis es sustentado bajo el Aprendizaje por Refuerzo como una de las técnicas más afines, para la optimización en el rendimiento de las redes, y que tiene como criterio principal; en la suma de decisiones pasadas para la definición de una decisión actual. Es entonces que se busca una constante recolección de información de la red para la toma de decisiones nos llevaría finalmente a un estado óptimo donde la latencia sea menor a los requeridos para la cirugía remota

Ahora mencionaremos el flujo del mecanismo de control usado que se compone por el algoritmo basado en Aprendizaje por Refuerzo, y políticas de control para dirimir la aceptación de peticiones. El algoritmo como resultado asignara, de acuerdo a los inputs de procedimientos quirúrgicos y datos de la red; una lista de peticiones aceptadas de acuerdo a dichos parámetros de entrada.

Después el algoritmo recibe la información del reporte de retroalimentación, cuyos parámetros están definidos para orientarse al manejo de políticas más optimas como es el índice de la latencia, donde de cumplir con los tiempos establecidos previamente, ganara valor las acciones tomadas por el algoritmo. En dicho cálculo de valor, está determinado por dos variables un estado y una acción misma; los cuales son estimados bajo el Algoritmo de Q-Learning.

Conclusiones:

El caso mostrado surge de un serio problema de distancia de atención del servicio de cirugía remota, el cual es un claro ejemplo de aplicación del aprendizaje por refuerzo en la medicina.

Referencias:

1. Caicedo Rendon, Oscar & Figueroa, Cristhian & Martinez Semanate, Santiago & Rincón Zapata, Jose. (2020). Control de admisión eficiente en el núcleo de una red 5G basado en aprendizaje por refuerzo para el servicio de cirugía remota.
2. Arango, Mauricio. (2019). Introducción al Aprendizaje por Refuerzo.
3. Fouzia, Fatima. (2021). Cross-layer in SDN.

Es el sector Salud a través de su diversidad de campos y situaciones de trabajo, ha implementado diferentes programas desarrollados en Inteligencia Artificial, en sus sectores públicos y privados.

Un ejemplo es el denominado software DART, el cual es un algoritmo de Deep Learning, cuya función es el análisis de imágenes oculares para el diagnóstico y prevención de riesgo de padecer de retinopatía diabética. Dicho diagnostico ofrece la posibilidad de reducir las cargas horarias de los médicos especializados, es decir, los oftalmólogos. Permitiendo una reasignación mas eficiente del personal médico, pues es posible sustituirlos por el sistema DART de presentarse casos con baja probabilidad de presentar retinopatía diabética por parte de los pacientes. (Implementado en Servicios de Salud en Chile).



Otras formas de aplicar la inteligencia artificial en el sector, es en el campo de implementación de tratamientos, sea el sistema “PEPPER” un ejemplo; que permite la regulación de dosis de insulina en pacientes con cuadros de diabetes. (Reino Unido).
Lo que se busca por supuesto, es el impacto o efectos que implican el uso de la inteligencia artificial en el sector salud. Como se indico en el primer ejemplo estas nuevas herramientas permiten reemplazar procesos lentos, tratamientos rigurosos y equipos que dependiendo del país pueden ser escasos; y que por lo tanto permite una mayor regulación y uso mas eficiente de los sistemas de salud.

Finalmente, como un sistema a implementar necesita pasar por diferentes fases de desarrollo para poder
medir su efectividad, es el caso “Watson for Oncology” de IBM, permite el diagnostico de pacientes con cáncer, que se ha visto envuelto en controversia por recomendaciones descabelladas para casos específicos de atención en pacientes daneses, denominando los diagnósticos de la inteligencia artificial de descabellados o mortales por parte de especialistas en el caso. Dicha anécdota enmarca en ese entonces (2017), que el grado de especialización del sistema Watson, no alcanzaba los estándares requeridos para una atención adecuada. Otro problema comúnmente asociado a la ética de la IA es la privacidad de los datos de salud de los pacientes o registros, por lo que se busca un consenso y su aprobación para su correcto uso para el desarrollo de sistemas y/o organismo que requieran realizar estudios afines con dichos datos.