Aprendizaje por reforzamiento en el campo de la medicina

[SandroCastillo]

Aprendizaje por reforzamiento en el campo de la medicina

[1] Optimization of anemia treatment in hemodialysis patients via reinforcement learning

El problema que presenta esta investigación es que los métodos clínicos utilizados actualmente para la hemodiálisis tienen un alto riesgo de regular la hemoglobina en valores por debajo o por encima del óptimo lo que puede traer consecuencias. El objetivo de esta investigación es optimizar el tratamiento con agentes estimulantes de la eritropoyesis para pacientes de hemodiálisis.

Los autores utilizan el algoritmo de iteración Q ajustada para su metodología de aprendizaje por reforzamiento. Los autores utilizaron datos de 128 pacientes. Entre estos datos se incluyó: Edad, sexo, peso, talla, hemoglobina, ferritina, albúmina sérica, fosfato, leucocitos, darbepoetina alfa y hierro iv.

Los resultados para los pacientes muestran tratamientos con mucho menores variabilidad que con el tratamiento clásico, es decir, sus niveles de hemoglobina varían en menor cantidad. De esta forma se logra reducir el riesgos de efectos secundarios al tratamiento a causa del exceso o defecto de las dosis dadas al paciente.

Al comparar el tratamiento hecho por el modelo y el tratamiento del protocolo, la política obtenida con el primero aumentó en un 27,6% la proporción de pacientes con un nivel adecuado de hemoglobina y, al mismo tiempo, redujo la cantidad de fármaco consumido en un 5,13%.

[2] Transatlantic transferability of a new reinforcement learning model for optimizing haemodynamic treatment for critically ill patients with sepsis

El problema que presenta esta investigación es que existen centros médicos donde no se tienen recursos de información para elaborar modelos para tratamientos basados en aprendizaje por reforzamiento y por ende no se pueden elaborar estos para beneficio de sus pacientes. El objetivo de esta investigación es comparar los resultados de un modelo entrenado en un ambiente distinto al de su aplicación con el tratamiento que realiza un médico local.

Los autores utilizan una red de doble Q profunda en duelo para su metodología de aprendizaje por reforzamiento. Los autores utilizaron dos conjuntos de datos. El primero de 4047 pacientes y el segundo de 7335 pacientes. Entre estos datos se incluyó: Edad, sexo, peso, índice de masa corporal, índice de shock, bilirrubina y albumina.

Los resultados revelaron que la política óptima hecha por el modelo superó la política del médico en ambos conjuntos de datos a pesar de las marcadas diferencias entre las dos poblaciones de pacientes y las políticas de los médicos.

Finalmente, los autores mencionan que dado que las políticas óptimas difieren claramente del tratamiento clínico actual, estos modelos podrían tener un impacto importante en la morbilidad y la mortalidad.

Conclusiones:

De estos dos trabajos se concluye que el aprendizaje por reforzamiento tiene aplicaciones en la medicina en las que se busca crear el mejor tratamiento para el paciente, evitando excesos o defectos que puedan empeorar su situación.

Referencias:

1. Escandell, P., Chermisi, M., Martínez, J., Gómez, J., Barbieri, C., Soria, E., Mari, F., Vila, J., Stopper, A., Gatti, E. & Martín, J. (2014). Optimization of anemia treatment in hemodialysis patients via reinforcement learning. Artificial Intelligence in Medicine. Vol. 62, 47-60.

2. Roggeveen, L., el Hassouni, A., Ahrendt, J., Guo, T., Fleuren, L., Thoral, P., Girbes, A., Hoogerdoorn, M. & Elbers, P. (2021). Transatlantic transferability of a new reinforcement learning model for optimizing haemodynamic treatment for critically ill patients with sepsis. Artificial Intelligence in Medicine. Vol. 112, pp. 1-17.