Es por bien sabido que la pandemia del Covid - 19, no solamente ha conllevado a problemas en la salud de las personas, sino que también en su calidad de vida y su desarrollo individual y colectivo. Muchos de ellos despedidos de sus trabajos por la necesidad de sostener de manera viable a la empresa, y esto no es ajeno a las llamadas empresas emergentes o "Startups", que según el Foro Económico Mundial (WEF) más del 70% de ellas tuvieron que rescindir contratos con sus empleados de tiempo completo. De la misma forma en que una gran parte de estas empresas se han visto afectadas, otras del rubro del diseño de dispositivos y kits de protección, soluciones de videollamada, entre otras se han visto claramente beneficiadas, de la misma forma las primeras tuvieron que reinventarse y reorientar sus actividades. Algunos de estos casos tenemos a:

• Rooral: Un innovador proyecto que facilita a todo el que lo desee poder teletrabajar desde el campo (con menos contacto social y más aire puro) organizando el alojamiento, las conexiones y las herramientas necesarias.

• Nannyfy: Una empresa de canguros a domicilio que se ha reconvertido al rubro del entretenimiento y aprendizaje de niños entre 3 y 14 años.

A pesar de la crisis sanitaria, según algunos conocedores es un momento excelente para emprender. Según el gerente de relaciones con desarrolladores para Google, Francisco Solsona, señala algunas lecciones claves a tomar en cuenta para los nuevos emprendimientos:

• Ser empático y entender el lado humano de tus trabajadores

• Estudio de las necesidades para nuevos lanzamientos y acercamiento al público.

• La característica que hacen diferentes a los lideres es su enfoque en la salud física, mental y económica de sus trabajadores y clientes.

DALL-E, una de las últimas creaciones de OpenAI, líder entre las empresas más innovadoras en el rubro de la Inteligencia Artificial, y cuyo nombre fue acuñado en nombre a la popular película animada WALL-E y al pintor español Salvador Dalí, conocido por sus sorprendentes y surrealistas obras de arte, es capaz de crear una imagen completamente nueva, a partir de una serie de palabras que tratan de describir al objeto en cuestión. Este desarrollo está basado en el modelo de machine learning que ha revolucionado al mundo recientemente, denominado GPT-3, implementado por la misma empresa y que puede reconocer patrones de datos mediante una Red Neuronal Recurrente con Memoria a largo plazo (LSTN Long Short-term memory).



Probablemente entre las aplicaciones más simples como las que se muestra en esta figura, pueden resultar intrascendentales para la sociedad actual, más que para algún tipo de entretenimiento, pero hay campos como la criminalística, en los que quizá puede servir de apoyo para la recreación de escenas del crimen, o reconstrucción fisionómica y facial a partir de las descripciones relatadas por las víctimas y testigos. Justamente este tipo de aplicación también se ha venido desarrollando en pequeños proyectos como el de GPT-3 x GANs.



Esta tecnología muestra un gran potencial y una variedad de aplicaciones, en las que según la mayoría de los investigadores de IA están de acuerdo en que basar el lenguaje en la comprensión visual es una buena manera de hacer que las IA sean más inteligentes. Puedes probar este programa desde su página oficial: https://openai.com/blog/dall-e/

Papers Consultados

[1] Crop Yield Prediction Using Deep Reinforcement Learning Model for Sustainable Agrarian Applications

En esta investigación se planea predecir el rendimiento de los cultivos en función de variables ambientales como el suelo o el agua. El autor plantea el modelo de proceso de RL, donde el agente aprende interactuando con el medio ambiente, y obtendrá recompensas por acciones correctas realizadas y sanciones por las incorrectas. En este caso, el agente de aprendizaje por refuerzo son las redes profundas Q, las cuales toman a un estado como entrada y para cada acción en el espacio, se generan valores Q. En el proceso de predicción, la red ya entrenada servirá para predecir la siguiente mejor acción que ocurrirá en el medio ambiente. Cuando el valor pronosticado se encuentre cercano al objetivo, el agente obtendrá una recompensa positiva, recibiendo un agregado de puntuaciones por sus acciones realizadas. También en esta publicación, se hace una comparación con otros modelos como LSTM, ANN, Gradiente Boosting, Random Forest, con la métrica de evaluación del error cuadrático medio o también denominado R2, donde resulta con una precisión del 93.7% posicionándose como el modelo con mayor precisión. A diferencia del aprendizaje supervisado, el basado en RL con DQN proporciona una solución completa que de forma independiente extrae el mapeo no lineal entre el cultivo el rendimiento y los parámetros climáticos, del suelo y de las aguas subterráneas.

[2] Effective Management for Blockchain-Based Agri-Food Supply Chains Using Deep Reinforcement Learning

Las transacciones entre los participantes realizadas en los procesos de la cadena de suministros agroalimentario (ASC en inglés), tienen objetivos diferentes. Mientras que los consumidores buscan un producto de calidad que garantice seguridad agroalimentaria, los productores intentar aumentar sus beneficios. Por ello la solución planteada en la investigación es la implementación de un marco basado en Blockchain para asegurar la seguridad, mediante la descentralización de datos de rastreo y de una cadena de suministro usando el aprendizaje por reforzamiento profundo conocido como DR-SCM. Para abordar dichos problemas, es necesario la trazabilidad, la cual en su mayoría de veces se basa en un sistema centralizado donde la falla de uno de los nodos pondrá en graves problemas al sistema en su conjunto. Mientras que en el segundo caso, los métodos tradicionales de aprendizaje por reforzamiento (RL) tienen la capacidad de resolver los problemas en la gestión de ASC hasta cierto punto, como es el caso del Q-Learning, que funciona muy bien e entornos simples donde la función Q(s,a) se puede representar como una matriz de valores, pero cuando se tienen millones de estados, surge como mejor opción las Redes Neuronales profundas y el algoritmo DQN como método óptimo de gestión. De esta forma se aplicará un DR-SCM, para determinar la cantidad de producción y almacenamiento con el fin de lograr las mayores ganancias, a partir de la mejor política de gestión de ASC. Este modelo supera a los métodos heurísticos y Q-Learning, ya que ofrece altos niveles de eficiencia en el aprendizaje, así como flexibilidad en la producción y almacenamiento, obteniendo de esta forma un macro control en ambos procesos.

Conclusiones

La ventaja que ofrece el proceso basado en aprendizaje por reforzamiento con el algoritmo DQN en el primer caso, es que puede llegar a minimizar definitivamente la dependencia de los expertos y sus opiniones acerca del desarrollo de los cultivos, y así logrando obtener un modelo más generalizado para la predicción. Mientras que en el segundo caso, se usa como método para la toma de decisiones en producción y almacenamiento de productos agrícolas obteniendo un macro control eficaz, de forma que la producción de las fábricas puede mantenerse disponible para los minoristas de forma rentable, mientras que el stock de los minoristas puede satisfacer las demandas de los consumidores.

Referencias

[1] D. Elavarasan and P. M. D. Vincent, "Crop Yield Prediction Using Deep Reinforcement Learning Model for Sustainable Agrarian Applications," in IEEE Access, vol. 8, pp. 86886-86901, 2020, doi: 10.1109/ACCESS.2020.2992480.

[2] H. Chen, Z. Chen, F. Lin and P. Zhuang, "Effective Management for Blockchain-Based Agri-Food Supply Chains Using Deep Reinforcement Learning," in IEEE Access, vol. 9, pp. 36008-36018, 2021, doi: 10.1109/ACCESS.2021.3062410.

La presencia de la Inteligencia Artificial y la aplicación de sus técnicas han permitido desarrollarse a cada sector de la industria de diferentes maneras, ya sea en la mejora de sus procesos y automatización, como en el perfeccionamiento de nuevos diseños de sus productos. Este último, se puede ver claramente reflejado en las empresas dedicadas a construir software basado en algoritmos o modelos relacionados a este campo de estudio, como lo son las desarrolladoras de videojuegos, que han tratado de mejorar la experiencia virtual, a partir de la evolución en las reacciones de los personajes y en la inteligencia de los enemigos predeterminados manejados por el propio juego, que llegan a aprender los actos que realizan los jugadores con los que se están enfrentando.
La mayoría de los videojuegos de estrategia, siempre han tratado de incorporar los sistemas de resolución de problemas, en los que los jugadores se enfrentan a elecciones entre una serie de alternativas, que conducen a tomar decisiones sucesivas hasta que el problema quede resuelto. En los inicios de la industria, se comenzaron a implementar en los juegos con adversario, los algoritmos de búsqueda como el Minimax, el cual prueba con todas las posibles jugadas y sus posibles efectos y se toman decisiones para minimizar la pérdida máxima esperada trabajando con una función de evaluación heurística. Los primeros programas que aplicaron esto, fueron los de ajedrez, a partir de los años 50s. “Los Álamos”, el primero de ellos corría en una computadora MANIAC, y era capaz de realizar 4 jugadas en 12 minutos. Los posteriores a este proyecto, son los de Bernstein o Anderson/Cody que se corrían en computadoras IBM de esos años y cada una trataba de incorporar mayor cantidad de jugadas o mejora en los criterios de juego. En la actualidad los juegos de ajedrez ya no usan exactamente ese algoritmo, sino que se usan técnicas que lo mejoran, como es el caso de Poda Alfa-Beta, la cual usa los árboles de búsqueda aprovechando Minimax, para hacer una exploración en profundidad y guardar información en base a dos umbrales, que son útiles para determinar el valor de las mejores jugadas encontradas para cada jugador. En mejor medida tanto NegaMax y su evolución NegaScout, pueden llegar a mejorar el rendimiento en juegos de ajedrez en un 10% estimado, siendo así las versiones más compactas del Minimax.
Aplicaciones más recientes como los videojuegos basados en Pacman, es decir, que los personajes realizan movimientos de persecución, “asustado” y de dispersión a lo largo de un escenario bidimensional con cierta cantidad de celdas, también hacen uso de algoritmos de búsqueda. Para este caso trabajan con el algoritmo A*, el cual considera un punto de inicio y un punto objetivo en las celdas del juego. Este algoritmo hace cálculos de costos de movimiento, como los explicados a continuación:
G(N): costo de moverse de una celda a otra.
H(N): costo de desplazamiento desde la celda analizada al objetivo.
F(N): costo general, calculado como G(N)+H(N).
Uno de los ejemplos de este tipo de videojuegos es “Lo que quiere mi país”, galardonado como mejor proyecto en el evento CONINFO 2015, que fue creado desde cero sin el uso de frameworks, solamente con HTML, CSS y JavaScript para que corra en la web. Este juego tiene como personajes a ladrones y policías, que actúan de manera similar a los fantasmas y el Pacman del juego base. Entre otros videojuegos que usan el también los algoritmos de Pathfinding, se tiene a Warcraft y Command and Conquer, los cuales representan su escenario de movimientos en un entorno dinámico en mapas con puntos de paso, obstáculos y mallas de navegación. Los algoritmos candidatos a resolver esta búsqueda de caminos, son: Dijkstra, BFS, búsqueda voraz, A*, búsqueda iterativa en profundidad IDA* y la búsqueda jerárquica. A pesar de que ofrece un tipo de solución óptima, el más básico de todos ellos es el de Dijkstra, ya que explora una gran cantidad de nodos para realizar su propósito, y por ello genera un alto consumo de memoria, siendo así no muy eficiente. Mientras que, el A*, es uno de los más eficientes, al ofrecer una respuesta aproximada, con un regular consumo y aceptable exploración de nodos y tiempo de ejecución con buena heurística, similar al comportamiento del algoritmo Voraz.

Conclusiones

Se ha apreciado la gran cantidad de algoritmos de búsqueda usados en los diversos videojuegos, tanto en los primigenios, nacidos a la par con la Inteligencia Artificial, como en los más modernos que tratan de ofrecer una mejor experiencia de juego al usuario, mediante esta disciplina, dándole la capacidad de optimizar el comportamiento móvil de los personajes. Cada tipo de juego merece cierto algoritmo, que ofrezca las mejores oportunidades de desempeño, a nivel de usuario y de recursos de hardware, y pueden ser desarrollados con el uso de herramientas básicas como las primeras computadoras o los lenguajes de marcado y estilo elementales de una página web, hasta motores gráficos modernos.

Referencias bibliográficas

[1] Aguilar, P. (2008). IA – Algoritmos de Juegos, de la Universidad Politécnica de Catalunya.
[2] Velasco, J. (2018). Aplicación de algoritmos de búsqueda en los videojuegos.
[3] Portillo, Á., & José, E. (2016). Análisis de algoritmos en videojuegos basados en Pacman: “Lo que quiere mi país”.