ASISTENTE CONVERSACIONAL INTELIGENTE BASADO EN LLAMA 2-7B, ENTRENADO Y CON RECUPERACIÓN AUMENTADA (RAG) DE CON NORMATIVA OFICIAL DE INVIERTE.PE PARA MITIGAR LIMITACIONES TÉCNICAS Y NORMATIVAS DE FUNCIOANRIO DE UNIDADES EJECUTORAS EN LA FORMULACIÓN DE PROYECTOS PÚBLICOS EN INVIERTE.PE
CURSO: PROCESAMIENTO DE LENGUAJE NATURALIntegrantes:
- Aradiel Castañeda, Hilario
- Gracia Atúncar, Fernando
- Estacio Sánchez, Deiby
- Meza Rodríguez, Moisés
RESUMEN
El presente informe técnico expone el desarrollo e implementación de un asistente conversacional inteligente orientado a la interpretación y aplicación normativa en el contexto del sistema Invierte.pe, con énfasis en la reducción de observaciones técnicas y legales en expedientes de inversión pública. La arquitectura propuesta combina el modelo de lenguaje autoregresivo LLaMA 2–7B, con un entrenamiento fino con 1000 preguntas y respuestas, y adaptado mediante Low-Rank Adaptación (LoRA), con un sistema de recuperación aumentada (Retrieval-Augmented Generation, RAG) potenciado por FAISS, lo cual permite generar respuestas normativas precisas, trazables y contextualizadas en tiempo real.
Para ello, se construyó un corpus legal compuesto por 11 documentos oficiales del Ministerio de Economía y Finanzas del Perú (MEF), debidamente estructurados y segmentados en más de 10,000 fragmentos normativos. A partir de este acervo documental, se elaboró un dataset supervisado de 1000 pares pregunta–respuesta, con respaldo normativo explícito, que sirvió para el ajuste fino del modelo. El entrenamiento se realizó en un entorno MLOps local, logrando resultados técnicamente robustos con recursos computacionales moderados (GPU RTX3060 de 12 GB).
En conclusión, el asistente conversacional desarrollado representa una solución tecnológica eficiente, jurídicamente verificable y escalable, diseñada para fortalecer la capacidad técnica del Estado en la formulación de proyectos de inversión pública, especialmente en contextos con alta rotación de personal o limitada disponibilidad de especialistas.
Palabras clave:
Procesamiento de lenguaje natural, LLaMA 2, LoRA, Recuperación Aumentada (RAG), FAISS, Invierte.pe, normatividad pública, asistente conversacional, inversión pública, MLOps.