Agente conversacional UPLA (tesis)
Agente conversacional con IA que funciona completamente en local y responde preguntas sobre la universidad usando RAG.
El problema
La información institucional está dispersa y los asistentes basados en la nube implican costos y exponen datos. Además, un modelo genérico tiende a inventar respuestas sobre temas locales.
Qué construí y mi rol
Es mi proyecto de tesis. Diseñé la arquitectura completa: reconocimiento de voz, recuperación de información desde una base de conocimiento propia, generación de respuestas con un LLM local, síntesis de voz y una interfaz con rostro animado. También incluye visión por computador para reconocimiento facial.
Resultado
En desarrollo, con defensa prevista para 2027. Ya cuenta con la especificación técnica completa, una base de conocimiento verificada y un sistema de evaluación propio.
Detalle técnico
LLM: llama3.2:3b vía Ollama. Embeddings: multilingual-e5-small.
Voz: faster-whisper (STT) y Piper (TTS), con TTS por oración en streaming y micrófono silenciado mientras el agente habla.
Visión: YuNet y SFace para detección y reconocimiento facial.
Backend en FastAPI con WebSockets y un contrato de mensajes definido. Interfaz en Next.js con framer-motion.
Máquina de estados y capa de abstracción de actuadores.
Evaluación con un golden set de preguntas del dominio y fuera de él, midiendo recall@k, MRR y tasa de abstención.
Stack
- LLM
- Whisper
- Yunet
- Sface
- FastAPI
- WebSockets