Hemos construido nuestro agente RAG. Ahora llega la hora de la verdad: ¿funciona bien en el mundo real? La mayoría de las demos que ves online usan documentos pequeños y sencillos. Nosotros lo vamos a someter a una serie de pruebas con nuestro complejo informe de 84 páginas para descubrir sus fortalezas y, más importante aún, sus debilidades.
Prueba 1: La Búsqueda Específica (El «Dato Concreto»)
Empecemos con preguntas que buscan un dato muy específico, una «aguja en un pajar».
- Pregunta: «Dime los ingresos por streaming para 2024.»
- Respuesta del Agente: «Los ingresos por streaming fueron de 39.960 millones de dólares, lo que representa un aumento del 16% en comparación con 2023, impulsado por un aumento en las membresías de pago y los aumentos de precios.»
- Veredicto: ✅ ÉXITO NOTABLE. Al verificar el documento, la información es exacta. El agente es excelente para encontrar datos numéricos específicos y concretos, incluso si están en la página 67 de 84.
Prueba 2: La Búsqueda Amplia (La «Lista Completa»)
Ahora, pidámosle que recopile y liste información dispersa, como un índice completo.
- Pregunta: «¿Cuál es el índice completo del documento?»
- Respuesta del Agente: (Devuelve solo los primeros 5 puntos del índice, omitiendo el resto).
- Veredicto: ❌ FRACASO PARCIAL. Aunque le aumentemos el límite de chunks a recuperar (por ejemplo, a 20), el agente sigue sin poder reconstruir la lista completa. Solo encuentra los primeros fragmentos que contienen la frase «Table of Contents».
Prueba 3: La Búsqueda Visual (El «Gráfico»)
¿Qué pasa si le preguntamos por información contenida en una imagen?
- Pregunta: «¿Cuál fue el rendimiento total acumulado a cinco años según el gráfico de rendimiento de las acciones?»
- Respuesta del Agente: «El documento menciona un gráfico de rendimiento, pero no se proporcionan valores numéricos específicos que detallen los rendimientos acumulados en el texto. Para obtener las cifras exactas, necesitarías consultar el gráfico directamente.»
- Veredicto: ✅ FRACASO ESPERADO (y revelador). El agente identifica correctamente que la información está en un gráfico y, como es un modelo de lenguaje, admite que no puede «leer» imágenes.
Nota Avanzada: ¿Cómo leer imágenes? Para resolver este problema, se necesitaría una tecnología llamada OCR (Reconocimiento Óptico de Caracteres). Herramientas como el modelo de código abierto de Mistral OCR pueden «leer» el texto dentro de imágenes, tablas y gráficos, y convertirlo en texto plano que nuestro sistema RAG sí podría procesar.
Diagnóstico: La Causa Raíz de la Limitación
Hemos aprendido que nuestro agente es brillante para encontrar datos específicos, pero falla al reconstruir listas o contextos amplios. ¿Por qué?
La respuesta está en cómo se crearon los «chunks» durante la ingesta.
Si examinamos nuestra base de datos en Supabase, vemos que el «chunk» número 14 contiene el título «Table of Contents» y los primeros ítems. Sin embargo, el «chunk» 15, que contiene «Item 8, Item 9, Item 10…», no tiene ninguna referencia a que sigue siendo parte del índice.
El problema es una «amnesia contextual» entre chunks. Cuando el agente busca vectores similares a «índice», solo encuentra los primeros fragmentos que contienen esas palabras. Los chunks siguientes, aunque lógicamente pertenecen al índice, son semánticamente «invisibles» para esa búsqueda específica.
Hemos identificado el talón de Aquiles de un sistema RAG convencional. En la próxima lección, abordaremos la solución a este problema.