En esta sección construiremos una aplicación RAG de la manera más sencilla posible, pero lo haremos en nuestra máquina local.
Necesitaremos trabajar un poco en la terminal, pero es más fácil de lo que piensas.
Pasos que seguiremos:
Primero descargaremos Ollama, luego descargaremos los modelos correctos y nos aseguraremos de que tengas el hardware adecuado para ejecutar estos modelos. Después crearemos un servidor local, y una vez que tengamos el servidor funcionando, descargaremos un software llamado AnythingLLM. Con AnythingLLM podremos construir nuestras aplicaciones RAG.
Conceptos importantes antes de construir:
Antes de crear nuestras aplicaciones RAG, necesitamos hacer una inmersión profunda en dos conceptos clave: el «chunking» (fragmentación de texto) y el «chunk overlap» (superposición de fragmentos). Esto es porque ahora estamos en lo que podríamos llamar la sección de «desarrollador ligero», donde puedes especificar parámetros como:
- El tamaño de los fragmentos (chunk size)
- La superposición entre fragmentos (chunk overlap)
- Los mejores K resultados (top K results)
- Y muchos otros parámetros
Funcionalidades adicionales:
Una vez que hayas creado tu chatbot RAG con la estrategia de fragmentación correcta, exploraremos otras habilidades de agente que ofrece AnythingLLM:
- Búsqueda en web desde tu máquina local
- Creación de gráficos
- Y muchas otras funciones
Debo ser honesto: la mayoría de estas funciones adicionales no funcionan de manera excelente, por eso solo haremos un repaso rápido de estas habilidades de agente.
Ventajas de esta herramienta:
Sin embargo, creo que esta es una herramienta fantástica porque te permite ejecutar una aplicación RAG local completamente gratis con cualquier modelo que desees. Puedes hacer consultas contables en tu máquina local, hacer preguntas privadas, y es realmente fácil de usar.
Próximos pasos:
Por supuesto, nos vemos en el siguiente video.
En teoría, también podrías usar servidores MCP y muchas otras opciones, pero utilizaremos servidores MCP más adelante junto con aplicaciones en la nube, escritorio, n8n y Flowwise, donde estas aplicaciones funcionan mucho mejor.