Curso RAG Agents: Construye Aplicaciones y GPTs con APIs, MCP, LangChain y n8n

0 de 63 lecciones completas (0%)

5- Chatbots RAG y Agentes con la API de OpenAI, LangChain y LangGraph en Flowise

5.13- Ejecutando un Chatbot RAG Localmente con Ollama y LangChain (Seguridad de Datos)

No tienes acceso a esta lección

Por favor, inscríbete o accede para acceder al contenido del curso.

Introducción

En esta lección aprenderás a construir una aplicación RAG completamente local que garantiza la privacidad total de tus datos. Esta solución es ideal cuando necesitas procesar información confidencial como documentos de contabilidad, contratos privados o cualquier contenido sensible que no quieres enviar a servicios externos.

¿Por qué usar una solución local?

  • Privacidad Total: Tus datos nunca salen de tu computadora
  • Sin Costos Recurrentes: No pagas por tokens o suscripciones
  • Control Completo: Puedes personalizar cada aspecto de tu aplicación
  • Flexibilidad: Compatible con múltiples modelos y configuraciones

Paso a Paso: Construyendo tu Chatbot RAG Local

1. Configuración Inicial en FlowWise

Comenzamos con un lienzo vacío en FlowWise:

  1. Presiona el botón «+» para agregar componentes
  2. Navega a ChainsConversational Retrieval QA Chain
  3. Esta cadena será el núcleo de nuestro chatbot RAG

2. Configurando el Modelo de Chat con Ollama

¿Qué es Ollama? Ollama es una herramienta que te permite ejecutar modelos de lenguaje localmente en tu computadora de forma sencilla.

Configuración paso a paso:

  1. En FlowWise, agrega un Chat Model
  2. Busca y selecciona Chat Ollama
  3. Abre tu terminal y ejecuta: ollama serve
  4. Verifica que Ollama esté corriendo en http://localhost:11434
  5. Lista los modelos disponibles: ollama list

Recomendación de modelo:

  • Usa Llama 3.2 3B Instruct para un balance entre rendimiento y velocidad
  • Copia el nombre exacto del modelo e insértalo en FlowWise
  • Configura la temperatura a 0.9 para respuestas más creativas

3. Configurando el Almacén de Vectores

Para almacenar y buscar información de manera eficiente:

  1. Agrega Vector StoresIn Memory Vector Store
  2. Conecta el vector store a tu cadena principal
  3. Esta configuración mantendrá toda la información en memoria (completamente local)

4. Configurando Embeddings Locales

Los embeddings convierten texto en vectores numéricos para búsquedas semánticas:

Modelo recomendado: Nomic Embed Text

  1. En FlowWise, selecciona EmbeddingsOllama Embeddings
  2. Verifica que la URL sea correcta: http://localhost:11434
  3. Instala el modelo de embeddings: ollama pull nomic-embed-text
  4. Inserta el nombre del modelo: nomic-embed-text

Ventajas del Nomic Embed Text:

  • Solo 270 MB de tamaño
  • Más de 33 millones de descargas
  • Completamente gratuito
  • Excelente rendimiento

5. Cargando tus Documentos

Para que el chatbot pueda responder sobre tus documentos:

  1. Agrega Document LoadersFolder with Files
  2. Especifica la ruta de tu carpeta con documentos
  3. Acepta tipos de archivo como PDF, TXT, DOCX, etc.

Ejemplo práctico: Si tienes una carpeta con PDFs importantes (contratos, manuales, documentos legales), simplemente:

  • Copia la ruta de la carpeta
  • Pégala en el campo «Folder Path»
  • El sistema procesará automáticamente todos los archivos

6. Configurando el Divisor de Texto

Para procesar documentos largos eficientemente:

  1. Agrega Text SplittersRecursive Character Text Splitter
  2. Configura:
    • Chunk Size: 1000 caracteres
    • Chunk Overlap: 150 caracteres

¿Por qué estos números?

  • 1000 caracteres mantiene contexto suficiente
  • 150 de solapamiento evita cortar información importante

7. Procesando los Documentos

  1. Guarda tu configuración con un nombre descriptivo (ej: «RAG-Local-Ollama»)
  2. Presiona «Upsert» para procesar todos tus documentos
  3. El sistema dividirá y almacenará cada documento en chunks vectorizados

Probando tu Chatbot RAG Local

Prueba Básica

Haz una pregunta sobre el contenido de tus documentos. Por ejemplo:

  • «¿Cuáles son los puntos principales del contrato?»
  • «Resume el manual de usuario»
  • «¿Qué políticas se mencionan en el documento?»

Prueba de Restricción

Haz una pregunta no relacionada con tus documentos:

  • «¿Qué debería cenar hoy?»

El chatbot debería responder que no puede ayudar con esa pregunta porque no está en el contexto proporcionado.

Ventajas de esta Configuración

Seguridad y Privacidad

  • Cero envío de datos externos: Todo permanece en tu computadora
  • Sin riesgo de filtración: OpenAI u otros servicios nunca ven tus documentos
  • Control total: Tú decides qué información procesar

Flexibilidad

  • Múltiples modelos: Prueba diferentes modelos de Ollama
  • Personalización: Modifica prompts y parámetros según tus necesidades
  • Escalabilidad: Agrega tantos documentos como necesites

Costo-Efectividad

  • Sin costos recurrentes: No pagas por tokens
  • Solo recursos locales: Usa tu hardware existente
  • Sin límites de uso: Úsalo tanto como quieras

Casos de Uso Prácticos

  1. Consultoría Legal: Procesa contratos y documentos legales confidenciales
  2. Contabilidad: Analiza estados financieros y reportes internos
  3. Investigación: Trabaja con papers y documentos académicos
  4. Documentación Técnica: Crea asistentes para manuales internos
  5. Análisis de Políticas: Procesa documentos corporativos sensibles

Consejos para Optimizar tu Setup

Rendimiento

  • Usa SSDs para mejor velocidad de procesamiento
  • Considera modelos más pequeños si tienes RAM limitada
  • Ajusta el chunk size según el tipo de documentos

Precisión

  • Experimenta con diferentes valores de temperatura
  • Ajusta el solapamiento según la complejidad de tus documentos
  • Considera usar múltiples modelos de embeddings para comparar resultados

Conclusión

Has aprendido a crear un sistema RAG completamente local que:

  • Protege la privacidad de tus datos
  • Funciona sin conexión a internet
  • No tiene costos recurrentes
  • Es completamente personalizable

Esta configuración es perfecta para organizaciones que manejan información sensible y necesitan mantener el control total sobre sus datos. En la próxima lección, exploraremos agentes más avanzados que pueden realizar múltiples tareas de forma autónoma.

Recursos Adicionales

  • Modelos de Ollama: Explora diferentes modelos en ollama.ai
  • FlowWise Documentation: Consulta la documentación oficial para configuraciones avanzadas
  • Optimización de Hardware: Considera las especificaciones necesarias para diferentes modelos

Recuerda: Esta configuración local te da control total sobre tus datos mientras mantienes toda la potencia de un sistema RAG moderno.

Resumen de privacidad
Logo JeroCuevas.com

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.

Cookies de terceros

Esta web utiliza Google Analytics para recopilar información anónima tal como el número de visitantes del sitio, o las páginas más populares.

Dejar esta cookie activa nos permite mejorar nuestra web.