Configuración del Espacio de Trabajo
Hemos creado un espacio de trabajo donde configuramos todos los ajustes necesarios. Enviamos nuestras primeras consultas en el chat y recibimos las respuestas correspondientes.
El siguiente paso es integrar un documento. Para hacerlo, simplemente presiona el botón correspondiente y accederás a la interfaz de carga de archivos.
Conceptos Fundamentales: Chunk Size y Overlap
Antes de subir documentos, es importante entender dos conceptos clave:
¿Qué es el Chunk Size (Tamaño de Fragmento)?
En la configuración de «Text Splitter and Chunking» encontrarás dos parámetros importantes:
- Text Chunk Size: El tamaño de cada fragmento de texto
- Text Overlap: La superposición entre fragmentos
Limitación actual: Solo podemos usar hasta 1000 tokens por fragmento en este modelo, aunque modelos más avanzados permiten fragmentos más grandes.
El Problema con Documentos Largos
Imagina que tienes un documento PDF largo con varias páginas de texto. Si subes todo el documento completo a la base de datos vectorial:
- ✅ El LLM ve claramente el inicio del documento
- ✅ El LLM ve claramente el final del documento
- ❌ El contenido del medio se vuelve menos preciso
Esta pérdida de precisión en la parte central es un problema común en aplicaciones RAG.
La Solución: Dividir en Fragmentos
Ventajas de la Fragmentación
En lugar de procesar todo el documento de una vez, lo dividimos en fragmentos más pequeños:
- Mejor precisión: Cada fragmento se embebido por separado
- Búsqueda eficiente: El LLM busca solo en los fragmentos relevantes
- Mejores resultados: Evita perder información del «medio» del documento
Ejemplo Práctico
Si el LLM busca información sobre «perros»:
- ✅ Encuentra tokens relevantes en el fragmento 1
- ✅ Encuentra tokens relevantes en el fragmento 3
- ✅ Solo procesa estos fragmentos específicos
- ⚡ Ignora el fragmento 2 (más eficiente)
Chunk Overlap (Superposición de Fragmentos)
¿Por qué usar superposición?
La superposición asegura que la información importante no se pierda en los «bordes» entre fragmentos.
Ejemplo: Si tienes fragmentos de 1000 tokens:
- Fragmento 1: tokens 1-1000
- Fragmento 2: tokens 950-1950 (con 50 tokens de superposición)
- Fragmento 3: tokens 1900-2900 (con 50 tokens de superposición)
Beneficios de la Superposición
- Continuidad: Preserva el contexto entre fragmentos
- Precisión: Captura información que podría perderse en las divisiones
- Búsqueda mejorada: El LLM puede encontrar información relevante aunque esté cerca del límite de un fragmento
Reglas Generales para Configurar Fragmentos
Por Tipo de Contenido
| Tipo de Contenido | Tamaño de Fragmento | Casos de Uso |
|---|---|---|
| Historias largas/Libros | 1000-5000 tokens | Novelas, documentos extensos |
| Textos cortos | 500-1000 tokens | Artículos, ensayos |
| Listas y enlaces | 100-500 tokens | Catálogos, precios, índices |
Superposición Recomendada
- Porcentaje ideal: 1-5% del tamaño del fragmento
- Ejemplo: Para fragmentos de 1000 tokens → superposición de 10-50 tokens
Consideraciones de Precio y Rendimiento
El Problema de los Fragmentos Gigantes
Aunque algunos modelos (como los de Google) pueden manejar hasta 1 millón de tokens:
❌ Fragmentos muy grandes (50,000+ tokens):
- Precio elevado: Cada consulta procesa muchos tokens
- Velocidad lenta: Más datos para procesar
- Menor eficiencia: Se procesan datos irrelevantes
✅ Fragmentos optimizados (1000-5000 tokens):
- Precio razonable: Solo se procesan 2-3 fragmentos relevantes
- Velocidad alta: Menos datos para procesar
- Mayor precisión: Información más específica
Ejemplo de Costo
- Fragmentos grandes: 50,000 tokens por consulta = costoso
- Fragmentos optimizados: 10,000 tokens por consulta (2-3 fragmentos) = económico
Estrategias Específicas por Contenido
Para Listas de Precios o Catálogos
- Tamaño: 100-500 tokens (pequeño)
- Razón: Búsqueda rápida de items específicos
- Superposición: Mínima (no crítica para este tipo de contenido)
Para Historias y Narrativas
- Tamaño: 1000-5000 tokens (grande)
- Razón: Preservar el contexto narrativo
- Superposición: 1-5% para mantener continuidad
Recomendaciones Finales
Experimentación
- Prueba y ajusta: Cada documento es único
- Monitorea resultados: Observa la calidad de las respuestas
- Optimiza gradualmente: Ajusta según el rendimiento
Regla de Oro
1000 tokens es un excelente punto de partida que funciona bien para la mayoría de casos, equilibrando:
- ✅ Precisión
- ✅ Velocidad
- ✅ Costo
- ✅ Calidad de resultados
Resumen Ejecutivo
- Fragmenta tus documentos para mejor precisión
- Usa superposición del 1-5% para preservar contexto
- Ajusta el tamaño según el contenido:
- Historias largas → fragmentos grandes
- Listas/precios → fragmentos pequeños
- Considera el costo: fragmentos más pequeños = consultas más económicas
- Experimenta y optimiza según tus resultados específicos
Con estos principios, estarás listo para crear aplicaciones RAG eficientes y precisas.