Esta será una lección práctica y directa. Aprenderemos a configurar los elementos clave que controlan cómo se comporta tu aplicación RAG:
- System Prompt (Prompt del Sistema)
- Top-K Results (Resultados Top-K)
- Memory (Memoria de la aplicación RAG)
- Temperature (Temperatura del LLM)
- Similarity Search (Búsqueda por Similitud)
Accediendo a la Configuración
Para acceder a estas configuraciones en AnythingLLM, simplemente:
- Busca la sección «Setup as System Prompt»
- Haz clic en ella para abrir las configuraciones
- Encontrarás las «Chat Settings» donde puedes ajustar todos estos parámetros
1. Chat History (Historial de Chat) – La Memoria de tu IA
¿Qué es?
El historial de chat es lo que permite a AnythingLLM recordar el contexto de tu conversación. Es la «memoria» de tu aplicación.
¿Cómo funciona?
- Valor bajo (ej: 1 mensaje): Si configuras la memoria en 1 y le dices «Mi nombre es Arnie», después de unos mensajes, la IA ya no recordará tu nombre.
- Valor recomendado (20 mensajes): La IA recordará los últimos 20 mensajes de tu conversación.
- Valor máximo (45 mensajes): Puedes subir hasta 45, pero esto puede causar fallos.
Recomendación
Deja el valor en 20 – es el equilibrio perfecto entre memoria y rendimiento.
2. System Prompt (Prompt del Sistema)
¿Qué es?
El system prompt es las «instrucciones permanentes» que le das a tu IA. Define cómo debe comportarse y responder.
Prompt por Defecto
AnythingLLM viene con este prompt optimizado para aplicaciones RAG:
«Dada la siguiente conversación, contexto relevante y preguntas de seguimiento, responde con una respuesta a la pregunta actual que está haciendo el usuario. Devuelve solo tu respuesta a la pregunta dada la información anterior, siguiendo las instrucciones del usuario según sea necesario.»
Cuándo Personalizarlo
- Déjalo por defecto si tu aplicación es de uso general
- Personalízalo si tienes un uso específico (ej: contabilidad, legal, medicina)
- Ejemplo: «Eres un asistente especializado en contabilidad. Siempre proporciona respuestas precisas y conservadoras sobre temas financieros.»
3. Temperature (Temperatura del LLM)
¿Qué es?
La temperatura controla qué tan creativa o conservadora será la IA en sus respuestas.
Escala de Valores
- 0.0 – 0.3: Respuestas muy precisas y conservadoras
- ✅ Ideal para: Contabilidad, datos exactos, información técnica
- ❌ Problema: Las respuestas pueden sonar repetitivas o robóticas
- 0.7 – 0.8: Equilibrio perfecto
- ✅ Ideal para: Uso general, la mayoría de aplicaciones
- ✅ Ventaja: Respuestas naturales pero precisas
- 1.0: Máxima creatividad
- ✅ Ideal para: Escritura creativa, lluvia de ideas, artículos
- ❌ Problema: Puede generar información menos precisa
Recomendación
- Para aplicaciones empresariales: 0.7-0.8
- Para datos críticos: 0.0-0.3
- Para creatividad: 0.8-1.0
4. Vector Database – Top-K Results
¿Qué son los Top-K Results?
Son la cantidad de «fragmentos de información» más relevantes que la IA recuperará de tu base de datos vectorial para responder cada pregunta.
Configuración Recomendada
- Valor por defecto: 4 fragmentos
- Valor alternativo: Hasta 8 fragmentos (funciona bien en AnythingLLM)
- Recomendación: Mantén en 4 para empezar
¿Por qué es importante?
- Muy pocos fragmentos: Respuestas incompletas
- Demasiados fragmentos: Información irrelevante, respuestas confusas
5. Similarity Search (Búsqueda por Similitud)
¿Qué es?
Determina qué tan «similar» debe ser un documento para que se considere relevante para tu pregunta.
Configuración del Umbral
- 0.25 (25%): Configuración por defecto
- ✅ Ventaja: Obtiene resultados más variados
- ❌ Riesgo: Puede incluir información menos relevante
- 0.75 (75%): Muy restrictivo
- ✅ Ventaja: Solo documentos muy relevantes
- ❌ Problema: Pocos o ningún resultado
Recomendaciones por Uso
- Uso general: Mantén en 0.25
- Aplicaciones críticas (contabilidad, legal): Sube a 0.75
- Textos genéricos: Mantén en 0.25
Resumen de Configuraciones Recomendadas
| Parámetro | Uso General | Datos Críticos | Uso Creativo |
|---|---|---|---|
| Memory | 20 mensajes | 20 mensajes | 20 mensajes |
| Temperature | 0.7-0.8 | 0.0-0.3 | 0.8-1.0 |
| Top-K | 4 fragmentos | 4 fragmentos | 4-8 fragmentos |
| Similarity | 0.25 | 0.75 | 0.25 |
Próximos Pasos
Una vez que hayas configurado estos parámetros:
- Haz clic en «Update Workspace» para guardar los cambios
- Prueba diferentes configuraciones según tu caso de uso
- En el próximo video exploraremos las Agent Skills (Habilidades del Agente)
Consejos Prácticos
✅ Experimenta gradualmente: Cambia un parámetro a la vez para ver su efecto ✅ Prueba con casos reales: Usa preguntas típicas de tu dominio para probar ✅ Documenta lo que funciona: Guarda las configuraciones que den mejores resultados ✅ Ajusta según feedback: Si los usuarios reportan problemas, ajusta los parámetros
¡Con estas configuraciones tendrás control total sobre el comportamiento de tu aplicación RAG!