Montar un asistente con recuperación de documentos es fácil en una tarde. Que responda bien a usuarios reales es otra historia.
1. Trozos demasiado pequeños#
Partimos los documentos en fragmentos de 200 palabras. El modelo recibía frases sueltas sin contexto y rellenaba los huecos. Subir a secciones completas, con su título, redujo las respuestas inventadas a la mitad.
2. No medir la recuperación por separado#
Preparamos 120 preguntas con su documento esperado y medimos:
| Cambio | Documento correcto en los 5 primeros |
|---|---|
| Solo embeddings | 61 % |
| + búsqueda por palabras | 78 % |
| + reordenado | 89 % |
3. No dejar decir «no lo sé»#
El último cambio fue el más barato: una instrucción explícita para responder «no aparece en la documentación» cuando el contexto no alcanza, y mostrar siempre las fuentes.
- Fragmentos por sección
- Búsqueda híbrida y reordenado
- Fuentes visibles en cada respuesta
- Evaluación automática en cada cambio del índice