Construye tú mismo un RAG sencillo

Los cuatro pasos

RAG (Retrieval-Augmented Generation, generación aumentada por recuperación) busca, antes de cada respuesta, fragmentos de texto relevantes en una base de conocimiento propia y se los da al modelo dentro del prompt. El proceso tiene cuatro pasos:

1. Chunking: dividir la base de conocimiento en fragmentos pequeños de texto, normalmente de unos pocos cientos de tokens.
2. Embeddings: convertir cada fragmento en un vector con un modelo de embeddings que capture su significado.
3. Búsqueda vectorial: para una consulta, encontrar los fragmentos cuyos vectores son más parecidos a ella.
4. Contexto en el prompt: insertar los fragmentos encontrados en el prompt antes de que el modelo responda.

RAG frente a una ventana de contexto larga

Si toda tu base de conocimiento cabe sin problema en la ventana de contexto, RAG suele ser un esfuerzo innecesario: meter simplemente todo en el prompt es más sencillo y menos propenso a errores. RAG merece la pena cuando la base de conocimiento es más grande que la ventana de contexto, cambia con frecuencia, o cuando solo una porción pequeña y variable es relevante en cada consulta.

Fuentes de error habituales

Fragmentos demasiado grandes: el relleno irrelevante desplaza lo importante. Fragmentos demasiado pequeños: se pierde el contexto. La búsqueda vectorial pura pasa por alto coincidencias exactas de términos (jerga técnica, nombres de código); combinarla con la búsqueda clásica por palabras clave soluciona eso.