Pipeline RAG para Documentos

¿Qué vas a construir?

Un sistema RAG (Retrieval-Augmented Generation) completo: sube PDFs y documentos, el sistema los indexa con embeddings, y puedes hacer preguntas en lenguaje natural sobre el contenido. Claude responde citando las fuentes exactas.

Lo que aprenderás

• •Qué es RAG y cuándo usarlo vs. fine-tuning

• •Generar embeddings con la API de Anthropic o OpenAI

• •Implementar búsqueda semántica con pgvector (PostgreSQL)

• •Diseñar prompts efectivos para síntesis de documentos

• •Construir un pipeline de ingesta para PDFs, DOCX y TXT

Pasos principales

Paso 1 — Ingesta de documentos

# Extraer texto del PDF
text = extract_text(pdf_path)
# Dividir en chunks con overlap
chunks = split_with_overlap(text, size=500, overlap=50)
# Generar embeddings
embeddings = create_embeddings(chunks)
# Guardar en PostgreSQL con pgvector
store_embeddings(chunks, embeddings)

Paso 2 — Búsqueda semántica

Al recibir una pregunta, se convierte a embedding y se buscan los k chunks más similares usando distancia coseno.

Paso 3 — Generación con contexto

Sistema: Eres un asistente experto. Responde SOLO basándote en el contexto proporcionado.
Contexto: [chunks recuperados]
Pregunta: [pregunta del usuario]

Paso 4 — Citas y fuentes

Claude indica en su respuesta de qué documento y página proviene cada información.

Paso 5 — UI de gestión

Dashboard para subir documentos, ver el estado de indexación y hacer preguntas. Historial de conversaciones guardado por documento.

Resultado esperado

Sistema RAG capaz de procesar documentos de hasta 500 páginas, responder preguntas en menos de 3 segundos y citar fuentes con precisión > 90%.