La generation augmentee par recuperation a l’air compliquee et est en realite simple dans les grandes lignes. Vous donnez a un modele de langage acces a vos documents en recuperant les plus pertinents et en les collant dans le prompt. Le modele repond a partir de ce contexte au lieu de s’appuyer uniquement sur ce qu’il a memorise a l’entrainement. Le schema tient en une phrase. Si les systemes RAG echouent, ce n’est jamais a cause du schema. C’est a cause des details, et cet article parle des details, car j’ai vu les memes erreurs couler les memes projets plus d’une fois.
Ceci suppose que vous comprenez deja les embeddings et la recherche par similarite. Sinon, lisez d’abord les bases vectorielles expliquees, car toute l’etape de recuperation depend de ces idees.
Le pipeline en un coup d’oeil
Un systeme RAG a deux phases. Il y a une phase d’ingestion hors ligne ou vous traitez vos documents et les stockez, et une phase de requete en ligne ou vous repondez a la question d’un utilisateur. L’ingestion ressemble a ceci : prendre vos documents, les decouper en morceaux, generer un embedding pour chaque morceau, et stocker les vecteurs avec leur texte et leurs metadonnees dans une base vectorielle. La requete ressemble a ceci : encoder la question de l’utilisateur, recuperer les morceaux les plus similaires, les assembler en un prompt, et l’envoyer au modele.
Le decoupage, la ou la plupart des projets derapent
Le decoupage est l’acte de diviser les documents en morceaux assez petits pour etre recuperes et encodes. C’est aussi l’etape a laquelle on reflechit le moins, avant de se demander pourquoi les reponses sont mauvaises. Si vos morceaux sont trop gros, chaque embedding devient une moyenne floue de plusieurs sujets et la recherche par similarite perd en precision. Si vos morceaux sont trop petits, vous recuperez des fragments qui manquent du contexte necessaire pour repondre a quoi que ce soit.
Ce qui marche pour moi, c’est de decouper le long de la structure naturelle du document. Couper aux titres et aux paragraphes plutot qu’aveuglement tous les 500 caracteres, car un morceau qui respecte une frontiere de section porte une idee coherente. Je fais aussi se chevaucher legerement les morceaux pour qu’une phrase pres d’une frontiere ne soit pas orpheline de son contexte. Quelques centaines de tokens par morceau avec un petit chevauchement est un point de depart raisonnable, mais la bonne reponse depend de votre contenu, et vous devriez regarder de vrais morceaux pour les verifier.
L’ingestion en code
Voici la forme d’une etape d’ingestion avec pgvector. Je la garde deliberement petite pour que la structure soit visible.
import psycopg2
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-mpnet-base-v2")
conn = psycopg2.connect("dbname=app")
def ingerer(doc_id, morceaux):
vecteurs = model.encode(morceaux, normalize_embeddings=True)
with conn.cursor() as cur:
for texte, vec in zip(morceaux, vecteurs):
cur.execute(
"INSERT INTO morceaux (doc_id, corps, embedding) "
"VALUES (%s, %s, %s)",
(doc_id, texte, vec.tolist()),
)
conn.commit()
Rien d’exotique ici. Le travail interessant a eu lieu avant l’execution de cette fonction, dans la facon dont les morceaux ont ete produits, et il a lieu apres, dans la facon dont vous recuperez.
La recuperation et le prompt
Au moment de la requete, vous encodez la question avec le meme modele que celui utilise a l’ingestion. Utiliser un modele different est un bug subtil et douloureux, car les deux espaces vectoriels ne s’alignent pas et vos scores de similarite deviennent insignifiants. Ensuite vous recuperez les meilleurs candidats et construisez le prompt.
def repondre(question, k=5):
qvec = model.encode([question], normalize_embeddings=True)[0]
with conn.cursor() as cur:
cur.execute(
"SELECT corps FROM morceaux "
"ORDER BY embedding <=> %s::vector LIMIT %s",
(qvec.tolist(), k),
)
contexte = "\n\n".join(row[0] for row in cur.fetchall())
prompt = (
"Reponds en utilisant uniquement le contexte ci-dessous. "
"Si la reponse ne s'y trouve pas, dis que tu ne sais pas.\n\n"
"Contexte:\n" + contexte + "\n\nQuestion: " + question
)
return appeler_modele(prompt)
Cette instruction de dire « je ne sais pas » quand la reponse n’est pas dans le contexte n’est pas optionnelle. Sans elle, le modele comblera volontiers les vides avec une fabrication plausible, et une reponse fausse mais assuree est pire que pas de reponse du tout.
La qualite de la recuperation decide de tout
Le modele ne peut etre que aussi bon que ce que vous lui donnez. Si la recuperation fait remonter les mauvais morceaux, aucune habilete de prompt ne sauve la reponse. C’est pour cela que je passe l’essentiel de mon effort RAG sur la recuperation plutot que sur la formulation du prompt. Quelques techniques qui valent leur cout :
- La recherche hybride. Combinez la similarite vectorielle avec la recherche par mots-cles. La recherche semantique rate les identifiants exacts, les codes d’erreur et les noms de produits, et la recherche par mots-cles les attrape. Fusionner les deux classements bat l’un ou l’autre seul dans presque tous les systemes que j’ai mesures.
- Le reranking. Recuperez un ensemble genereux de candidats, puis lancez un reranker a encodeur croise pour les reordonner par pertinence avant de construire le prompt. Le reranker est plus lent par element mais bien plus precis que la distance vectorielle brute, et l’appliquer a un petit ensemble de candidats est peu couteux.
- Le filtrage par metadonnees. Restreignez la recuperation aux documents que l’utilisateur a le droit de voir et qui sont assez recents pour compter. C’est a la fois une question de pertinence et de securite.
Les problemes ingrats
Les vrais systemes RAG vivent ou meurent sur les parties que personne ne montre en demo. Garder l’index synchronise quand les documents changent, pour ne pas recuperer de contenu supprime ou perime. Gerer le controle d’acces pour qu’un utilisateur ne recupere jamais un morceau d’un document qu’il ne peut pas voir, ce qui est une vraie fuite de donnees si vous vous trompez. Evaluer la qualite avec un vrai jeu de test de questions et de reponses attendues plutot qu’au feeling, car sans mesure vous ne pouvez pas savoir si un changement a aide. Et gerer la taille du prompt pour ne pas exploser la fenetre de contexte ni payer des tokens inutiles.
La dimension securite merite plus d’attention qu’on ne lui en accorde, surtout des que ces systemes commencent a agir au nom d’un utilisateur. J’ai creuse cela dans mon article sur l’IA agentique et la cybersecurite, et les echecs de controle d’acces qui y figurent se transposent directement a la recuperation RAG.
Commencez simple, puis mesurez
Mon conseil est de construire d’abord la version la plus simple. Decoupage naif, pgvector, recuperation des cinq meilleurs, un prompt clair. Faites-le repondre aux questions de bout en bout. Ensuite construisez un jeu d’evaluation et ameliorez une chose a la fois, en mesurant chaque changement. Ajoutez la recherche hybride et verifiez les chiffres. Ajoutez le reranking et verifiez de nouveau. Reglez le decoupage et verifiez encore. Les equipes qui reussissent avec le RAG ne sont pas celles qui ont la stack la plus sophistiquee. Ce sont celles qui mesurent la qualite de la recuperation et s’acharnent dessus. Pour le contexte d’ingenierie plus large autour de la mise en production de ces systemes, voyez mes notes sur l’ingenierie IA pratique, et quand vous etes pret a choisir un stockage, choisir une base vectorielle couvre les options.