khalil Drissi Cms

Étiquette : RAG

  • Ingénierie IA pratique : livrer des fonctionnalités LLM qui tiennent

    Ingénierie IA pratique : livrer des fonctionnalités LLM qui tiennent

    Il y a un grand fossé entre une démo qui marche devant un public et une fonctionnalité qui survit à de vrais utilisateurs pendant un mois. J’ai livré quelques fonctionnalités LLM, et presque tout ce que j’ai appris à la dure vit dans ce fossé.

    La démo, c’est les 80 % faciles

    Brancher un modèle et obtenir une bonne réponse prend un après-midi. Le reste, c’est tout ce qui arrive quand l’entrée est bizarre, que le modèle se trompe avec assurance, ou que l’utilisateur demande une chose jamais testée. Cette partie prend les trois semaines restantes, et c’est elle qui décide si quelqu’un continue à utiliser le produit.

    Alors prévoyez-la. Réservez plus de temps à l’évaluation et aux garde-fous qu’au chemin heureux, car le chemin heureux se construit presque tout seul.

    RAG : le difficile, c’est la recherche, pas la génération

    La plupart des fonctionnalités LLM utiles ont besoin de vos données, pas seulement de l’entraînement du modèle. La génération augmentée par la recherche est la réponse standard : trouver les passages pertinents, les mettre dans le prompt, laisser le modèle répondre à partir d’eux. Simple à décrire, délicat à réussir.

    La qualité d’un système RAG, c’est presque entièrement la qualité de sa recherche. Si vous récupérez les mauvais passages, aucune astuce de prompt ne vous sauve. Passez votre temps sur la stratégie de découpage, sur le fait de savoir si vous avez vraiment besoin d’embeddings ou si une recherche par mots-clés suffit pour vos données, et sur la mesure : le contexte récupéré contient-il la réponse, avant même de regarder la génération.

    Un conseil concret : journalisez les passages récupérés pour chaque requête en développement. La moitié de mes bugs RAG étaient évidents dès que je voyais ce que la recherche tirait vraiment.

    On n’améliore pas ce qu’on ne mesure pas

    « Ça a l’air mieux » n’est pas une métrique. Avant de régler quoi que ce soit, constituez un petit jeu d’évaluation : trente à cinquante entrées réelles avec les bonnes sorties connues. Lancez-le à chaque changement. Ça semble excessif jusqu’au jour où un ajustement de prompt « qui améliorait évidemment les choses » casse discrètement un tiers de vos cas.

    Les évaluations n’ont pas besoin d’être sophistiquées. Un tableur d’entrées, de comportements attendus et d’un succès/échec vérifié à l’œil vaut mieux qu’aucune évaluation. Automatisez plus tard, une fois que vous savez ce que vous mesurez.

    Traitez la sortie du modèle comme non fiable

    C’est la leçon qui rejoint la sécurité. La sortie d’un modèle n’est que du texte, et si vous l’injectez dans une requête de base, une commande shell ou un autre système, elle peut faire des dégâts comme une entrée utilisateur. Si un agent lit du contenu non fiable, ce contenu peut porter des instructions, le problème d’injection de prompt que j’aborde dans l’IA agentique en cybersécurité.

    Validez les sorties structurées contre un schéma. Ne passez jamais du texte brut du modèle dans quoi que ce soit qui s’exécute. L’état d’esprit « l’entrée est hostile » de ma checklist de sécurité s’applique directement à ce qui sort du modèle, pas seulement à ce qui entre.

    Coût et latence sont des décisions produit

    Le plus gros modèle est rarement le bon choix par défaut. Un modèle plus petit qui répond en 400 millisecondes bat souvent un plus gros qui prend quatre secondes, car l’utilisateur ressent la latence tout de suite et juge la qualité lentement. Mettez en cache agressivement. Routez les requêtes faciles vers des modèles bon marché et gardez le coûteux pour les cas difficiles.

    Choisissez votre niveau de modèle exprès. Je pars du modèle le plus capable pendant le développement, puis je descends une fois que je sais quels appels ont vraiment besoin de puissance.

    Où cela vous mène

    Livrer des fonctionnalités IA, c’est surtout de l’ingénierie normale avec une composante probabiliste greffée. Le modèle est la partie amusante et la plus petite. La recherche, l’évaluation, la validation et la plomberie autour, c’est le vrai travail. Si vous construisez le système autour de zéro, les patterns de l’architecture full-stack moderne sont là où le modèle doit réellement vivre.

  • Construire des systemes RAG avec des bases vectorielles

    Construire des systemes RAG avec des bases vectorielles

    La generation augmentee par recuperation a l’air compliquee et est en realite simple dans les grandes lignes. Vous donnez a un modele de langage acces a vos documents en recuperant les plus pertinents et en les collant dans le prompt. Le modele repond a partir de ce contexte au lieu de s’appuyer uniquement sur ce qu’il a memorise a l’entrainement. Le schema tient en une phrase. Si les systemes RAG echouent, ce n’est jamais a cause du schema. C’est a cause des details, et cet article parle des details, car j’ai vu les memes erreurs couler les memes projets plus d’une fois.

    Ceci suppose que vous comprenez deja les embeddings et la recherche par similarite. Sinon, lisez d’abord les bases vectorielles expliquees, car toute l’etape de recuperation depend de ces idees.

    Le pipeline en un coup d’oeil

    Un systeme RAG a deux phases. Il y a une phase d’ingestion hors ligne ou vous traitez vos documents et les stockez, et une phase de requete en ligne ou vous repondez a la question d’un utilisateur. L’ingestion ressemble a ceci : prendre vos documents, les decouper en morceaux, generer un embedding pour chaque morceau, et stocker les vecteurs avec leur texte et leurs metadonnees dans une base vectorielle. La requete ressemble a ceci : encoder la question de l’utilisateur, recuperer les morceaux les plus similaires, les assembler en un prompt, et l’envoyer au modele.

    Le decoupage, la ou la plupart des projets derapent

    Le decoupage est l’acte de diviser les documents en morceaux assez petits pour etre recuperes et encodes. C’est aussi l’etape a laquelle on reflechit le moins, avant de se demander pourquoi les reponses sont mauvaises. Si vos morceaux sont trop gros, chaque embedding devient une moyenne floue de plusieurs sujets et la recherche par similarite perd en precision. Si vos morceaux sont trop petits, vous recuperez des fragments qui manquent du contexte necessaire pour repondre a quoi que ce soit.

    Ce qui marche pour moi, c’est de decouper le long de la structure naturelle du document. Couper aux titres et aux paragraphes plutot qu’aveuglement tous les 500 caracteres, car un morceau qui respecte une frontiere de section porte une idee coherente. Je fais aussi se chevaucher legerement les morceaux pour qu’une phrase pres d’une frontiere ne soit pas orpheline de son contexte. Quelques centaines de tokens par morceau avec un petit chevauchement est un point de depart raisonnable, mais la bonne reponse depend de votre contenu, et vous devriez regarder de vrais morceaux pour les verifier.

    L’ingestion en code

    Voici la forme d’une etape d’ingestion avec pgvector. Je la garde deliberement petite pour que la structure soit visible.

    import psycopg2
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("all-mpnet-base-v2")
conn = psycopg2.connect("dbname=app")

def ingerer(doc_id, morceaux):
    vecteurs = model.encode(morceaux, normalize_embeddings=True)
    with conn.cursor() as cur:
        for texte, vec in zip(morceaux, vecteurs):
            cur.execute(
                "INSERT INTO morceaux (doc_id, corps, embedding) "
                "VALUES (%s, %s, %s)",
                (doc_id, texte, vec.tolist()),
            )
    conn.commit()

    Rien d’exotique ici. Le travail interessant a eu lieu avant l’execution de cette fonction, dans la facon dont les morceaux ont ete produits, et il a lieu apres, dans la facon dont vous recuperez.

    La recuperation et le prompt

    Au moment de la requete, vous encodez la question avec le meme modele que celui utilise a l’ingestion. Utiliser un modele different est un bug subtil et douloureux, car les deux espaces vectoriels ne s’alignent pas et vos scores de similarite deviennent insignifiants. Ensuite vous recuperez les meilleurs candidats et construisez le prompt.

    def repondre(question, k=5):
    qvec = model.encode([question], normalize_embeddings=True)[0]
    with conn.cursor() as cur:
        cur.execute(
            "SELECT corps FROM morceaux "
            "ORDER BY embedding <=> %s::vector LIMIT %s",
            (qvec.tolist(), k),
        )
        contexte = "\n\n".join(row[0] for row in cur.fetchall())
    prompt = (
        "Reponds en utilisant uniquement le contexte ci-dessous. "
        "Si la reponse ne s'y trouve pas, dis que tu ne sais pas.\n\n"
        "Contexte:\n" + contexte + "\n\nQuestion: " + question
    )
    return appeler_modele(prompt)

    Cette instruction de dire « je ne sais pas » quand la reponse n’est pas dans le contexte n’est pas optionnelle. Sans elle, le modele comblera volontiers les vides avec une fabrication plausible, et une reponse fausse mais assuree est pire que pas de reponse du tout.

    La qualite de la recuperation decide de tout

    Le modele ne peut etre que aussi bon que ce que vous lui donnez. Si la recuperation fait remonter les mauvais morceaux, aucune habilete de prompt ne sauve la reponse. C’est pour cela que je passe l’essentiel de mon effort RAG sur la recuperation plutot que sur la formulation du prompt. Quelques techniques qui valent leur cout :

    • La recherche hybride. Combinez la similarite vectorielle avec la recherche par mots-cles. La recherche semantique rate les identifiants exacts, les codes d’erreur et les noms de produits, et la recherche par mots-cles les attrape. Fusionner les deux classements bat l’un ou l’autre seul dans presque tous les systemes que j’ai mesures.
    • Le reranking. Recuperez un ensemble genereux de candidats, puis lancez un reranker a encodeur croise pour les reordonner par pertinence avant de construire le prompt. Le reranker est plus lent par element mais bien plus precis que la distance vectorielle brute, et l’appliquer a un petit ensemble de candidats est peu couteux.
    • Le filtrage par metadonnees. Restreignez la recuperation aux documents que l’utilisateur a le droit de voir et qui sont assez recents pour compter. C’est a la fois une question de pertinence et de securite.

    Les problemes ingrats

    Les vrais systemes RAG vivent ou meurent sur les parties que personne ne montre en demo. Garder l’index synchronise quand les documents changent, pour ne pas recuperer de contenu supprime ou perime. Gerer le controle d’acces pour qu’un utilisateur ne recupere jamais un morceau d’un document qu’il ne peut pas voir, ce qui est une vraie fuite de donnees si vous vous trompez. Evaluer la qualite avec un vrai jeu de test de questions et de reponses attendues plutot qu’au feeling, car sans mesure vous ne pouvez pas savoir si un changement a aide. Et gerer la taille du prompt pour ne pas exploser la fenetre de contexte ni payer des tokens inutiles.

    La dimension securite merite plus d’attention qu’on ne lui en accorde, surtout des que ces systemes commencent a agir au nom d’un utilisateur. J’ai creuse cela dans mon article sur l’IA agentique et la cybersecurite, et les echecs de controle d’acces qui y figurent se transposent directement a la recuperation RAG.

    Commencez simple, puis mesurez

    Mon conseil est de construire d’abord la version la plus simple. Decoupage naif, pgvector, recuperation des cinq meilleurs, un prompt clair. Faites-le repondre aux questions de bout en bout. Ensuite construisez un jeu d’evaluation et ameliorez une chose a la fois, en mesurant chaque changement. Ajoutez la recherche hybride et verifiez les chiffres. Ajoutez le reranking et verifiez de nouveau. Reglez le decoupage et verifiez encore. Les equipes qui reussissent avec le RAG ne sont pas celles qui ont la stack la plus sophistiquee. Ce sont celles qui mesurent la qualite de la recuperation et s’acharnent dessus. Pour le contexte d’ingenierie plus large autour de la mise en production de ces systemes, voyez mes notes sur l’ingenierie IA pratique, et quand vous etes pret a choisir un stockage, choisir une base vectorielle couvre les options.