RAG Formation · Référence

Fiche qualité RAG QA

Une fiche autonome pour apprendre et tester la qualité RAG sur ce site.

$ reference --status
▸ cours RAG Formation
▸ mode référence autonome
▸ statut Terminé
● apprendre → tester → vérifier

Fiche de référence

Fiche qualité RAG QA

Le contenu du cours guidé RAG Formation est complet ; cette fiche est disponible pour un apprentissage autonome.

Le pipeline

Question → récupérer les preuves → assembler le contexte → générer la réponse → citer les sources → évaluer.

Lorsqu’une réponse est incorrecte, posez d’abord une question : Les preuves manquaient-elles, ou étaient-elles présentes mais mal utilisées ?

Deux niveaux de qualité

Niveau	Question	Signal de démonstration
Récupération	Le système a-t-il renvoyé chaque source attendue ?	Union de récupération / taux de hit par index
Génération	La réponse a-t-elle énoncé le fait demandé sans contradiction ?	Précision stricte et tolérante du juge
Ancrage	A-t-il cité les documents qui étayent la réponse ?	Taux de sources retrouvées
Sécurité	A-t-il refusé les questions absentes du corpus ?	Précision des refus et taux d’hallucination
Exploitation	Les utilisateurs peuvent-ils obtenir des réponses rapidement et de façon constante ?	Latence p50 / p95 et erreurs API

Comment lire la démonstration actuelle

Précision stricte : ne compter qu’un verdict du juge égal à correct. Utilisez-le comme chiffre principal.
Précision tolérante : compter correct + partial. Elle aide au diagnostic, mais ne remplace pas la précision stricte.
Taux de sources retrouvées : vérifier que la réponse finale cite chaque document source attendu.
Précision des refus : vérifier que le système refuse correctement les questions auxquelles il ne peut pas répondre.
Taux d’hallucination : compter la fréquence à laquelle le système répond malgré tout à une question sans réponse possible.

Échec de récupération

Le bon document n’arrive jamais dans le prompt de réponse. Examinez le découpage, les métadonnées, le traitement des requêtes, la récupération hybride, les filtres et le classement.

Échec de génération

Les bonnes preuves sont présentes, mais la réponse les omet, les mélange ou les contredit. Examinez l’assemblage du contexte, les instructions, la structure de réponse et le choix du modèle.

Règle du cours

Ne considérez pas une amélioration du prompt comme une réussite à cause d’une seule réponse impressionnante. Exécutez le harnais d’évaluation, inspectez les échecs et comparez les mêmes indicateurs à l’exécution précédente.

Pour continuer : Ouvrir la leçon autonome correspondante · Feuille de route