RAG Formation · Référence

Jeux d’évaluation RAG fiables

Une fiche autonome pour apprendre et tester la qualité RAG sur ce site.

$ reference --status
▸ cours RAG Formation
▸ mode référence autonome
▸ statut Terminé
● apprendre → tester → vérifier

Fiche de référence

Jeux d’évaluation RAG fiables

Le contenu du cours guidé RAG Formation est complet ; cette fiche est disponible pour un apprentissage autonome.

Le tuple d’évaluation

Question + catégorie + sources attendues + faits requis + comportement attendu

Pour une question à laquelle il est possible de répondre, le système doit fournir une réponse correcte étayée par les preuves. Pour une question sans réponse possible, il doit refuser.

Ce qu’un bon jeu d’évaluation teste

Dimension	Pourquoi c’est important	Démonstration Meridian
Recherche factuelle	Trouver un nombre, un nom, une date ou une exigence précise.	35 questions
Recherche par référence	Trouver l’identifiant exact du SOP ou du document.	7 questions
Multi-étapes	Rassembler des preuves provenant de plusieurs documents.	9 questions
Multilingue	Associer une question à une source rédigée dans une autre langue.	5 questions
Acronyme	Résoudre des termes et abréviations du domaine.	3 questions
Sans réponse	Mesurer si le système refuse au lieu de récompenser une hallucination.	6 questions

Règles de vérité terrain

Chaque source attendue doit être présente dans le corpus.
Chaque fait requis doit apparaître littéralement dans une source attendue.
Une question sans réponse possible ne doit avoir ni source attendue ni fait requis.
Apparier les sources récupérées par leurs métadonnées, et non par du texte arbitraire dans un fragment.
Conserver le jeu d’évaluation inchangé lors de la comparaison des modifications du système.

Mesure incorrecte

Compter un résultat vectoriel comme un hit uniquement parce que le texte de son fragment mentionne l’identifiant du document attendu.

Meilleure mesure

Ne compter un hit que lorsque les métadonnées de la source identifient le document attendu.

Périmètre de confiance

Un harnais d’évaluation peut être erroné tout en affichant un pourcentage d’apparence convaincante. Testez le scoreur lui-même avec des accents, des questions multi-sources, des renvois croisés dans le texte, des citations manquantes et des refus.

Pour continuer : Ouvrir la leçon autonome correspondante · Feuille de route