RAG Formation · Référence

Exécuter et lire une base RAG

Une fiche autonome pour apprendre et tester la qualité RAG sur ce site.

$ reference --status
▸ cours RAG Formation
▸ mode référence autonome
▸ statut Terminé
● apprendre → tester → vérifier

Fiche de référence

Exécuter et lire une base RAG

Le contenu du cours guidé RAG Formation est complet ; cette fiche est disponible pour un apprentissage autonome.

Recette de référence

Vérifier → démarrer la pile isolée → ingérer → exécuter la récupération → exécuter l’évaluation des réponses → inspecter les échecs → enregistrer la configuration.

Éléments à consigner

Élément	Pourquoi
Étiquette	Identifie l’exécution, par exemple `lesson-4-baseline`.
Version du corpus et du jeu d’évaluation	Évite de comparer des données de test différentes comme s’il s’agissait des mêmes données.
Noms de l’espace de travail et des index	Confirment que l’exécution a utilisé les données de démonstration isolées.
topk et seuils	Ces paramètres de récupération influencent le résultat.
Modèle et modèle de jugement	Changer l’un ou l’autre peut modifier la réponse ou le verdict du juge.
Concurrence et délai d’attente	Ces paramètres opérationnels influencent les erreurs et la latence.

Indicateurs à lire séparément

Union de récupération : les index combinés ont-ils renvoyé chaque document attendu ?
Précision stricte : combien de réponses évaluées étaient entièrement correctes ?
Taux de sources retrouvées : la réponse finale a-t-elle cité chaque source attendue ?
Précision des refus : le système a-t-il refusé chaque question sans réponse possible ?
Taux d’hallucination : à quelle fréquence a-t-il répondu à une question que les preuves ne permettaient pas d’étayer ?
Latence p50 / p95 : temps de réponse habituel et longue traîne lente.

Déclaration de référence correcte

« Avec ce corpus, ce jeu d’évaluation, ce modèle et cette configuration, le système a obtenu X. »

Déclaration de référence incorrecte

« Le chatbot est précis à 90 %. »

Règle de lecture des échecs

Pour chaque échec, notez trois éléments : la source attendue, la source réellement utilisée et la raison du juge. Cela transforme un pourcentage en hypothèse d’ingénierie.

Pour continuer : Ouvrir la leçon autonome correspondante · Feuille de route