RAG Formation · Référence

Découpage et structure des documents

Une fiche autonome pour apprendre et tester la qualité RAG sur ce site.

$ reference --status
▸ cours RAG Formation
▸ mode référence autonome
▸ statut Terminé
● apprendre → tester → vérifier

Fiche de référence

Découpage et structure des documents

Le contenu du cours guidé RAG Formation est complet ; cette fiche est disponible pour un apprentissage autonome.

Règle en une ligne

Modifiez un seul paramètre de fenêtre, mesurez si le fait et l’identité de la source restent ensemble, puis testez l’hypothèse avec une évaluation de récupération en ligne indépendante.

Glossaire

Terme	Signification
Fenêtre source (Source window)	Découpage borné et reproductible de Markdown synthétique utilisé dans le laboratoire hors ligne.
Taille des fragments (Chunk size)	Nombre maximal de caractères autorisé dans une fenêtre source.
Profil de taille de fragments (Chunk-size profile)	Pas un réglage universel — Qdrant/Meilisearch indexent à environ 500 tokens, LightRAG utilise délibérément environ 1200 tokens pour une meilleure extraction d’entités. `--profile chunk`/`graph` approximent ces deux tailles en caractères.
Chevauchement (Overlap)	Caractères copiés de la fin d’une fenêtre vers la suivante.
Co-localisation (Co-location)	La référence attendue et chaque terme factuel requis apparaissent dans la même fenêtre.
Indicateur proxy (Proxy metric)	Signal directionnel, et non résultat de récupération en ligne ou de qualité de réponse. Le taux du profil graph paraît meilleur presque par construction, puisqu’une fenêtre suffisamment grande contient trivialement le document entier.

Fiche d’expérimentation contrôlée

Étape	À faire	Ne pas affirmer
Référence	Exécuter q24 avec `--profile chunk` (~500 tokens, la taille Qdrant/Meilisearch).	Qu’il s’agit du meilleur réglage pour la production.
Une modification	Conserver le reste et relancer q24 avec `--profile graph` (~1200 tokens, la taille de LightRAG).	Que plusieurs modifications ont causé le résultat.
Mesurer	Comparer le nombre/taux de co-localisation et le texte lisible des fenêtres.	Que l’index en ligne s’est amélioré, ou que la fenêtre plus grande est simplement meilleure.
Vérifier	Réindexer la démonstration isolée, puis relancer l’évaluation de récupération.	Qu’un proxy de fenêtre source peut remplacer l’évaluation.

Carte des questions

Question	Utilité	Source(s)
q24	Vérifie qu’une échéance révisée reste liée à l’identité de la procédure actuelle.	PR-QA-MRD-009
q30	Montre qu’une seule fenêtre peut encore être insuffisante pour une réponse qui nécessite deux sources.	PR-QA-MRD-001 + PR-QA-MRD-009
q52	Vérifie une réponse factuelle courte par rapport à l’identité du plan de continuité.	PR-EXM-MRD-014

Commandes et modèle de conclusion

cd demo
python3 chunk_lab.py --question q24 --profile chunk --output-dir reports/lesson-06-chunk-profile
python3 chunk_lab.py --question q24 --profile graph --output-dir reports/lesson-06-graph-profile

Modèle de conclusion : « Avec le profil ___ (___ caractères, chevauchement de ___), ___ fenêtres sur ___ ont conservé ensemble le fait requis et l’identité de la source. Cela étaye l’hypothèse que ___. Cela ne prouve pas la qualité de la récupération en ligne, et cela ne signifie pas non plus que la fenêtre plus grande soit simplement meilleure ; ensuite, je pèserais cela face au coût réel d’extraction de LightRAG, puis je réindexerais et relancerais l’évaluation de récupération. »

Pointeurs locaux

demo/chunk_lab.py
demo/eval_set.yaml
demo/corpus/md/

Pour continuer : Ouvrir la leçon autonome correspondante · Feuille de route