Pourquoi votre rapport d'évaluation RAG cache sa propre latence de traîne | Leçon 14

Dans la Leçon 14 de RAG Formation, nous examinons les chiffres qui sous-tendent la fiabilité — temps de réponse, coût en tokens, appels au graphe, et la visibilité opérationnelle pour les suivre.

Une réponse correcte qui est lente, coûteuse, ou impossible à expliquer quand elle tombe en panne, n'est pas encore terminée — et il y a un piège intégré à la façon même dont on mesure cela. Lancez l'évaluation de ce cours en mode recherche seule, et le rapport agrégé vous donne une médiane. Il ne vous donnera jamais un quatre-vingt-quinzième percentile — ce chiffre n'existe que lorsque vous exécutez le mode réponse. Ratez ce détail, et vous jureriez que l'outil est incapable de vous montrer la latence de traîne exacte qui coule un pilote.

L'autre vrai levier n'est pas un interrupteur de coût qui semble exister mais qui n'existe pas — il n'y a aucun moyen de couper entièrement le signal du graphe. Ce que vous pouvez faire, c'est réduire la profondeur de sa recherche. Baissez ce seul chiffre, et vous échangez la profondeur du signal du graphe contre la latence, d'une façon que vous pouvez réellement mesurer — pas en devinant un réglage que personne n'a documenté.

Site du cours :
https://shenyi.dev/fr/ai-lab/rag-formation/lessons/0014-latency-cost-and-observability

Dépôt GitHub :
https://github.com/scheffershen/yt-rag-formation/