RAG Formation · 参考资料

拒答、不确定性与幻觉控制

在本网站学习和测试 RAG 质量的独立速查表。

$ reference --status
▸ 课程 RAG Formation
▸ 模式 独立参考资料
▸ 状态 已完成
● 学习 → 测试 → 验证

参考资料

RAG Formation 的课程内容已完成；这份资料可用于自主学习和练习。

一句话规则

即使部分回答流畅，只要加入了证据不支持的重要主张，仍然可能是幻觉。

术语	含义
拒答（Refusal）	明确说明已索引的证据无法证明所请求的事实。
不确定性（Uncertainty）	经过校准的解释，说明证据支持什么，以及哪些内容仍然未知。
幻觉（Hallucination）	在允许使用的证据没有充分支持时，仍然给出重要主张。

事项	记录	不要声称
基线	命令、配置和观测结果	基线就是目标。
改动	一个假设或决策	多个因素同时变化时，仍能确定是什么导致了结果。
指标	分别跟踪拒答准确率和幻觉率，并保留一个越过边界的答案。	一个指标就能说明质量的全部。
安全	一个失败案例和一个回归案例	流畅的回答就能证明系统可靠。

cd demo
python3 eval.py run --mode answer --workspace meridian_demo --category unanswerable --tag lesson-12-refusal

产物： 一份拒答策略，附带无证据、部分证据、冲突和歧义四类测试用例。

继续学习： 打开对应的独立课程 · 课程路线图