沈毅全栈与 AI

巴黎 • 新加坡 • 上海

RAG Formation · 第 11 课 · 有据的回答生成

引用设计与来源忠实度

构建稳定、实用,并直接连接到回答证据的引用。

$ lesson --status
▸ course RAG Formation
▸ lesson 11 / 16
▸ phase 有据的回答生成
▸ status 已完成
● build → measure → learn

独立课程

在这里学习完整课程并检验你的理解。

RAG Formation 的 16 节课程内容已完成。本页包含完整课程内容、本地参考资料和可直接在浏览器中完成的即时练习。

本课的具体收获

学完本课,你会写出一份引用契约,明确规定文档身份、文本块/页码身份、主张映射和去重规则。

观看讲解视频

1 · 核心技能

从 q28、q30、q46 或 q63 中选一道进行审计——把答案中的每条重要主张追溯到真正支持它的来源。

  • 引用忠实度:被引用的来源确实包含或支持这条主张,而不只是与它相邻或相关。
  • 引用完整性:每条重要主张都有可靠来源支撑;当答案跨越多跳推理时,这一点尤其重要。
  • 引用身份:提供稳定的文档和文本块引用,让用户可以查找并复现。

主要阅读:Anthropic《带引用的搜索结果》

2 · 运行证据闭环

cd demo
python3 eval.py run --mode answer --workspace meridian_demo --tag lesson-11-citations

把缺失引用、多余引用和误导性引用单独记录为一类问题,不要把它们混进答案本身是否正确的判断里。

如果引用背后的文档根本没有支持你展示给用户的主张,那么文件名本身就不是忠实的引用。

3 · 决策工作表

基线证据一个假设/改动指标回归检查有边界的结论
_________________________

4 · 检索练习

问题:答案明显依赖两个来源,但引用中只出现了一个。首先应该检查什么?

企业场景连接

对受监管的聊天机器人来说,引用不是装饰,而是答案与受控证据之间的桥梁,QA 审核员或审计员可以沿着它进行核查。

5 · 交付物与下一步

  1. 保存命令输出或写一份简短报告。
  2. 填写决策工作表。
  3. 写下一个失败案例,以及下一步要验证的内容。

交付物是一份引用契约,明确规定文档身份、文本块/页码身份、主张映射和去重规则。

下一步:第 12 课将讲拒答、不确定性和幻觉控制。

对证据、指标、失败案例或下一步尝试有任何问题,都可以问我。 这正是我在这门课中要做的事。