沈毅全栈与 AI

巴黎 • 新加坡 • 上海

RAG Formation · 第 10 课 · 有据的回答生成

仅依据证据回答的提示词

把“只按证据回答”写成可观察、可测试的提示词契约。

$ lesson --status
▸ course RAG Formation
▸ lesson 10 / 16
▸ phase 有据的回答生成
▸ status 已完成
● build → measure → learn

独立课程

在这里学习完整课程并检验你的理解。

RAG Formation 的 16 节课程内容已完成。本页包含完整课程内容、本地参考资料和可直接在浏览器中完成的即时练习。

本课的具体收获

你会写出一条带版本号的提示词规则,把如何使用证据、处理缺失事实、引用来源和决定何时拒答都说清楚。

观看讲解视频

1 · 核心技能

拿第 4 课中的一个错误或半正确答案,对照当前提示词,准确写下一条本来可以修复它的规则。

  • 有据生成:模型根据你提供的证据回答,而不是凭它原本“知道”的内容回答。
  • 指令层级:当证据稀少或相互矛盾时,系统规则和开发者规则决定模型可以做什么。
  • 提示词契约:一份可测试的规范,规定答案格式、何时拒答、如何引用,以及如何处理冲突证据。

主要阅读:OpenAI《优化 LLM 准确性》

2 · 运行证据闭环

cd demo
python3 eval.py run --mode answer --workspace meridian_demo --limit 10 --tag lesson-10-prompt-baseline

选择一个失败案例并写下:实际有哪些证据可用,模型对证据做了什么不安全的事情,你会添加哪条指令来阻止它,以及应该重新运行哪个评估类别。

提示词不能凭空创造从未检索到的来源——在责怪生成之前,先检查检索和上下文。

3 · 决策工作表

基线证据一个假设/改动指标回归检查有边界的结论
_________________________

4 · 检索练习

问题:语料库中没有你需要的事实。有据提示词应该强制模型做什么?

企业场景连接

QA 和法规读者需要短到可以真正审计的答案。提示词应该用明确、可测量的方式写出安全行为,而不是把判断留给模型自己猜。

5 · 交付物与下一步

  1. 保存命令输出或报告。
  2. 填写决策工作表。
  3. 写下一个失败案例,以及下一步要运行的检查。

交付物是一条带版本号的提示词规则,覆盖证据使用、缺失事实、引用和拒答时机。

下一步:第 11 课将讲引用设计和来源忠实度。

如果对证据、指标、失败案例或下一步尝试有疑问,尽管继续问我。 这门课我就是你的老师。