即使是像 Claude 这样最先进的语言模型,有时也会生成与给定上下文不符或事实不正确的文本。这种现象被称为”幻觉”,可能会降低您的 AI 驱动解决方案的可靠性。 本指南将探讨最小化幻觉并确保 Claude 输出准确可信的技术。

基本幻觉最小化策略

  • 允许 Claude 说”我不知道”: 明确给予 Claude 承认不确定性的许可。这个简单的技巧可以大大减少错误信息。
角色内容
用户作为我们的并购顾问,分析这份关于 ExampleCorp 可能收购 AcmeCo 的报告。

<report>
{{REPORT}}
</report>

重点关注财务预测、整合风险和监管障碍。如果您对任何方面不确定,或者报告缺少必要信息,请说”我没有足够的信息来自信地评估这一点。”
  • 使用直接引用进行事实依据: 对于涉及长文档(>20K tokens)的任务,请先让 Claude 提取逐字引用,然后再执行其任务。这将其响应建立在实际文本的基础上,减少幻觉。
角色内容
用户作为我们的数据保护官,审查这份更新的隐私政策是否符合 GDPR 和 CCPA。
<policy>
{{POLICY}}
</policy>

1. 从政策中提取与 GDPR 和 CCPA 合规性最相关的准确引用。如果找不到相关引用,请说明”未找到相关引用。“

2. 使用这些引用来分析这些政策部分的合规性,并通过编号引用这些引用。仅基于提取的引用进行分析。
  • 通过引用验证:通过让 Claude 为其每个声明引用引文和来源,使其响应可审核。您还可以让 Claude 在生成响应后通过查找支持引用来验证每个声明。如果找不到引用,它必须撤回该声明。
角色内容
用户仅使用这些产品简介和市场报告中的信息,为我们的新网络安全产品 AcmeSecurity Pro 起草新闻稿。
<documents>
{{DOCUMENTS}}
</documents>

起草后,审查新闻稿中的每个声明。对于每个声明,从文档中找到支持它的直接引用。如果找不到支持某个声明的引用,请从新闻稿中删除该声明,并在删除处用空的 [] 括号标记。

高级技术

  • 思维链验证:要求 Claude 在给出最终答案之前逐步解释其推理过程。这可以揭示有缺陷的逻辑或假设。
  • N 次最佳验证:多次使用相同的提示运行 Claude 并比较输出。输出之间的不一致可能表明存在幻觉。
  • 迭代改进:将 Claude 的输出用作后续提示的输入,要求它验证或扩展先前的陈述。这可以捕获和纠正不一致之处。
  • 外部知识限制:明确指示 Claude 仅使用提供的文档中的信息,而不使用其一般知识。
请记住,虽然这些技术显著减少了幻觉,但并不能完全消除它们。始终验证关键信息,特别是对于高风险决策。