Claude와 같은 가장 진보된 언어 모델조차도 때때로 사실과 다르거나 주어진 맥락과 일치하지 않는 텍스트를 생성할 수 있습니다. “환각”이라고 알려진 이 현상은 AI 기반 솔루션의 신뢰성을 저해할 수 있습니다. 이 가이드에서는 환각을 최소화하고 Claude의 출력이 정확하고 신뢰할 수 있도록 하는 기술을 살펴보겠습니다.

​
기본적인 환각 최소화 전략

  • Claude가 “모르겠습니다”라고 말할 수 있게 하기: Claude가 불확실성을 인정할 수 있도록 명시적으로 허용하세요. 이 간단한 기술로 잘못된 정보를 크게 줄일 수 있습니다.
역할내용
사용자M&A 자문가로서, AcmeCo의 ExampleCorp에 의한 잠재적 인수에 대한 이 보고서를 분석해주세요.

<report>
{{REPORT}}
</report>

재무 전망, 통합 리스크, 규제 장애물에 초점을 맞춰주세요. 어떤 측면이 불확실하거나 보고서에 필요한 정보가 부족한 경우 “이를 확실히 평가하기에 충분한 정보가 없습니다”라고 말씀해주세요.
  • 사실 근거를 위해 직접 인용 사용하기: 긴 문서(>20K 토큰)와 관련된 작업의 경우, Claude에게 작업을 수행하기 전에 먼저 원문 그대로의 인용문을 추출하도록 요청하세요. 이는 실제 텍스트에 응답의 근거를 두어 환각을 줄입니다.
역할내용
사용자데이터 보호 책임자로서, 이 업데이트된 개인정보 보호정책의 GDPR 및 CCPA 준수 여부를 검토해주세요.
<policy>
{{POLICY}}
</policy>

1. GDPR 및 CCPA 준수와 가장 관련 있는 정책의 정확한 인용문을 추출하세요. 관련 인용문을 찾을 수 없는 경우 “관련 인용문을 찾을 수 없음”이라고 명시하세요.

2. 인용문을 사용하여 이러한 정책 섹션의 준수 여부를 분석하고, 번호로 인용문을 참조하세요. 추출된 인용문에만 기반하여 분석하세요.
  • 인용으로 검증하기: Claude가 각 주장에 대해 인용문과 출처를 제시하도록 하여 응답을 감사할 수 있게 만드세요. 또한 Claude가 응답을 생성한 후 각 주장에 대해 지원하는 인용문을 찾아 검증하도록 할 수 있습니다. 인용문을 찾을 수 없는 경우 해당 주장을 철회해야 합니다.
역할내용
사용자이 제품 브리프와 시장 보고서의 정보만을 사용하여 새로운 사이버보안 제품인 AcmeSecurity Pro에 대한 보도자료를 작성해주세요.
<documents>
{{DOCUMENTS}}
</documents>

작성 후, 보도자료의 각 주장을 검토하세요. 각 주장에 대해 문서에서 직접적으로 지원하는 인용문을 찾으세요. 주장을 지원하는 인용문을 찾을 수 없는 경우, 해당 주장을 보도자료에서 제거하고 제거된 위치를 빈 [] 괄호로 표시하세요.

​
고급 기술

  • 사고 체인 검증: Claude에게 최종 답변을 제시하기 전에 단계별로 추론 과정을 설명하도록 요청하세요. 이를 통해 잘못된 논리나 가정을 발견할 수 있습니다.
  • N번 최적 검증: 동일한 프롬프트로 Claude를 여러 번 실행하고 출력을 비교하세요. 출력 간의 불일치는 환각을 나타낼 수 있습니다.
  • 반복적 개선: Claude의 출력을 후속 프롬프트의 입력으로 사용하여 이전 진술을 검증하거나 확장하도록 요청하세요. 이를 통해 불일치를 포착하고 수정할 수 있습니다.
  • 외부 지식 제한: Claude에게 제공된 문서의 정보만 사용하고 일반적인 지식은 사용하지 않도록 명시적으로 지시하세요.
이러한 기술들이 환각을 크게 줄이지만, 완전히 제거하지는 못한다는 점을 기억하세요. 특히 중요한 결정을 위해서는 항상 중요한 정보를 검증하세요.