LLM 게이트웨이는 Claude Code와 모델 제공업체 간에 중앙 집중식 프록시 계층을 제공하여 다음을 제공합니다:

  • 중앙 집중식 인증 - API 키 관리를 위한 단일 지점
  • 사용량 추적 - 팀과 프로젝트 전반의 사용량 모니터링
  • 비용 제어 - 예산 및 속도 제한 구현
  • 감사 로깅 - 규정 준수를 위한 모든 모델 상호작용 추적
  • 모델 라우팅 - 코드 변경 없이 제공업체 간 전환

​
LiteLLM 구성

LiteLLM은 타사 프록시 서비스입니다. Anthropic은 LiteLLM의 보안이나 기능을 보증, 유지 관리 또는 감사하지 않습니다. 이 가이드는 정보 제공 목적으로 제공되며 구식이 될 수 있습니다. 본인의 재량에 따라 사용하세요.

​
전제 조건

  • 최신 버전으로 업데이트된 Claude Code
  • 배포되고 접근 가능한 LiteLLM Proxy Server
  • 선택한 제공업체를 통한 Claude 모델에 대한 액세스

​
기본 LiteLLM 설정

Claude Code 구성:

​
인증 방법

정적 API 키

고정 API 키를 사용하는 가장 간단한 방법:

# 환경에서 설정
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key

# 또는 Claude Code 설정에서
{
  "env": {
    "ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
  }
}

이 값은 Authorization 헤더로 전송됩니다.

헬퍼를 사용한 동적 API 키

키 순환 또는 사용자별 인증의 경우:

  1. API 키 헬퍼 스크립트 생성:
#!/bin/bash
# ~/bin/get-litellm-key.sh

# 예시: vault에서 키 가져오기
vault kv get -field=api_key secret/litellm/claude-code

# 예시: JWT 토큰 생성
jwt encode \
  --secret="${JWT_SECRET}" \
  --exp="+1h" \
  '{"user":"'${USER}'","team":"engineering"}'
  1. 헬퍼를 사용하도록 Claude Code 설정 구성:
{
  "apiKeyHelper": "~/bin/get-litellm-key.sh"
}
  1. 토큰 새로 고침 간격 설정:
# 매시간 새로 고침 (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000

이 값은 Authorization 및 X-Api-Key 헤더로 전송됩니다. apiKeyHelper는 ANTHROPIC_AUTH_TOKEN 또는 ANTHROPIC_API_KEY보다 낮은 우선순위를 가집니다.

​
통합 엔드포인트 (권장)

LiteLLM의 Anthropic 형식 엔드포인트 사용:

export ANTHROPIC_BASE_URL=https://litellm-server:4000

패스스루 엔드포인트 대비 통합 엔드포인트의 이점:

  • 로드 밸런싱
  • 폴백
  • 비용 추적 및 최종 사용자 추적에 대한 일관된 지원

​
제공업체별 패스스루 엔드포인트 (대안)

LiteLLM을 통한 Anthropic API

패스스루 엔드포인트 사용:

export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
LiteLLM을 통한 Amazon Bedrock

패스스루 엔드포인트 사용:

export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
LiteLLM을 통한 Google Vertex AI

패스스루 엔드포인트 사용:

export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5

​
모델 선택

기본적으로 모델은 모델 구성에 지정된 모델을 사용합니다.

LiteLLM에서 사용자 정의 모델 이름을 구성한 경우, 앞서 언급한 환경 변수를 해당 사용자 정의 이름으로 설정하세요.

더 자세한 정보는 LiteLLM 문서를 참조하세요.

​
추가 리소스