Gateway LLM menyediakan lapisan proxy terpusat antara Claude Code dan penyedia model, menawarkan:

  • Autentikasi terpusat - Titik tunggal untuk manajemen kunci API
  • Pelacakan penggunaan - Memantau penggunaan di seluruh tim dan proyek
  • Kontrol biaya - Menerapkan anggaran dan batas tingkat
  • Pencatatan audit - Melacak semua interaksi model untuk kepatuhan
  • Perutean model - Beralih antar penyedia tanpa perubahan kode

​
Konfigurasi LiteLLM

LiteLLM adalah layanan proxy pihak ketiga. Anthropic tidak mendukung, memelihara, atau mengaudit keamanan atau fungsionalitas LiteLLM. Panduan ini disediakan untuk tujuan informasi dan mungkin menjadi usang. Gunakan dengan kebijaksanaan Anda sendiri.

​
Prasyarat

  • Claude Code diperbarui ke versi terbaru
  • LiteLLM Proxy Server disebarkan dan dapat diakses
  • Akses ke model Claude melalui penyedia pilihan Anda

​
Pengaturan dasar LiteLLM

Konfigurasi Claude Code:

​
Metode autentikasi

Kunci API statis

Metode paling sederhana menggunakan kunci API tetap:

# Atur di environment
export ANTHROPIC_AUTH_TOKEN=sk-litellm-static-key

# Atau di pengaturan Claude Code
{
  "env": {
    "ANTHROPIC_AUTH_TOKEN": "sk-litellm-static-key"
  }
}

Nilai ini akan dikirim sebagai header Authorization.

Kunci API dinamis dengan helper

Untuk kunci yang berputar atau autentikasi per pengguna:

  1. Buat skrip helper kunci API:
#!/bin/bash
# ~/bin/get-litellm-key.sh

# Contoh: Ambil kunci dari vault
vault kv get -field=api_key secret/litellm/claude-code

# Contoh: Generate token JWT
jwt encode \
  --secret="${JWT_SECRET}" \
  --exp="+1h" \
  '{"user":"'${USER}'","team":"engineering"}'
  1. Konfigurasi pengaturan Claude Code untuk menggunakan helper:
{
  "apiKeyHelper": "~/bin/get-litellm-key.sh"
}
  1. Atur interval refresh token:
# Refresh setiap jam (3600000 ms)
export CLAUDE_CODE_API_KEY_HELPER_TTL_MS=3600000

Nilai ini akan dikirim sebagai header Authorization dan X-Api-Key. apiKeyHelper memiliki prioritas lebih rendah daripada ANTHROPIC_AUTH_TOKEN atau ANTHROPIC_API_KEY.

​
Endpoint terpadu (direkomendasikan)

Menggunakan endpoint format Anthropic LiteLLM:

export ANTHROPIC_BASE_URL=https://litellm-server:4000

Manfaat endpoint terpadu dibandingkan endpoint pass-through:

  • Load balancing
  • Fallback
  • Dukungan konsisten untuk pelacakan biaya dan pelacakan pengguna akhir

​
Endpoint pass-through spesifik penyedia (alternatif)

Anthropic API melalui LiteLLM

Menggunakan endpoint pass-through:

export ANTHROPIC_BASE_URL=https://litellm-server:4000/anthropic
Amazon Bedrock melalui LiteLLM

Menggunakan endpoint pass-through:

export ANTHROPIC_BEDROCK_BASE_URL=https://litellm-server:4000/bedrock
export CLAUDE_CODE_SKIP_BEDROCK_AUTH=1
export CLAUDE_CODE_USE_BEDROCK=1
Google Vertex AI melalui LiteLLM

Menggunakan endpoint pass-through:

export ANTHROPIC_VERTEX_BASE_URL=https://litellm-server:4000/vertex_ai/v1
export ANTHROPIC_VERTEX_PROJECT_ID=your-gcp-project-id
export CLAUDE_CODE_SKIP_VERTEX_AUTH=1
export CLAUDE_CODE_USE_VERTEX=1
export CLOUD_ML_REGION=us-east5

​
Pemilihan model

Secara default, model akan menggunakan yang ditentukan dalam Konfigurasi model.

Jika Anda telah mengkonfigurasi nama model kustom di LiteLLM, atur variabel environment yang disebutkan di atas ke nama kustom tersebut.

Untuk informasi lebih detail, lihat dokumentasi LiteLLM.

​
Sumber daya tambahan