Penggunaan tool yang efisien token
Claude Sonnet 3.7 mampu memanggil tool dengan cara yang efisien token. Permintaan menghemat rata-rata 14% token output, hingga 70%, yang juga mengurangi latensi. Pengurangan token yang tepat dan peningkatan latensi bergantung pada bentuk dan ukuran respons secara keseluruhan.
Penggunaan tool yang efisien token adalah fitur beta. Pastikan untuk mengevaluasi respons Anda sebelum menggunakannya dalam produksi.
Silakan gunakan formulir ini untuk memberikan umpan balik tentang kualitas respons model, API itu sendiri, atau kualitas dokumentasi—kami tidak sabar mendengar dari Anda!
Jika Anda memilih untuk bereksperimen dengan fitur ini, kami merekomendasikan menggunakan Prompt Improver di Console untuk meningkatkan prompt Anda.
Penggunaan tool yang efisien token saat ini tidak bekerja dengan disable_parallel_tool_use
.
Model Claude 4 (Opus 4.1, Opus 4, dan Sonnet 4) tidak mendukung fitur ini. Header beta token-efficient-tools-2025-02-19
tidak akan merusak permintaan API, tetapi akan menghasilkan no-op.
Untuk menggunakan fitur beta ini, cukup tambahkan header beta token-efficient-tools-2025-02-19
ke permintaan penggunaan tool. Jika Anda menggunakan SDK, pastikan bahwa Anda menggunakan SDK beta dengan anthropic.beta.messages
.
Berikut adalah contoh cara menggunakan tool yang efisien token dengan API:
Permintaan di atas seharusnya, rata-rata, menggunakan lebih sedikit token input dan output daripada permintaan normal. Untuk mengonfirmasi ini, coba buat permintaan yang sama tetapi hapus token-efficient-tools-2025-02-19
dari daftar header beta.
Untuk mempertahankan manfaat prompt caching, gunakan header beta secara konsisten untuk permintaan yang ingin Anda cache. Jika Anda menggunakannya secara selektif, prompt caching akan gagal.