Panduan ini menjelaskan cara memanfaatkan kemampuan percakapan canggih Claude untuk menangani pertanyaan pelanggan secara real-time, menyediakan dukungan 24/7, mengurangi waktu tunggu, dan mengelola volume dukungan tinggi dengan respons yang akurat dan interaksi yang positif.
Memutuskan apakah akan menggunakan Claude untuk chat dukungan
Berikut adalah beberapa indikator utama bahwa Anda harus menggunakan LLM seperti Claude untuk mengotomatisasi bagian dari proses dukungan pelanggan Anda:
Volume tinggi pertanyaan berulang
Claude unggul dalam menangani sejumlah besar pertanyaan serupa secara efisien, membebaskan agen manusia untuk masalah yang lebih kompleks.
Kebutuhan untuk sintesis informasi yang cepat
Claude dapat dengan cepat mengambil, memproses, dan menggabungkan informasi dari basis pengetahuan yang luas, sementara agen manusia mungkin memerlukan waktu untuk meneliti atau berkonsultasi dengan berbagai sumber.
Kebutuhan ketersediaan 24/7
Claude dapat memberikan dukungan sepanjang waktu tanpa kelelahan, sedangkan menyediakan staf agen manusia untuk cakupan berkelanjutan bisa mahal dan menantang.
Penskalaan cepat selama periode puncak
Claude dapat menangani peningkatan mendadak dalam volume pertanyaan tanpa perlu merekrut dan melatih staf tambahan.
Suara merek yang konsisten
Anda dapat menginstruksikan Claude untuk secara konsisten mewakili nada dan nilai merek Anda, sedangkan agen manusia mungkin bervariasi dalam gaya komunikasi mereka.
Beberapa pertimbangan untuk memilih Claude daripada LLM lain:
Anda mengutamakan percakapan yang alami dan bernuansa: Pemahaman bahasa canggih Claude memungkinkan percakapan yang lebih alami dan sadar konteks yang terasa lebih mirip manusia daripada chat dengan LLM lain.
Anda sering menerima pertanyaan yang kompleks dan terbuka: Claude dapat menangani berbagai topik dan pertanyaan tanpa menghasilkan respons kaleng atau memerlukan pemrograman ekstensif dari permutasi ucapan pengguna.
Anda memerlukan dukungan multibahasa yang dapat diskalakan: Kemampuan multibahasa Claude memungkinkannya terlibat dalam percakapan dalam lebih dari 200 bahasa tanpa perlu chatbot terpisah atau proses terjemahan ekstensif untuk setiap bahasa yang didukung.
Garis besar interaksi pelanggan ideal untuk menentukan bagaimana dan kapan Anda mengharapkan pelanggan berinteraksi dengan Claude. Garis besar ini akan membantu menentukan persyaratan teknis solusi Anda.Berikut adalah contoh interaksi chat untuk dukungan pelanggan asuransi mobil:
Pelanggan: Memulai pengalaman chat dukungan
Claude: Menyapa pelanggan dengan hangat dan memulai percakapan
Pelanggan: Bertanya tentang asuransi untuk mobil listrik baru mereka
Claude: Memberikan informasi relevan tentang cakupan kendaraan listrik
Pelanggan: Mengajukan pertanyaan terkait kebutuhan unik untuk asuransi kendaraan listrik
Claude: Merespons dengan jawaban yang akurat dan informatif serta memberikan tautan ke sumber
Pelanggan: Mengajukan pertanyaan di luar topik yang tidak terkait dengan asuransi atau mobil
Claude: Mengklarifikasi bahwa tidak membahas topik yang tidak terkait dan mengarahkan pengguna kembali ke asuransi mobil
Pelanggan: Menyatakan minat pada kutipan asuransi
Claude: Mengajukan serangkaian pertanyaan untuk menentukan kutipan yang sesuai, beradaptasi dengan respons mereka
Claude: Mengirim permintaan untuk menggunakan alat API generasi kutipan bersama dengan informasi yang diperlukan yang dikumpulkan dari pengguna
Claude: Menerima informasi respons dari penggunaan alat API, mensintesis informasi menjadi respons alami, dan menyajikan kutipan yang diberikan kepada pengguna
Pelanggan: Mengajukan pertanyaan lanjutan
Claude: Menjawab pertanyaan lanjutan sesuai kebutuhan
Claude: Memandu pelanggan ke langkah selanjutnya dalam proses asuransi dan menutup percakapan
Dalam contoh nyata yang Anda tulis untuk kasus penggunaan Anda sendiri, Anda mungkin merasa berguna untuk menuliskan kata-kata sebenarnya dalam interaksi ini sehingga Anda juga bisa merasakan nada ideal, panjang respons, dan tingkat detail yang Anda inginkan Claude miliki.
Chat dukungan pelanggan adalah kumpulan dari berbagai tugas yang berbeda, dari menjawab pertanyaan hingga pengambilan informasi hingga mengambil tindakan atas permintaan, yang dibungkus dalam satu interaksi pelanggan. Sebelum Anda mulai membangun, pecah interaksi pelanggan ideal Anda menjadi setiap tugas yang Anda inginkan Claude dapat lakukan. Ini memastikan Anda dapat meminta dan mengevaluasi Claude untuk setiap tugas, dan memberi Anda gambaran yang baik tentang rentang interaksi yang perlu Anda perhitungkan saat menulis kasus uji.
Pelanggan terkadang merasa terbantu untuk memvisualisasikan ini sebagai flowchart interaksi dari titik infleksi percakapan yang mungkin tergantung pada permintaan pengguna.
Berikut adalah tugas-tugas utama yang terkait dengan contoh interaksi asuransi di atas:
Salam dan panduan umum
Menyapa pelanggan dengan hangat dan memulai percakapan
Memberikan informasi umum tentang perusahaan dan interaksi
Informasi Produk
Memberikan informasi tentang cakupan kendaraan listrik
Ini akan memerlukan Claude memiliki informasi yang diperlukan dalam konteksnya, dan mungkin menyiratkan bahwa integrasi RAG diperlukan.
Menjawab pertanyaan terkait kebutuhan asuransi kendaraan listrik yang unik
Menjawab pertanyaan lanjutan tentang kutipan atau detail asuransi
Menawarkan tautan ke sumber saat sesuai
Manajemen Percakapan
Tetap pada topik (asuransi mobil)
Mengarahkan pertanyaan di luar topik kembali ke subjek yang relevan
Generasi Kutipan
Mengajukan pertanyaan yang sesuai untuk menentukan kelayakan kutipan
Menyesuaikan pertanyaan berdasarkan respons pelanggan
Mengirimkan informasi yang dikumpulkan ke API generasi kutipan
Menyajikan kutipan yang diberikan kepada pelanggan
Bekerja dengan tim dukungan Anda untuk menentukan kriteria keberhasilan yang jelas dan menulis evaluasi terperinci dengan tolok ukur dan tujuan yang dapat diukur.Berikut adalah kriteria dan tolok ukur yang dapat digunakan untuk mengevaluasi seberapa berhasil Claude melakukan tugas-tugas yang didefinisikan:
Akurasi pemahaman pertanyaan
Metrik ini mengevaluasi seberapa akurat Claude memahami pertanyaan pelanggan di berbagai topik. Ukur ini dengan meninjau sampel percakapan dan menilai apakah Claude memiliki interpretasi yang benar tentang niat pelanggan, langkah selanjutnya yang kritis, seperti apa resolusi yang berhasil, dan lainnya. Targetkan akurasi pemahaman 95% atau lebih tinggi.
Relevansi respons
Ini menilai seberapa baik respons Claude menangani pertanyaan atau masalah spesifik pelanggan. Evaluasi serangkaian percakapan dan beri peringkat relevansi setiap respons (menggunakan penilaian berbasis LLM untuk skala). Targetkan skor relevansi 90% atau lebih.
Akurasi respons
Menilai kebenaran informasi umum perusahaan dan produk yang diberikan kepada pengguna, berdasarkan informasi yang diberikan kepada Claude dalam konteks. Targetkan akurasi 100% dalam informasi pengantar ini.
Relevansi penyediaan kutipan
Lacak frekuensi dan relevansi tautan atau sumber yang ditawarkan. Targetkan penyediaan sumber yang relevan dalam 80% interaksi di mana informasi tambahan bisa bermanfaat.
Kepatuhan topik
Ukur seberapa baik Claude tetap pada topik, seperti topik asuransi mobil dalam contoh implementasi kami. Targetkan 95% respons untuk secara langsung terkait dengan asuransi mobil atau pertanyaan spesifik pelanggan.
Efektivitas generasi konten
Ukur seberapa berhasil Claude dalam menentukan kapan harus menghasilkan konten informasional dan seberapa relevan konten tersebut. Misalnya, dalam implementasi kami, kami akan menentukan seberapa baik Claude memahami kapan harus menghasilkan kutipan dan seberapa akurat kutipan tersebut. Targetkan akurasi 100%, karena ini adalah informasi vital untuk interaksi pelanggan yang berhasil.
Efisiensi eskalasi
Ini mengukur kemampuan Claude untuk mengenali kapan pertanyaan memerlukan intervensi manusia dan melakukan eskalasi dengan tepat. Lacak persentase percakapan yang dieskalasi dengan benar versus yang seharusnya dieskalasi tetapi tidak. Targetkan akurasi eskalasi 95% atau lebih tinggi.
Berikut adalah kriteria dan tolok ukur yang dapat digunakan untuk mengevaluasi dampak bisnis dari menggunakan Claude untuk dukungan:
Pemeliharaan sentimen
Ini menilai kemampuan Claude untuk mempertahankan atau meningkatkan sentimen pelanggan sepanjang percakapan. Gunakan alat analisis sentimen untuk mengukur sentimen di awal dan akhir setiap percakapan. Targetkan sentimen yang dipertahankan atau ditingkatkan dalam 90% interaksi.
Tingkat defleksi
Persentase pertanyaan pelanggan yang berhasil ditangani oleh chatbot tanpa intervensi manusia. Biasanya targetkan tingkat defleksi 70-80%, tergantung pada kompleksitas pertanyaan.
Skor kepuasan pelanggan
Ukuran seberapa puas pelanggan dengan interaksi chatbot mereka. Biasanya dilakukan melalui survei pasca-interaksi. Targetkan skor CSAT 4 dari 5 atau lebih tinggi.
Waktu penanganan rata-rata
Waktu rata-rata yang dibutuhkan chatbot untuk menyelesaikan pertanyaan. Ini sangat bervariasi berdasarkan kompleksitas masalah, tetapi umumnya, targetkan AHT yang lebih rendah dibandingkan dengan agen manusia.
Pilihan model tergantung pada trade-off antara biaya, akurasi, dan waktu respons.Untuk chat dukungan pelanggan, claude-opus-4-1-20250805 sangat cocok untuk menyeimbangkan kecerdasan, latensi, dan biaya. Namun, untuk instance di mana Anda memiliki alur percakapan dengan beberapa prompt termasuk RAG, penggunaan alat, dan/atau prompt konteks panjang, claude-3-haiku-20240307 mungkin lebih cocok untuk mengoptimalkan latensi.
Menggunakan Claude untuk dukungan pelanggan memerlukan Claude memiliki arahan dan konteks yang cukup untuk merespons dengan tepat, sambil memiliki fleksibilitas yang cukup untuk menangani berbagai pertanyaan pelanggan.Mari kita mulai dengan menulis elemen-elemen prompt yang kuat, dimulai dengan prompt sistem:
Copy
IDENTITY = """You are Eva, a friendly and knowledgeable AI assistant for Acme Insurance Company. Your role is to warmly welcome customers and provide information on Acme's insurance offerings, which include car insurance and electric car insurance. You can also help customers get quotes for their insurance needs."""
Meskipun Anda mungkin tergoda untuk memasukkan semua informasi Anda ke dalam prompt sistem sebagai cara untuk memisahkan instruksi dari percakapan pengguna, Claude sebenarnya bekerja paling baik dengan sebagian besar konten promptnya ditulis di dalam giliran User pertama (dengan satu-satunya pengecualian adalah prompting peran). Baca lebih lanjut di Memberikan Claude peran dengan prompt sistem.
Yang terbaik adalah memecah prompt kompleks menjadi subseksi dan menulis satu bagian pada satu waktu. Untuk setiap tugas, Anda mungkin menemukan keberhasilan yang lebih besar dengan mengikuti proses langkah demi langkah untuk menentukan bagian-bagian prompt yang Claude perlukan untuk melakukan tugas dengan baik. Untuk contoh dukungan pelanggan asuransi mobil ini, kami akan menulis secara bertahap semua bagian untuk prompt yang dimulai dengan tugas “Salam dan panduan umum”. Ini juga membuat debugging prompt Anda lebih mudah karena Anda dapat dengan lebih cepat menyesuaikan bagian individual dari prompt keseluruhan.Kami akan memasukkan semua bagian ini dalam file yang disebut config.py.
Copy
STATIC_GREETINGS_AND_GENERAL = """<static_context>Acme Auto Insurance: Your Trusted Companion on the RoadAbout:At Acme Insurance, we understand that your vehicle is more than just a mode of transportation—it's your ticket to life's adventures. Since 1985, we've been crafting auto insurance policies that give drivers the confidence to explore, commute, and travel with peace of mind.Whether you're navigating city streets or embarking on cross-country road trips, Acme is there to protect you and your vehicle. Our innovative auto insurance policies are designed to adapt to your unique needs, covering everything from fender benders to major collisions.With Acme's award-winning customer service and swift claim resolution, you can focus on the joy of driving while we handle the rest. We're not just an insurance provider—we're your co-pilot in life's journeys.Choose Acme Auto Insurance and experience the assurance that comes with superior coverage and genuine care. Because at Acme, we don't just insure your car—we fuel your adventures on the open road.Note: We also offer specialized coverage for electric vehicles, ensuring that drivers of all car types can benefit from our protection.Acme Insurance offers the following products:- Car insurance- Electric car insurance- Two-wheeler insuranceBusiness hours: Monday-Friday, 9 AM - 5 PM ESTCustomer service number: 1-800-123-4567</static_context>"""
Kami kemudian akan melakukan hal yang sama untuk informasi asuransi mobil dan asuransi mobil listrik kami.
Copy
STATIC_CAR_INSURANCE="""<static_context>Car Insurance Coverage:Acme's car insurance policies typically cover:1. Liability coverage: Pays for bodily injury and property damage you cause to others.2. Collision coverage: Pays for damage to your car in an accident.3. Comprehensive coverage: Pays for damage to your car from non-collision incidents.4. Medical payments coverage: Pays for medical expenses after an accident.5. Uninsured/underinsured motorist coverage: Protects you if you're hit by a driver with insufficient insurance.Optional coverages include:- Rental car reimbursement- Roadside assistance- New car replacement</static_context>"""STATIC_ELECTRIC_CAR_INSURANCE="""<static_context>Electric Car Insurance:Our specialized electric car insurance goes beyond traditional auto coverage, offering tailored protection for your high-tech investment. In addition to standard coverages, we offer:- Safeguarding expensive battery systems- Covering home charging equipment- Adapting to the rapidly evolving world of electric vehiclesWhether you're driving a Rivian, Nissan Leaf, Chevrolet Bolt, or any other electric vehicle, our knowledgeable agents are ready to craft a policy that gives you the confidence to enjoy every electron-powered mile.</static_context>"""
Sekarang setelah kita memiliki konten statis, mari tambahkan setidaknya 4-5 contoh interaksi “baik” untuk memandu respons Claude. Contoh-contoh ini harus mewakili interaksi pelanggan ideal Anda dan dapat mencakup guardrail, panggilan alat, dll.
Copy
EXAMPLES="""Here are a few examples of how you can interact with customers:<example 1>H: Hi, do you offer commercial insurance for small businesses?A: Ah! Unfortunately, we don't offer commercial insurance at this time. However, we do provide a range of personal insurance products including car insurance and electric car insurance. Would you like to know more about these offerings?</example 1><example 2>H: Hi, what are your business hours?A: Our business hours are Monday to Friday, 9 AM to 5 PM EST. If you have any questions or need assistance, feel free to reach out during those times. How else can I assist you today?</example 2><example 3>H: I'm shopping for car insurance. What does Acme offer?A: Great choice! Acme's car insurance policies typically include:- Liability coverage: Protects you if you're at fault in an accident- Collision coverage: Pays for damage to your car in an accident- Comprehensive coverage: Covers non-collision incidents like theft or vandalism- Medical payments coverage: Pays for medical expenses after an accident- Uninsured/underinsured motorist coverage: Protects you from drivers with insufficient insuranceWe also offer optional coverages like rental car reimbursement, roadside assistance, and new car replacement. Would you like more details on any of these coverages, or do you have specific questions about insuring your vehicle?</example 3><example 4>H: I'd like to hear about your electric car insurance.A: Certainly! Our electric car insurance is specially designed to meet the unique needs of electric vehicle owners. In addition to all the standard coverages we offer for regular cars, our electric car policies include:- Battery coverage: Protection against damage or degradation of your vehicle's expensive battery system- Tech package: Covers repairs or replacement of advanced electronics and onboard computer systems- Charging station coverage: Protects both home and portable charging equipment- Cybersecurity protection: Coverage against hacking or digital threats- Specialized roadside assistance: Includes flatbed towing to protect the vehicle's undercarriageWe cover a wide range of electric vehicles, including popular models from Tesla, Rivian, Nissan, Chevrolet, and more. Is there a specific electric vehicle you're looking to insure, or would you like more details on any of these coverages?</example 4><example 5>H: I'd like to get a quote for my car insurance.A: Certainly! I'd be happy to help you get a quote for your car insurance. To provide you with an accurate quote, I'll need to collect some information about your vehicle and the primary driver. Let's start with the basics:1. What is the make and model of your vehicle?2. What year was it manufactured?3. Approximately how many miles have you driven?4. What is the age of the primary driver?Once you provide this information, I'll use our quoting tool to generate a personalized insurance quote for you.</example 5>"""
Anda juga akan ingin menyertakan instruksi penting yang menguraikan Do’s dan Don’ts untuk bagaimana Claude harus berinteraksi dengan pelanggan.
Ini mungkin berasal dari guardrail merek atau kebijakan dukungan.
Copy
ADDITIONAL_GUARDRAILS = """Please adhere to the following guardrails:1. Only provide information about insurance types listed in our offerings.2. If asked about an insurance type we don't offer, politely state that we don't provide that service.3. Do not speculate about future product offerings or company plans.4. Don't make promises or enter into agreements it's not authorized to make.You only provide information and guidance.5. Do not mention any competitor's products or services."""
Sekarang mari gabungkan semua bagian ini menjadi satu string untuk digunakan sebagai prompt kita.
Tambahkan kemampuan dinamis dan agentik dengan penggunaan alat
Claude mampu mengambil tindakan dan mengambil informasi secara dinamis menggunakan fungsionalitas penggunaan alat sisi klien. Mulai dengan mencantumkan alat atau API eksternal apa pun yang harus digunakan prompt.Untuk contoh ini, kita akan mulai dengan satu alat untuk menghitung kutipan.
Sebagai pengingat, alat ini tidak akan melakukan perhitungan sebenarnya, ini hanya akan memberi sinyal kepada aplikasi bahwa alat harus digunakan dengan argumen apa pun yang ditentukan.
Contoh kalkulator kutipan asuransi:
Copy
TOOLS = [{ "name": "get_quote", "description": "Calculate the insurance quote based on user input. Returned value is per month premium.", "input_schema": { "type": "object", "properties": { "make": {"type": "string", "description": "The make of the vehicle."}, "model": {"type": "string", "description": "The model of the vehicle."}, "year": {"type": "integer", "description": "The year the vehicle was manufactured."}, "mileage": {"type": "integer", "description": "The mileage on the vehicle."}, "driver_age": {"type": "integer", "description": "The age of the primary driver."} }, "required": ["make", "model", "year", "mileage", "driver_age"] }}]def get_quote(make, model, year, mileage, driver_age): """Returns the premium per month in USD""" # You can call an http endpoint or a database to get the quote. # Here, we simulate a delay of 1 seconds and return a fixed quote of 100. time.sleep(1) return 100
Sulit untuk mengetahui seberapa baik prompt Anda bekerja tanpa mendeploynya dalam pengaturan produksi uji dan menjalankan evaluasi jadi mari kita bangun aplikasi kecil menggunakan prompt kita, Anthropic SDK, dan streamlit untuk antarmuka pengguna.Dalam file yang disebut chatbot.py, mulai dengan menyiapkan kelas ChatBot, yang akan merangkum interaksi dengan Anthropic SDK.Kelas harus memiliki dua metode utama: generate_message dan process_user_input.
Uji deploy kode ini dengan Streamlit menggunakan metode utama. Fungsi main() ini menyiapkan antarmuka chat berbasis Streamlit.Kami akan melakukan ini dalam file yang disebut app.py
Copy
import streamlit as stfrom chatbot import ChatBotfrom config import TASK_SPECIFIC_INSTRUCTIONSdef main(): st.title("Chat with Eva, Acme Insurance Company's Assistant🤖") if "messages" not in st.session_state: st.session_state.messages = [ {'role': "user", "content": TASK_SPECIFIC_INSTRUCTIONS}, {'role': "assistant", "content": "Understood"}, ] chatbot = ChatBot(st.session_state) # Display user and assistant messages skipping the first two for message in st.session_state.messages[2:]: # ignore tool use blocks if isinstance(message["content"], str): with st.chat_message(message["role"]): st.markdown(message["content"]) if user_msg := st.chat_input("Type your message here..."): st.chat_message("user").markdown(user_msg) with st.chat_message("assistant"): with st.spinner("Eva is thinking..."): response_placeholder = st.empty() full_response = chatbot.process_user_input(user_msg) response_placeholder.markdown(full_response)if __name__ == "__main__": main()
Prompting sering memerlukan pengujian dan optimisasi agar siap produksi. Untuk menentukan kesiapan solusi Anda, evaluasi kinerja chatbot menggunakan proses sistematis yang menggabungkan metode kuantitatif dan kualitatif. Membuat evaluasi empiris yang kuat berdasarkan kriteria keberhasilan yang Anda tentukan akan memungkinkan Anda mengoptimalkan prompt Anda.
Claude Console sekarang menampilkan alat Evaluasi yang memungkinkan Anda menguji prompt Anda dalam berbagai skenario.
Dalam skenario kompleks, mungkin membantu untuk mempertimbangkan strategi tambahan untuk meningkatkan kinerja di luar teknik rekayasa prompt standar & strategi implementasi guardrail. Berikut adalah beberapa skenario umum:
Ketika berhadapan dengan sejumlah besar konteks statis dan dinamis, termasuk semua informasi dalam prompt dapat menyebabkan biaya tinggi, waktu respons yang lebih lambat, dan mencapai batas jendela konteks. Dalam skenario ini, mengimplementasikan teknik Retrieval Augmented Generation (RAG) dapat secara signifikan meningkatkan kinerja dan efisiensi.Dengan menggunakan model embedding seperti Voyage untuk mengonversi informasi menjadi representasi vektor, Anda dapat membuat sistem yang lebih dapat diskalakan dan responsif. Pendekatan ini memungkinkan pengambilan informasi yang relevan secara dinamis berdasarkan kueri saat ini, daripada menyertakan semua konteks yang mungkin dalam setiap prompt.Mengimplementasikan RAG untuk kasus penggunaan dukungan resep RAG telah terbukti meningkatkan akurasi, mengurangi waktu respons, dan mengurangi biaya API dalam sistem dengan persyaratan konteks yang ekstensif.
Integrasikan data real-time dengan penggunaan alat
Ketika berhadapan dengan kueri yang memerlukan informasi real-time, seperti saldo akun atau detail kebijakan, pendekatan RAG berbasis embedding tidak cukup. Sebaliknya, Anda dapat memanfaatkan penggunaan alat untuk secara signifikan meningkatkan kemampuan chatbot Anda untuk memberikan respons real-time yang akurat. Misalnya, Anda dapat menggunakan penggunaan alat untuk mencari informasi pelanggan, mengambil detail pesanan, dan membatalkan pesanan atas nama pelanggan.Pendekatan ini, yang diuraikan dalam resep penggunaan alat: agen layanan pelanggan kami, memungkinkan Anda mengintegrasikan data langsung dengan mulus ke dalam respons Claude dan memberikan pengalaman pelanggan yang lebih personal dan efisien.
Ketika mendeploykan chatbot, terutama dalam skenario layanan pelanggan, sangat penting untuk mencegah risiko yang terkait dengan penyalahgunaan, kueri di luar cakupan, dan respons yang tidak pantas. Meskipun Claude secara inheren tahan terhadap skenario seperti itu, berikut adalah langkah tambahan untuk memperkuat guardrail chatbot Anda:
Kurangi halusinasi: Implementasikan mekanisme fact-checking dan kutipan untuk mendasarkan respons pada informasi yang diberikan.
Periksa silang informasi: Verifikasi bahwa respons agen selaras dengan kebijakan perusahaan Anda dan fakta yang diketahui.
Hindari komitmen kontraktual: Pastikan agen tidak membuat janji atau masuk ke dalam perjanjian yang tidak berwenang untuk dibuat.
Mitigasi jailbreak: Gunakan metode seperti layar harmlessness dan validasi input untuk mencegah pengguna mengeksploitasi kerentanan model, yang bertujuan untuk menghasilkan konten yang tidak pantas.
Hindari menyebut pesaing: Implementasikan filter penyebutan pesaing untuk mempertahankan fokus merek dan tidak menyebut produk atau layanan pesaing mana pun.
Jaga Claude tetap dalam karakter: Cegah Claude mengubah gaya atau konteks mereka, bahkan selama interaksi yang panjang dan kompleks.
Hapus Informasi Identitas Pribadi (PII): Kecuali secara eksplisit diperlukan dan diotorisasi, hapus PII apa pun dari respons.
Kurangi waktu respons yang dirasakan dengan streaming
Ketika berhadapan dengan respons yang berpotensi panjang, mengimplementasikan streaming dapat secara signifikan meningkatkan keterlibatan dan kepuasan pengguna. Dalam skenario ini, pengguna menerima jawaban secara progresif alih-alih menunggu seluruh respons dihasilkan.Berikut cara mengimplementasikan streaming:
Siapkan frontend Anda untuk menangani potongan teks yang masuk.
Tampilkan setiap potongan saat tiba, mensimulasikan pengetikan real-time.
Implementasikan mekanisme untuk menyimpan respons penuh, memungkinkan pengguna melihatnya jika mereka menavigasi pergi dan kembali.
Dalam beberapa kasus, streaming memungkinkan penggunaan model yang lebih canggih dengan latensi dasar yang lebih tinggi, karena tampilan progresif mengurangi dampak waktu pemrosesan yang lebih lama.
Seiring kompleksitas Chatbot Anda tumbuh, arsitektur aplikasi Anda dapat berkembang untuk menyesuaikan. Sebelum Anda menambahkan lapisan lebih lanjut ke arsitektur Anda, pertimbangkan opsi yang kurang exhaustive berikut:
Pastikan bahwa Anda memanfaatkan prompt Anda secara maksimal dan mengoptimalkan melalui rekayasa prompt. Gunakan panduan rekayasa prompt kami untuk menulis prompt yang paling efektif.
Tambahkan alat tambahan ke prompt (yang dapat mencakup rantai prompt) dan lihat apakah Anda dapat mencapai fungsionalitas yang diperlukan.
Jika Chatbot Anda menangani tugas yang sangat bervariasi, Anda mungkin ingin mempertimbangkan menambahkan pengklasifikasi niat terpisah untuk merutekan kueri pelanggan awal. Untuk aplikasi yang ada, ini akan melibatkan pembuatan pohon keputusan yang akan merutekan kueri pelanggan melalui pengklasifikasi dan kemudian ke percakapan khusus (dengan set alat dan prompt sistem mereka sendiri). Perhatikan, metode ini memerlukan panggilan tambahan ke Claude yang dapat meningkatkan latensi.
Integrasikan Claude ke dalam alur kerja dukungan Anda
Meskipun contoh kami telah berfokus pada fungsi Python yang dapat dipanggil dalam lingkungan Streamlit, mendeploykan Claude untuk chatbot dukungan real-time memerlukan layanan API.Berikut cara Anda dapat mendekati ini:
Buat pembungkus API: Kembangkan pembungkus API sederhana di sekitar fungsi klasifikasi Anda. Misalnya, Anda dapat menggunakan Flask API atau Fast API untuk membungkus kode Anda menjadi Layanan HTTP. Layanan HTTP Anda dapat menerima input pengguna dan mengembalikan respons Asisten secara keseluruhan. Dengan demikian, layanan Anda dapat memiliki karakteristik berikut:
Server-Sent Events (SSE): SSE memungkinkan streaming respons real-time dari server ke klien. Ini sangat penting untuk memberikan pengalaman yang mulus dan interaktif saat bekerja dengan LLM.
Caching: Mengimplementasikan caching dapat secara signifikan meningkatkan waktu respons dan mengurangi panggilan API yang tidak perlu.
Retensi konteks: Mempertahankan konteks ketika pengguna menavigasi pergi dan kembali penting untuk kontinuitas dalam percakapan.
Bangun antarmuka web: Implementasikan UI web yang ramah pengguna untuk berinteraksi dengan agen yang didukung Claude.