Kunjungi buku resep ringkasan kami untuk melihat contoh implementasi ringkasan hukum menggunakan Claude.
Sebelum membangun dengan Claude
Tentukan apakah akan menggunakan Claude untuk ringkasan hukum
Berikut adalah beberapa indikator kunci bahwa Anda harus menggunakan LLM seperti Claude untuk merangkum dokumen hukum:Anda ingin meninjau volume tinggi dokumen secara efisien dan terjangkau
Anda ingin meninjau volume tinggi dokumen secara efisien dan terjangkau
Anda memerlukan ekstraksi otomatis metadata kunci
Anda memerlukan ekstraksi otomatis metadata kunci
Anda ingin menghasilkan ringkasan yang jelas, ringkas, dan terstandar
Anda ingin menghasilkan ringkasan yang jelas, ringkas, dan terstandar
Anda memerlukan kutipan yang tepat untuk ringkasan Anda
Anda memerlukan kutipan yang tepat untuk ringkasan Anda
Anda ingin menyederhanakan dan mempercepat proses penelitian hukum Anda
Anda ingin menyederhanakan dan mempercepat proses penelitian hukum Anda
Tentukan detail yang ingin diekstrak ringkasan
Tidak ada ringkasan tunggal yang benar untuk dokumen apa pun. Tanpa arahan yang jelas, dapat sulit bagi Claude untuk menentukan detail mana yang akan disertakan. Untuk mencapai hasil optimal, identifikasi informasi spesifik yang ingin Anda sertakan dalam ringkasan. Misalnya, ketika merangkum perjanjian sub-sewa, Anda mungkin ingin mengekstrak poin-poin kunci berikut:Tetapkan kriteria kesuksesan
Mengevaluasi kualitas ringkasan adalah tugas yang terkenal menantang. Tidak seperti banyak tugas pemrosesan bahasa alami lainnya, evaluasi ringkasan sering kali kekurangan metrik objektif yang jelas. Prosesnya dapat sangat subjektif, dengan pembaca yang berbeda menghargai aspek berbeda dari ringkasan. Berikut adalah kriteria yang mungkin ingin Anda pertimbangkan saat menilai seberapa baik Claude melakukan ringkasan hukum.Kebenaran faktual
Kebenaran faktual
Presisi hukum
Presisi hukum
Keringkasan
Keringkasan
Konsistensi
Konsistensi
Keterbacaan
Keterbacaan
Bias dan keadilan
Bias dan keadilan
Cara merangkum dokumen hukum menggunakan Claude
Pilih model Claude yang tepat
Akurasi model sangat penting ketika merangkum dokumen hukum. Claude Sonnet 4.5 adalah pilihan yang sangat baik untuk kasus penggunaan seperti ini di mana akurasi tinggi diperlukan. Jika ukuran dan jumlah dokumen Anda besar sehingga biaya mulai menjadi perhatian, Anda juga dapat mencoba menggunakan model yang lebih kecil seperti Claude Haiku 4.5. Untuk membantu memperkirakan biaya ini, di bawah ini adalah perbandingan biaya untuk merangkum 1.000 perjanjian sub-sewa menggunakan Sonnet dan Haiku:-
Ukuran konten
- Jumlah perjanjian: 1.000
- Karakter per perjanjian: 300.000
- Total karakter: 300M
-
Token yang diperkirakan
- Token input: 86M (dengan asumsi 1 token per 3,5 karakter)
- Token output per ringkasan: 350
- Total token output: 350.000
-
Biaya Claude Sonnet 4.5 yang diperkirakan
- Biaya token input: 86 MTok * $3.00/MTok = $258
- Biaya token output: 0,35 MTok * $15.00/MTok = $5.25
- Total biaya: $258.00 + $5.25 = $263.25
-
Biaya Claude Haiku 3 yang diperkirakan
- Biaya token input: 86 MTok * $0.25/MTok = $21.50
- Biaya token output: 0,35 MTok * $1.25/MTok = $0.44
- Total biaya: $21.50 + $0.44 = $21.96
Ubah dokumen menjadi format yang dapat diproses Claude
Sebelum Anda mulai merangkum dokumen, Anda perlu menyiapkan data Anda. Ini melibatkan ekstraksi teks dari PDF, pembersihan teks, dan memastikan siap diproses oleh Claude. Berikut adalah demonstrasi proses ini pada pdf sampel:Bangun prompt yang kuat
Claude dapat beradaptasi dengan berbagai gaya ringkasan. Anda dapat mengubah detail prompt untuk memandu Claude agar lebih atau kurang verbose, menyertakan lebih atau kurang terminologi teknis, atau memberikan ringkasan tingkat lebih tinggi atau lebih rendah dari konteks yang ada. Berikut adalah contoh cara membuat prompt yang memastikan ringkasan yang dihasilkan mengikuti struktur yang konsisten saat menganalisis perjanjian sub-sewa:summarize_document yang menggunakan Claude untuk merangkum konten perjanjian sub-sewa. Fungsi menerima string teks dan daftar detail untuk diekstrak sebagai input. Dalam contoh ini, kami memanggil fungsi dengan variabel document_text dan details_to_extract yang didefinisikan dalam cuplikan kode sebelumnya.
Dalam fungsi, prompt dihasilkan untuk Claude, termasuk dokumen yang akan dirangkum, detail untuk diekstrak, dan instruksi spesifik untuk merangkum dokumen. Prompt menginstruksikan Claude untuk merespons dengan ringkasan setiap detail untuk diekstrak bersarang dalam header XML.
Karena kami memutuskan untuk mengeluarkan setiap bagian ringkasan dalam tag, setiap bagian dapat dengan mudah diurai sebagai langkah pasca-pemrosesan. Pendekatan ini memungkinkan ringkasan terstruktur yang dapat disesuaikan untuk kasus penggunaan Anda, sehingga setiap ringkasan mengikuti pola yang sama.
Evaluasi prompt Anda
Prompting sering kali memerlukan pengujian dan optimasi agar siap produksi. Untuk menentukan kesiapan solusi Anda, evaluasi kualitas ringkasan Anda menggunakan proses sistematis yang menggabungkan metode kuantitatif dan kualitatif. Membuat evaluasi empiris yang kuat berdasarkan kriteria kesuksesan yang ditentukan akan memungkinkan Anda mengoptimalkan prompt Anda. Berikut adalah beberapa metrik yang mungkin ingin Anda sertakan dalam evaluasi empiris Anda:Skor ROUGE
Skor ROUGE
Skor BLEU
Skor BLEU
Kesamaan embedding kontekstual
Kesamaan embedding kontekstual
Penilaian berbasis LLM
Penilaian berbasis LLM
Evaluasi manusia
Evaluasi manusia
Terapkan prompt Anda
Berikut adalah beberapa pertimbangan tambahan yang perlu diingat saat Anda menerapkan solusi Anda ke produksi.- Pastikan tidak ada tanggung jawab: Pahami implikasi hukum dari kesalahan dalam ringkasan, yang dapat menyebabkan tanggung jawab hukum bagi organisasi atau klien Anda. Berikan penafian atau pemberitahuan hukum yang menjelaskan bahwa ringkasan dihasilkan oleh AI dan harus ditinjau oleh para profesional hukum.
- Tangani berbagai jenis dokumen: Dalam panduan ini, kami telah membahas cara mengekstrak teks dari PDF. Di dunia nyata, dokumen mungkin datang dalam berbagai format (PDF, dokumen Word, file teks, dll.). Pastikan pipeline ekstraksi data Anda dapat mengonversi semua format file yang Anda harapkan untuk diterima.
- Paralelkan panggilan API ke Claude: Dokumen panjang dengan jumlah token besar mungkin memerlukan waktu hingga satu menit bagi Claude untuk menghasilkan ringkasan. Untuk koleksi dokumen besar, Anda mungkin ingin mengirim panggilan API ke Claude secara paralel sehingga ringkasan dapat diselesaikan dalam kerangka waktu yang wajar. Lihat batas laju Anthropic untuk menentukan jumlah maksimum panggilan API yang dapat dilakukan secara paralel.
Tingkatkan kinerja
Dalam skenario kompleks, mungkin membantu untuk mempertimbangkan strategi tambahan untuk meningkatkan kinerja di luar teknik rekayasa prompt standar. Berikut adalah beberapa strategi lanjutan:Lakukan meta-ringkasan untuk merangkum dokumen panjang
Ringkasan hukum sering melibatkan penanganan dokumen panjang atau banyak dokumen terkait sekaligus, sehingga Anda melampaui jendela konteks Claude. Anda dapat menggunakan metode chunking yang dikenal sebagai meta-ringkasan untuk menangani kasus penggunaan ini. Teknik ini melibatkan pemecahan dokumen menjadi potongan yang lebih kecil dan dapat dikelola dan kemudian memproses setiap potongan secara terpisah. Anda kemudian dapat menggabungkan ringkasan setiap potongan untuk membuat meta-ringkasan dari seluruh dokumen. Berikut adalah contoh cara melakukan meta-ringkasan:summarize_long_document dibangun di atas fungsi summarize_document sebelumnya dengan membagi dokumen menjadi potongan yang lebih kecil dan merangkum setiap potongan secara individual.
Kode mencapai ini dengan menerapkan fungsi summarize_document ke setiap potongan 20.000 karakter dalam dokumen asli. Ringkasan individual kemudian digabungkan, dan ringkasan akhir dibuat dari ringkasan potongan ini.
Perhatikan bahwa fungsi summarize_long_document tidak benar-benar diperlukan untuk pdf contoh kami, karena seluruh dokumen sesuai dengan jendela konteks Claude. Namun, ini menjadi penting untuk dokumen yang melebihi jendela konteks Claude atau ketika merangkum beberapa dokumen terkait bersama-sama. Terlepas dari itu, teknik meta-ringkasan ini sering menangkap detail penting tambahan dalam ringkasan akhir yang terlewatkan dalam pendekatan ringkasan tunggal sebelumnya.
Gunakan dokumen yang diindeks ringkasan untuk menjelajahi koleksi dokumen besar
Mencari koleksi dokumen dengan LLM biasanya melibatkan retrieval-augmented generation (RAG). Namun, dalam skenario yang melibatkan dokumen besar atau ketika pengambilan informasi yang tepat sangat penting, pendekatan RAG dasar mungkin tidak cukup. Dokumen yang diindeks ringkasan adalah pendekatan RAG lanjutan yang menyediakan cara yang lebih efisien untuk menentukan peringkat dokumen untuk pengambilan, menggunakan konteks lebih sedikit daripada metode RAG tradisional. Dalam pendekatan ini, Anda pertama-tama menggunakan Claude untuk menghasilkan ringkasan ringkas untuk setiap dokumen dalam corpus Anda, dan kemudian menggunakan Claude untuk menentukan peringkat relevansi setiap ringkasan terhadap pertanyaan yang diajukan. Untuk detail lebih lanjut tentang pendekatan ini, termasuk contoh berbasis kode, lihat bagian dokumen yang diindeks ringkasan dalam buku resep ringkasan.Fine-tune Claude untuk belajar dari dataset Anda
Teknik lanjutan lainnya untuk meningkatkan kemampuan Claude menghasilkan ringkasan adalah fine-tuning. Fine-tuning melibatkan pelatihan Claude pada dataset khusus yang secara khusus selaras dengan kebutuhan ringkasan hukum Anda, memastikan bahwa Claude beradaptasi dengan kasus penggunaan Anda. Berikut adalah gambaran umum tentang cara melakukan fine-tuning:- Identifikasi kesalahan: Mulai dengan mengumpulkan contoh di mana ringkasan Claude kurang - ini dapat mencakup detail hukum kritis yang hilang, salah memahami konteks, atau menggunakan terminologi hukum yang tidak tepat.
- Kurasi dataset: Setelah Anda mengidentifikasi masalah ini, kompilasi dataset contoh bermasalah ini. Dataset ini harus mencakup dokumen hukum asli bersama dengan ringkasan yang dikoreksi, memastikan bahwa Claude mempelajari perilaku yang diinginkan.
- Lakukan fine-tuning: Fine-tuning melibatkan pelatihan ulang model pada dataset yang dikurasi untuk menyesuaikan bobot dan parameternya. Pelatihan ulang ini membantu Claude lebih memahami persyaratan spesifik domain hukum Anda, meningkatkan kemampuannya untuk merangkum dokumen sesuai dengan standar Anda.
- Peningkatan iteratif: Fine-tuning bukan proses satu kali. Saat Claude terus menghasilkan ringkasan, Anda dapat secara iteratif menambahkan contoh baru di mana kinerjanya kurang, lebih lanjut menyempurnakan kemampuannya. Seiring waktu, loop umpan balik berkelanjutan ini akan menghasilkan model yang sangat khusus untuk tugas ringkasan hukum Anda.