Keuntungan:
- Memahami bagaimana RAG mengurangi halusinasi dengan menghubungkan dan merujuk jawaban pada dokumen aktual institusi dan menerapkan pentingnya basis dokumen yang bersih
- Kemampuan untuk memeriksa sumber, tanggal dan mata uang keluaran RAG dan membedakan versi yang bertentangan
- Kemampuan untuk melindungi privasi perusahaan dengan mencegah tanggapan dari dokumen yang tidak sah dengan kontrol akses
Ingatan suatu organisasi tersimpan dalam ribuan dokumen yang tersebar: laporan, manual, notulensi, prosedur, email. Seorang karyawan mungkin mencari dokumen selama berjam-jam untuk menjawab pertanyaan sederhana (“bagaimana cara kerja prosedur ini?”). Impian manajer pengetahuan adalah agar ingatan ini memberikan jawaban langsung namun berdasarkan sumber terhadap pertanyaan. Inilah yang dijanjikan RAG. Pada unit ini Anda akan mempelajari apa itu RAG, cara menggunakannya dalam pengelolaan informasi perusahaan, dan cara mengamankannya dari segi akurasi, kerahasiaan, dan ketepatan waktu.
Mari kita definisikan konsepnya. RAG (Retrieval-Augmented Generation) adalah saat AI menjawab pertanyaan dengan terlebih dahulu menemukan (mengambil) bagian yang relevan dari dokumentasi milik organisasi dan kemudian menghasilkan jawaban hanya berdasarkan bagian tersebut. Hal ini pada dasarnya berbeda dari AI pada umumnya yang menghasilkan jawaban dari memori: RAG menghubungkan dan mencari jawaban ke dokumen nyata yang dapat dilacak. Dengan demikian halusinasi sangat berkurang karena AI berbicara dari dokumen institusi, bukan dari “kepalanya”.
Langkah demi langkah: memahami sistem RAG perusahaan
1. Siapkan dasar dokumen. Dokumen organisasi yang andal dan terkini dikumpulkan, dibersihkan, dan dibagi menjadi beberapa bagian (bagian kecil yang bermakna dari sebuah dokumen). Jika dokumen jelek, kadaluwarsa, atau bertentangan masuk ke dalam sistem, maka responsnya akan buruk: “sampah masuk, sampah keluar.”
2. Sematkan dan indeks. Setiap potongan diubah menjadi vektor (penyematan) yang mewakili maknanya dan dimasukkan ke dalam indeks yang dapat dicari. Ketika sebuah pertanyaan muncul, sistem menemukan bagian yang paling mendekati maknanya.
3. Bawalah bagian-bagian yang relevan. Ketika sebuah pertanyaan diajukan, sistem mengambil beberapa bagian yang paling relevan dari basis dokumen. Langkah ini sangat penting: jika bagian yang dimasukkan salah, jawabannya juga akan salah.
4. Menghasilkan respons berbasis sumber. AI menghasilkan respons hanya berdasarkan fragmen yang diambil dan menunjukkan dari dokumen mana ia diambil. Jawaban yang tidak menyebutkan sumbernya bertentangan dengan tujuan RAG.
5. Verifikasi dan laporkan kembali. Pengguna harus dapat membuka sumber yang ditampilkan dan mengonfirmasi jawabannya. Jawaban yang salah atau tidak lengkap menjadi umpan balik untuk memperbaiki basis dokumentasi.
Tip: Kualitas RAG sangat bergantung pada kualitas basis dokumen. Perbarui dokumen, singkirkan versi yang bertentangan/ketinggalan zaman, dan tambahkan informasi tanggal dan asal ke setiap dokumen sebelum memasukkannya ke dalam sistem. 500 dokumen yang terorganisasi dengan baik menghasilkan jawaban yang lebih baik daripada 5.000 dokumen yang tersebar.
Perbatasan dan titik keamanan RAG
RAG mengurangi halusinasi tetapi tidak mengatur ulangnya. Jika sistem mengembalikan bagian yang salah, AI mungkin masih memberikan jawaban yang salah dengan tetap “setia” pada bagian yang salah tersebut. Selain itu, AI mungkin salah menafsirkan potongan yang diambil atau menggabungkan beberapa potongan dengan cara yang bertentangan. Oleh karena itu, keluaran RAG juga harus diverifikasi dengan mendatangi sumbernya, terutama untuk keputusan-keputusan penting.
Privasi adalah isu sentral dalam RAG perusahaan. Basis dokumen mungkin berisi informasi sensitif (personil, kontrak, strategi). Sistem tidak boleh menghasilkan respons dari dokumen yang tidak diizinkan oleh pengguna; Kontrol akses (siapa yang dapat melihat dokumen mana) juga harus diterapkan pada RAG. Jika tidak, seorang karyawan dapat mengakses informasi melalui RAG yang tidak dapat dilihatnya.
Perhatian: Sekalipun mengutip suatu dokumen, RAG tidak menjamin bahwa dokumen tersebut mutakhir dan akurat. Sistem mungkin merespons dari dokumen prosedur lama dari tiga tahun lalu. Pengguna dan pengelola informasi bertanggung jawab untuk memeriksa tanggal dan validitas dokumen sumber.
tiga kasus mini
Kasus 1 - Pertanyaan prosedural dipercepat. Sebuah organisasi membuat sistem RAG untuk manual prosedur internal setebal 1.200 halaman. Pertanyaan "bagaimana melakukan ini" dari karyawan diselesaikan dalam hitungan detik dengan jawaban yang menunjukkan sumbernya; Rata-rata durasi panggilan menurun dari 25 menit menjadi 2 menit. Karena setiap tanggapan terkait dengan bagian dokumentasi yang menjadi dasarnya, karyawan dapat memverifikasinya.
Kasus 2 — Dokumen lama diambil. Sistem RAG menjawab pertanyaan prosedur perizinan dari dokumen lama tertanggal 2021; Namun, versi terbaru dirilis pada tahun 2024. Karyawan yang membuka tautan sumber menyadari bahwa tanggalnya sudah usang dan menemukan dokumen yang diperbarui. Manajer informasi menghapus versi lama dari basis dokumen.
Kasus 3 — Akses tidak sah dicegah. Pada pengaturan awal, RAG memindai semua dokumen secara publik; seorang karyawan menerima tanggapan dari dokumen penggajian yang tidak seharusnya dia lihat. Tim menambahkan kontrol akses ke RAG: sistem sekarang hanya menghasilkan respons dari dokumen yang diotorisasi oleh pengguna.
Evaluasi, umpan balik dan perbaikan berkelanjutan
Sistem RAG bukanlah alat yang dipasang sekali dan dilupakan; Hal ini memerlukan evaluasi dan perbaikan terus-menerus. Dasarnya adalah pengukuran teratur atas jawaban sistem terhadap pertanyaan nyata. Ada dua pertanyaan penting: apakah sistem mengambil potongan dokumen yang benar (kualitas akses) dan apakah sistem menghasilkan respons yang benar dari potongan dokumen yang diambil (kualitas produksi)? Kedua lapisan ini perlu dievaluasi secara terpisah; Karena membawa dokumen yang benar dan salah mengartikannya serta membawa dokumen yang salah dan mentransfernya dengan setia adalah masalah yang berbeda dan memerlukan solusi yang berbeda. Praktik yang baik adalah menyimpan serangkaian "pertanyaan uji" dengan jawaban benar yang diketahui dan menguji sistem dengan kumpulan ini pada setiap pembaruan. Selain itu, umpan balik pengguna "apakah jawaban ini bermanfaat/apakah sumbernya akurat" mengungkapkan kesenjangan dalam basis dokumen dan bagian yang diambil secara salah. AI dapat membantu mengumpulkan masukan ini dan merangkum jenis pertanyaan yang paling sering gagal; Namun keputusan tentang dokumen mana yang akan ditambahkan, diperbarui, atau dihapus adalah milik manajer informasi. Sistem ini memerlukan perawatan seperti organisme hidup; RAG yang terabaikan menjadi semakin menyesatkan karena dokumentasi yang semakin menua seiring berjalannya waktu.
Tip: Segera setelah Anda menyiapkan sistem RAG, siapkan satu set tes kecil yang terdiri dari 20-30 pertanyaan nyata dan jawaban benar yang diketahui. Menjalankan kumpulan ini dengan setiap pembaruan dokumen secara instan menunjukkan apakah suatu perubahan memperbaiki atau merusak sistem.
Empat templat yang dapat disalin
1) Prompt respons berbasis sumber:
Peran Anda: asisten informasi perusahaan. Di bawah ini adalah dokumentasi yang muncul terkait pertanyaan tersebut. Berikan jawaban HANYA berdasarkan bagian-bagian ini dan nyatakan dari dokumen/bagian mana setiap bagian informasi tersebut berasal. Jika tidak ada jawaban di bagian tersebut, katakan “informasi ini tidak termasuk dalam dokumen yang disediakan”, jangan menebak-nebak. Pertanyaan: [di sini] / Bagian: [di sini]
2) Kontradiksi dan pengendalian mata uang:
Apakah ada kontradiksi atau versi tanggal yang berbeda antara potongan-potongan berikut? Jika ya, tandai dan tunjukkan mana yang terlihat lebih mutakhir. Bagian (dengan tanggal): [di sini]
3) Audit pembersihan basis dokumen:
Pada daftar dokumen di bawah ini, apakah ada dokumen yang kadaluwarsa, bertentangan, atau tidak jelas asal usulnya yang perlu disortir sebelum dimasukkan ke dalam sistem RAG? Centang dan tulis alasannya. Daftar (dengan tanggal/sumber): [di sini]
4) Pra-kontrol privasi dan akses:
Apakah potongan dokumen berikut berisi informasi sensitif (data pribadi, perjanjian rahasia, strategi)? Klasifikasikan masing-masing sebagai "akses publik/terbatas" dan berikan justifikasinya. Trek: [di sini]
Perintah lemah / Perintah kuat
Perintah yang lemah:
Jelaskan prosedur perizinan institusi kami.
Jika tidak ada dokumentasi yang diberikan, AI membuat prosedur yang dibuat-buat dari ingatan umumnya atau dari implementasi institusi lain; Hal ini mungkin tidak relevan dengan peraturan institusi yang sebenarnya.
Perintah yang kuat:
Peran Anda: asisten informasi perusahaan. Di bawah ini adalah potongan dokumen (beserta tanggalnya) mengenai tata cara perizinan lembaga tersebut. Jawablah pertanyaan berdasarkan bagian ini saja, dengan mengutip dokumen sumber dan tanggal pada setiap langkah. Jika ada bagian yang bertentangan, gunakan yang terbaru dan katakan demikian. Jika tidak ada dalam dokumen, katakan "tidak ada informasi". Pertanyaan: [di sini] / Bagian: [di sini]
Perintah yang kuat; menghubungkan jawaban dengan dokumen institusi yang sebenarnya, menanyakan sumber dan tanggal, dan dengan jujur menjawab kontradiksi dan kesenjangan.
Komponen RAG dan tabel risiko
komponen
Fungsi
Risiko utama
Jaminan
Basis dokumen
Sumber jawabannya
Dokumen kedaluwarsa/bertentangan
Kebersihan, sejarah, asal usul
Pengambilan
Temukan bagian yang relevan
bagian yang salah
Pengujian kualitas, umpan balik
Produksi
Membalas
komentar yang salah
Sumber mengutip, verifikasi
Kontrol akses
Pemeriksaan otoritas
pengungkapan yang tidak sah
Pembatasan berbasis pengguna
Kesalahan umum
- Membangun basis dokumen yang kotor. Dokumen yang kadaluwarsa/bertentangan menghasilkan respons yang buruk.
- Menerima jawaban tanpa menyebutkan sumbernya. Tujuan RAG adalah ketertelusuran.
- Tidak memeriksa tanggal dokumen. Jawaban yang dianggap diperbarui berasal dari versi lama.
- Melewati kontrol akses. Orang yang tidak berwenang mengakses informasi sensitif.
- Berpikir bahwa RAG sepenuhnya kebal terhadap halusinasi. Bagian yang salah tetap menghasilkan jawaban yang salah.
Singkatnya
RAG menghasilkan nilai besar dalam manajemen pengetahuan dengan mengubah memori organisasi menjadi sistem responsif berbasis sumber daya; Tidak seperti AI pada umumnya, AI ini menghubungkan dan mengambil jawaban dari dokumen aktual organisasi, sehingga mengurangi halusinasi secara signifikan. Namun kesuksesan bergantung pada basis dokumentasi yang bersih dan terkini, akses jalur yang akurat, atribusi sumber, pemeriksaan tanggal/kekinian, dan kontrol akses. RAG tidak mengatur ulang halusinasinya; Jawaban kritis diverifikasi dengan mendatangi sumbernya dan kerahasiaan dihormati sejak awal.
Tugas aplikasi
Siapkan satu set kecil dokumen (5-8 dokumen aktual atau contoh dokumen agensi, dengan tanggal); Secara sadar memasukkan satu versi lama dan satu versi terkini yang bertentangan. Ajukan pertanyaan dengan templat “Permintaan respons berbasis sumber” dan periksa apakah AI mengutip sumbernya. Kemudian evaluasi apakah AI mendeteksi konflik dan versi saat ini dengan benar menggunakan templat "Konflik dan pemeriksaan versi saat ini".
daftar periksa
- [ ] Saya memperbarui basis dokumen, menyingkirkan dokumen lama/yang bertentangan.
- [ ] Saya memastikan bahwa setiap jawaban menunjuk pada dokumen sumber.
- [ ] Saya memeriksa tanggal dan validitas dokumen sumber.
- [ ] Saya mencegah pembuatan tanggapan dari dokumen yang tidak sah dengan kontrol akses.
- [ ] Saya memverifikasi tanggapan kritis dengan membuka dokumen aslinya.