Keuntungan:
- Fahami cara RAG mengurangkan halusinasi dengan menghubungkan dan merujuk jawapan kepada dokumen sebenar institusi dan menerapkan kepentingan asas dokumen yang bersih
- Keupayaan untuk menyemak sumber, tarikh dan mata wang keluaran RAG dan membezakan versi yang bercanggah
- Keupayaan untuk melindungi privasi korporat dengan menghalang respons daripada dokumen yang tidak dibenarkan dengan kawalan akses
Ingatan organisasi hidup dalam beribu-ribu dokumen yang tersebar: laporan, manual, minit, prosedur, e-mel. Seorang pekerja boleh mencari dokumen selama berjam-jam untuk menjawab soalan mudah (“bagaimana prosedur ini berfungsi?”). Impian pengurus pengetahuan adalah untuk ingatan ini memberikan jawapan langsung tetapi berasaskan sumber kepada soalan. Inilah yang dijanjikan RAG. Dalam unit ini anda akan mempelajari apa itu RAG, cara menggunakannya dalam pengurusan maklumat perusahaan, dan cara mengamankannya dari segi ketepatan, kerahsiaan dan ketepatan masa.
Mari kita tentukan konsepnya. RAG (Retrieval-Augmented Generation) ialah apabila AI menjawab soalan dengan mencari (mendapatkan semula) bahagian yang relevan daripada dokumentasi organisasi sendiri dan kemudian menjana jawapan berdasarkan bahagian tersebut semata-mata. Ini pada asasnya berbeza daripada AI umum yang menjana jawapan daripada ingatan: RAG memaut dan sumber jawapan kepada dokumen sebenar yang boleh dikesan. Oleh itu halusinasi sangat berkurangan kerana AI bercakap dari dokumen institusi, bukan dari "kepala"nya.
Langkah demi langkah: memahami sistem RAG perusahaan
1. Sediakan pangkalan dokumen. Dokumen organisasi yang boleh dipercayai dan terkini dikumpul, dibersihkan dan dibahagikan kepada ketulan (bahagian kecil dokumen yang bermakna). Jika dokumen lapuk, lapuk atau bercanggah memasuki sistem, respons akan menjadi buruk: "sampah masuk, sampah keluar."
2. Benamkan dan indeks. Setiap ketulan ditukar menjadi vektor (pembenaman) yang mewakili maksudnya dan dimasukkan ke dalam indeks yang boleh dicari. Apabila soalan timbul, sistem mencari bahagian yang paling hampir dengan makna.
3. Bawa bahagian yang berkaitan. Apabila soalan ditanya, sistem mengeluarkan beberapa bahagian yang paling relevan dari pangkalan dokumen. Langkah ini adalah kritikal: jika bahagian yang salah dibawa masuk, jawapannya juga akan menjadi salah.
4. Menjana respons berasaskan sumber. AI menjana respons berdasarkan serpihan yang diambil dan menunjukkan dokumen mana yang diambilnya. Respons yang tidak menyebut sumbernya adalah bertentangan dengan tujuan RAG.
5. Sahkan dan laporkan semula. Pengguna seharusnya boleh pergi ke sumber yang ditunjukkan dan mengesahkan jawapannya. Jawapan yang salah atau tidak lengkap menjadi maklum balas untuk menambah baik asas dokumentasi.
Petua: Kualiti RAG sebahagian besarnya bergantung pada kualiti pangkalan dokumen. Kemas kini dokumen, hapuskan versi yang bercanggah/lapuk, dan tambah maklumat tarikh dan asal pada setiap dokumen sebelum memasukkannya ke dalam sistem. 500 dokumen yang teratur menghasilkan jawapan yang lebih baik daripada 5,000 dokumen yang berselerak.
Sempadan dan titik keselamatan RAG
RAG mengurangkan halusinasi tetapi tidak menetapkannya semula. Jika sistem mengembalikan bahagian yang salah, AI mungkin masih memberikan jawapan yang salah dengan kekal "setia" kepada bahagian yang salah itu. Selain itu, AI mungkin salah tafsir kepingan yang diambil atau menggabungkan berbilang bahagian dalam cara yang bercanggah. Oleh itu, output RAG juga harus disahkan dengan pergi ke sumber, terutamanya untuk keputusan kritikal.
Privasi ialah isu utama dalam RAG korporat. Pangkalan dokumen mungkin mengandungi maklumat sensitif (kakitangan, kontrak, strategi). Sistem tidak seharusnya menjana respons daripada dokumen yang tidak dibenarkan oleh pengguna; Kawalan capaian (yang boleh melihat dokumen mana) juga harus digunakan pada RAG. Jika tidak, pekerja boleh mengakses maklumat melalui RAG yang tidak dapat dilihatnya.
Perhatian: Walaupun apabila memetik dokumen, RAG tidak menjamin bahawa dokumen tersebut adalah terkini dan tepat. Sistem mungkin bertindak balas daripada dokumen prosedur lama dari tiga tahun lalu. Adalah menjadi tanggungjawab pengguna dan pengurus maklumat untuk menyemak tarikh dan kesahihan dokumen sumber.
tiga kes mini
Kes 1 — Soalan prosedur dipercepatkan. Satu organisasi menubuhkan sistem RAG untuk manual prosedur dalaman setebal 1,200 muka surat. Soalan "bagaimana melakukan ini" pekerja telah diselesaikan dalam beberapa saat dengan jawapan menunjukkan sumber; Purata tempoh panggilan berkurangan daripada 25 minit kepada 2 minit. Oleh kerana setiap respons dipautkan ke bahagian dokumentasi yang menjadi asasnya, pekerja dapat mengesahkannya.
Kes 2 — Dokumen lama ditangkap. Sistem RAG menjawab soalan prosedur permit daripada dokumen lama bertarikh 2021; Walau bagaimanapun, versi yang dikemas kini telah dikeluarkan pada tahun 2024. Pekerja yang membuka pautan sumber menyedari bahawa tarikh itu sudah lapuk dan menemui dokumen yang dikemas kini. Pengurus maklumat mengalih keluar versi lama daripada pangkalan dokumen.
Kes 3 — Akses tanpa kebenaran dihalang. Dalam persediaan awal, RAG mengimbas semua dokumen secara terbuka; seorang pekerja menerima jawapan daripada dokumen gaji yang tidak sepatutnya dilihatnya. Pasukan itu menambah kawalan akses kepada RAG: sistem kini hanya menjana respons daripada dokumen yang dibenarkan oleh pengguna.
Penilaian, maklum balas dan penambahbaikan berterusan
Sistem RAG bukanlah alat untuk dipasang sekali dan dilupakan; Ia memerlukan penilaian dan penambahbaikan yang berterusan. Asas untuk ini adalah pengukuran tetap jawapan sistem kepada soalan sebenar. Dua soalan adalah kritikal: adakah sistem mengambil kepingan dokumen yang betul (kualiti akses) dan adakah ia menghasilkan respons yang betul daripada kepingan yang diambil (kualiti pengeluaran)? Ia adalah perlu untuk menilai kedua-dua lapisan ini secara berasingan; Kerana membawa dokumen yang betul dan salah tafsir dan membawa dokumen yang salah dan memindahkannya dengan jujur adalah masalah yang berbeza dan memerlukan penyelesaian yang berbeza. Amalan yang baik ialah menyimpan satu set "soalan ujian" dengan jawapan betul yang diketahui dan menguji sistem dengan set ini pada setiap kemas kini. Selain itu, maklum balas pengguna "adakah jawapan ini membantu / adakah sumbernya tepat" mendedahkan kedua-dua jurang dalam pangkalan dokumen dan bahagian yang diambil secara salah. AI boleh membantu mengagregat maklum balas ini dan meringkaskan jenis soalan yang paling kerap gagal; Tetapi keputusan tentang dokumen yang hendak ditambah, dikemas kini atau dialih keluar adalah milik pengurus maklumat. Sistem ini memerlukan penjagaan seperti organisma hidup; RAG yang diabaikan menjadi semakin mengelirukan disebabkan dokumentasi yang semakin tua dari semasa ke semasa.
Petua: Sebaik sahaja anda menyediakan sistem RAG, sediakan set ujian kecil 20-30 soalan sebenar dan jawapan betul yang diketahui. Menjalankan set ini dengan setiap kemas kini dokumen serta-merta menunjukkan sama ada perubahan menambah baik atau merosakkan sistem.
Empat templat yang boleh disalin
1) Gesaan respons berasaskan sumber:
Peranan anda: pembantu maklumat korporat. Di bawah adalah kepingan dokumentasi yang dikemukakan mengenai soalan itu. Berikan jawapan berdasarkan bahagian ini SAHAJA dan nyatakan dokumen/kepingan mana untuk setiap maklumat itu. Jika tiada jawapan di bahagian, sebut "maklumat ini tidak termasuk dalam dokumen yang disediakan", jangan meneka. Soalan: [di sini] / Bahagian: [di sini]
2) Percanggahan dan kawalan mata wang:
Adakah terdapat sebarang percanggahan atau versi bertarikh berbeza antara bahagian berikut? Jika ya, tandakannya dan nyatakan yang mana satu kelihatan lebih terkini. Bahagian (dengan tarikh): [di sini]
3) Audit pembersihan pangkalan dokumen:
Dalam senarai dokumen di bawah, adakah terdapat dokumen lapuk, bercanggah atau dokumen asal yang tidak pasti yang perlu diselesaikan sebelum dimasukkan ke dalam sistem RAG? Tandakan dan tulis mengapa. Senarai (dengan tarikh/sumber): [di sini]
4) Privasi dan akses pra-kawalan:
Adakah serpihan dokumen berikut mengandungi maklumat sensitif (data peribadi, perjanjian sulit, strategi)? Kelaskan setiap satu sebagai "akses awam/terhad" dan berikan justifikasi. Lagu: [di sini]
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Terangkan prosedur permit institusi kami.
Jika tiada dokumentasi diberikan, AI menghasilkan prosedur yang dibuat daripada ingatan amnya atau daripada pelaksanaan institusi lain; Ia mungkin tidak relevan dengan peraturan sebenar institusi.
Gesaan kuat:
Peranan anda: pembantu maklumat korporat. Di bawah adalah kepingan dokumen (dengan tarikhnya) mengenai prosedur permit institusi. Jawab soalan berdasarkan bahagian ini sahaja, memetik dokumen sumber dan tarikh pada setiap langkah. Jika bahagian bercanggah, gunakan bahagian yang paling terkini dan katakan demikian. Jika tiada dalam dokumen, sebut "tiada maklumat". Soalan: [di sini] / Bahagian: [di sini]
Gesaan yang kuat; memautkan jawapan kepada dokumen institusi sebenar, meminta sumber dan tarikh, dan secara jujur menangani percanggahan dan jurang.
Komponen RAG dan jadual risiko
komponen
Fungsi
Risiko utama
Jaminan
Pangkalan dokumen
Sumber jawapan
Dokumen lapuk/bercanggah
Kebersihan, sejarah, asal usul
Pengambilan semula
Cari bahagian yang berkaitan
salah sekeping
Ujian kualiti, maklum balas
Pengeluaran
Balas
salah komen
Petikan sumber, pengesahan
Kawalan capaian
Semakan kuasa
pendedahan yang tidak dibenarkan
Sekatan berasaskan pengguna
Kesilapan biasa
- Mewujudkan pangkalan dokumen yang kotor. Dokumen lapuk/bercanggah menghasilkan tindak balas yang tidak baik.
- Menerima jawapan tanpa memetik sumber. Tujuan RAG adalah kebolehkesanan.
- Tidak menyemak tarikh dokumen. Jawapan yang difikirkan untuk dikemas kini datang daripada versi lama.
- Melangkaui kawalan akses. Orang yang tidak dibenarkan mengakses maklumat sensitif.
- Berfikir bahawa RAG benar-benar kebal terhadap halusinasi. Bahagian yang salah tetap menghasilkan jawapan yang salah.
Secara ringkasnya
RAG menghasilkan nilai besar dalam pengurusan pengetahuan dengan mengubah ingatan organisasi menjadi sistem responsif berasaskan sumber; Tidak seperti AI umum, ia memautkan dan sumber jawapan kepada dokumen sebenar organisasi, sekali gus mengurangkan halusinasi dengan ketara. Tetapi kejayaan bergantung pada pangkalan dokumentasi yang bersih dan terkini, akses trek yang tepat, atribusi sumber, semakan tarikh/kekinian dan kawalan akses. RAG tidak menetapkan semula halusinasi; Jawapan kritikal disahkan dengan pergi ke sumber dan kerahsiaan dihormati dari awal lagi.
Tugasan permohonan
Sediakan satu set kecil dokumen (5-8 dokumen sebenar atau sampel agensi, dengan tarikh); Sedar masukkan satu versi lama dan satu versi bercanggah semasa. Tanya soalan dengan templat "Gesaan respons berasaskan sumber" dan semak sama ada AI memetik sumbernya. Kemudian nilaikan sama ada AI mengesan konflik dan versi semasa dengan betul dengan templat "Konflik dan semakan versi semasa".
senarai semak
- [ ] Saya mengemas kini pangkalan dokumen, menyingkirkan dokumen lama/bercanggah.
- [ ] Saya memastikan setiap jawapan menunjuk kepada dokumen sumber.
- [ ] Saya menyemak tarikh dan kesahihan dokumen sumber.
- [ ] Saya menghalang penjanaan respons daripada dokumen yang tidak dibenarkan dengan kawalan akses.
- [ ] Saya mengesahkan respons kritikal dengan pergi ke dokumen asal.