Girdeji:
- Ulanylyşyna, howpsuzlygyna, hiline we öndürijilik signallaryna gözegçilik edýän ölçegleri kesgitlemek ukyby
- Esasy we nusga alma bilen çykyş hiliniň süýşmegini kesgitlemek ukyby
- Anomaliýalar we türmeden gaçmak tolkunlary üçin duýduryş we seslenme aýlawyny düzmek ukyby
AI ulgamyny önümçilige goýmak ahyrzaman däl-de, başlangyçdyr. Model öňküligine galsa-da, dünýä üýtgeýär: ulanyjynyň özüni alyp barşy, gelýän maglumatlar, hüjüm usullary we iş konteksti hemişe üýtgeýär. Düýnki dogry jogap şu gün ýalňyş bolup biler. Şeýlelik bilen howpsuzlygyň soňky sütüni üznüksiz gözegçilik we gözegçilik etmek - ulgamyň içinde bolup geçýän zatlary daşardan görmek ukybydyr. Bu bölümde haýsy ölçeglere gözegçilik etmelidigini, önümiň hiliniň süýşmegini nädip ele almalydygyny we anomaliýalara nädip duýduryş bermelidigini öwreneris.
Näme üçin üznüksiz gözegçilik?
Nusgawy programma üpjünçiliginde "işleýärmi" ikilik sorag: ýa jogap berýär, ýa-da ýok. AI-de ulgam “işleýän” ýaly görünse-de, ýuwaşlyk bilen ýaramazlaşyp biler: jogaplar ýuwaş-ýuwaşdan nädogry bolýar, çykdajylar köpelýär, türmeden gaçmak synanyşyklary köpelýär. Bulary ele almagyň ýeke-täk usuly dogry signallary yzygiderli ölçemekdir.
Üns beriň: Iň howply näsazlyk, sesli däl-de, dymmakdyr. Ulgam ýalňyşlyklary taşlamaýar, hili peselýär. Gözegçiligi gurmasaňyz, ilki bilen üns beren adam siz däl-de, müşderiňiz ýa-da auditor bolar.
Dört sany signal maşgalasy
- Ulanylyşy we bahasy: Ulanyjy üçin göwrümi, belgi sarp edilişini, bahasyny talap ediň. Birden bökmek; Bu hyýanatçylygyň, birkemsiz birleşmegiň ýa-da syzdyryjy wyklýuçateliň alamaty bolup biler.
- Howpsuzlyk duýduryşlary: Jailbreak / sanjym synanyşyklary, ulag jaňlary ret edildi, ygtyýarnama säwlikleri. Ösüş, işjeň hüjüm kampaniýasyny görkezip biler.
- Hil we drift: Wagtyň geçmegi bilen çykyş hiliniň peselmegi (drift). Mysal üçin, tassyklamagyň geçiş derejesi, adam tassyklamasynda düzediş derejesi, ulanyjynyň kanagatlanmagy.
- Öndürijiligi: Gijä galmak, ýalňyşlyk derejesi, wagt gutarmagy. Ulanyjynyň tejribesine we bahasyna gönüden-göni täsir edýär.
Drift näme we ony nädip tutmaly?
Drift, modeliň girişleriniň ýa-da çykyşlarynyň hili wagtyň geçmegi bilen ünsden düşende. Iki görnüş bar: maglumatlaryň süýşmegi (gelýän haýyşlaryň paýlanyşy üýtgeýär - täze mowzuk, täze dil) we hiliň üýtgemegi (şol bir iş üçin çykyş kem-kemden erbetleşýär). Surata almak üçin esasy talap edilýär: ulgam sagdyn bolanda adaty ölçegleri ýazga alyň; Gyşarma duýduryş bolsun.
Stepdimme-ädim: Gözegçiligi gurmak
- Esasy ölçegi ölçäň. Ulgam sagdyn bolanda her signalyň adaty diapazonyny ýazga alyň.
- Bosagany we duýduryşy kesgitläň. Haýsy gyşarmak kime we nädip duýduryş berer?
- Nusga almak + adam barlagy. Ynsanlaryň netijeleriniň yzygiderli gözden geçirmegini üpjün ediň (hiliň üýtgemegi köplenç görünýär).
- Dolandyryş paneli guruň. Bir ekranda dört signal maşgalasyna gözegçilik ediň.
- Seslenme aýlawy. Netijeleri gözegçilikden gowulaşdyrmak / gözegçilik gowulandyrmak üçin baglanyşdyryň.
Göçürip boljak dört şablon
Hiliň nusgasyny bahalandyrmak haýyşy (LLM-kazy bilen drift yzarlamak):
Aşakda şu hepdeden 20 sany tötänleýin çap edilip bilner. Hersine "gowy / kabul ederlikli / erbet" diýip baha beriň we gysga delil ýazyň. Ahyrynda erbet stawkany geçen hepdäniň bahasy bilen deňeşdirerin; Şu hepde tapawutlanýan bir nagyş (şol bir ýalňyşlygyň gaýtalanmagy) bar bolsa, ony belläň. <outputs> {{mysallar}} </outputs>
Anomaliýa gysgaça mazmuny:
Aşakdaky gündelik ölçegleri gözden geçiriň: haýyşlaryň sany, bellikler, bahasy, gural jaňy ret edildi, türmeden gaçmak synanyşyklary, ortaça gijä galmak. Esasy ýerden 30% -den köp sowulýan islendik ölçegi "ANOMALIT" diýip belläň we bolup biläýjek sebäbine (hüjüm, näsazlyk, hyýanatçylyk) baha beriň. <metrics> {{daily_data}} </metrics>
Duýduryş çäginiň kesgitleme düzgüni:
Her signal üçin duýduryşlary kesgitläň: - Bahasy: gündelik ortaça 2x-den ýokary bolsa -> ýokary ähmiýetli duýduryş - Jailbreak synanyşyklary: sagatda 10-dan ýokary bolsa -> howpsuzlyk toparyna habar beriň- Barlag geçiş tizligi: eger 90% -den aşak düşse -> hil gözden geçirmek- Gijä galmak: p95 maksat 2x -> ýerine ýetiriş synyndan ýokary bolsa
Gözleg gözlegleri:
Barlag geçiş derejesi soňky 2 hepdede 94% -den 78% -e çenli aşaklady. Bu soraglara jogap bermäge kömek ediň: (1) Gelýän haýyşlarda täze mowzuk / dil / format peýda boldumy? (2) rorsalňyşlyklar belli bir kategoriýada jemlenendirmi? (3) Wagt möhleti çalt / model / guralyň üýtgemegine gabat gelýärmi? Her biri üçin barlanjak maglumatlaryň adyny aýdyň.
Gowşak gyssagly / güýçli teklip
çemeleşme
Güýçli çemeleşme
"Erroralňyşlyk bar bolsa göreris"
Esasy + bosagasy + işjeň duýduryş
Ulgamyň durandygyny ýa-da ýokdugyny barlamak.
Signallaryň dört maşgalasyna gözegçilik (ulanylyşy, howpsuzlygy, hili, öndürijiligi)
Çykyş hilini asla alma
Adamyň yzygiderli nusgasy + LLM-kazy
Ölçegleri ýygnamazlyk we seretmezlik
Dolandyryş paneli + seslenme aýlawy
Üç kiçi waka
1-nji hadysa - Çykdajy duýduryşy syzdyryjy açary tutdy. Bir kompaniýanyň gündelik belligi bir gije üç esse ýokarlandy. Bosagadaky duýduryş howpsuzlyk toparyna duýduryş berdi; gözleg, synag açarynyň bot tarapyndan syzandygyny we ulanylandygyny görkezdi. Açar 25 minutda ýatyryldy; Duýduryş bolmadyk bolsa, kanun taslamasy aýyň ahyrynda üns berilerdi.
2-nji hadysa - Ümsüm hiliň üýtgemegi. Goldaw kömekçisiniň tassyklama geçiş derejesi üç hepdäniň dowamynda ýuwaşlyk bilen 95% -den 80% -e çenli azaldy. Hepdelik nusga alma muny ele aldy; Munuň sebäbi, müşderileriň täze önüm çyzgysy barada sorap başlamagy we modeliň bilim bazasy doly däldi. Bilim bazasy täzelenende dikeldildi.
3-nji waka - Türmeden gaçmak tolkuny ir boldy. Kömekçä edilen sanjym synanyşyklary bir günde sagatda 2-den 40-a çenli ýokarlandy. Howpsuzlyk duýduryşy başlandy; Ulgamy döwmek üçin "resept" forumda paýlaşyldy. Topar goranyş gyssagly we nyrh çäklendirilen şübheli hasaplary täzeledi; Tolkun hakyky syzma öwrülmezden ozal öldi.
Maslahat: Diňe maşyn ölçegleri bilen ylalaşmaň. Hiliň üýtgemegi köplenç adamyň diňe nusga netijelerini okamagy bilen tutulýar. Hepdede 15-20 tötänleýin çap edilişini gözden geçirmegiň kiçijik tertibi, iň gymmat sessiz şowsuzlyklary irden alar.
Adaty ýalňyşlyklar
- Önümçilige goýmazlyk we gözegçilik gurmak ("işleýär, bolýar").
- Esasy ölçegini ölçemezden anomaliýany kesgitläp bilmezlik.
- Diňe "dik durmy" seredip hil hilini ýitirmek.
- Adamyň gözi bilen çykyş hilini asla almazlyk.
- Duýduryş galdyrmazlyk we müşderiden / gözegçiden meseläni tapmazlyk.
- Gözegçilik netijelerini gowulaşdyrmak bilen baglanyşdyrmaň (seslenme aýlawy ýok).
Gysgaça
- AI ulgamlary ýuwaşlyk bilen erbetleşip biler; Iň howply näsazlyk, ýalňyşlyklary taşlamaýan, diňe hilini peseldýän ýalňyşlykdyr.
- Signallaryň dört maşgalasyny yzarlaň: ulanylyşy / bahasy, howpsuzlygy, hili / süýşmegi we öndürijiligi.
- Drift (wagtyň geçmegi bilen giriş ýa-da çykyş hiliniň süýşmegi) diňe başlangyç bilen deňeşdirilende alynýar.
- Maşyn ölçeglerinden başga-da, adaty adam nusgalary hiliň peselmegini alýar.
- Gözegçiligi duýduryş we seslenme aýlawyna birikdiriň; Ölçemek we seretmezlik gözegçilik däl.
Programma meselesi
Öz AI ulgamyňyz üçin dört signal maşgalasynyň hersinden azyndan bir ölçeg saýlaň we häzirki (ýa-da çak edilýän) esaslaryny ýazyň. Her ölçeg üçin duýduryş çägini kesgitläň. Soňra soňky semestriň netijelerinden 15-sini alyň we ýokardaky nusga alma bilen baha beriň; “Erbet” derejä üns beriň. Geljekde drift bilen deňeşdirjek ilkinji esasyňyz bolsun.
gözegçilik sanawy
- [] Dört signal maşgalasyndan ölçegleri kesgitledim (ulanylyşy, howpsuzlygy, hili, öndürijiligi).
- [] Her ölçeg üçin esasy we duýduryş çägini belledim.
- [] Çykyş hilini adam gözleri bilen yzygiderli alýaryn.
- [] Ekran paneli bilen bir ekranda signallara gözegçilik edýärin.
- [] Duýduryş anomaliýa we türmeden gaçmak tolkunlary üçin howpsuzlyk toparyna gidýär.
- [] Gözegçilik netijelerini gyssagly / gözegçiligi gowulandyrmak bilen baglanyşdyrýaryn.