Riba:
- Ikon ayyana ma'auni masu lura da amfani, tsaro, inganci da siginonin aiki
- Ikon gano ingancin fitarwa tare da tushe da samfuri
- Ikon saita ƙararrawa da madaidaicin amsa don abubuwan rashin ƙarfi da raƙuman yantad da
Sanya tsarin AI a cikin samarwa shine farkon, ba ƙarshen ba. Ko da samfurin ya kasance iri ɗaya, duniya tana canzawa: halayen mai amfani, bayanan mai shigowa, dabarun kai hari, da mahallin kasuwanci suna canzawa koyaushe. Madaidaicin amsar jiya na iya zama kuskure a yau. Don haka ginshiƙi na ƙarshe na tsaro shine ci gaba da sa ido da lura - ikon gani daga waje abin da ke faruwa a cikin tsarin. A cikin wannan naúrar, za mu koyi ma'auni don saka idanu, yadda ake ɗaukar ɗimbin ingancin fitarwa, da yadda ake faɗakar da abubuwan da ba su da kyau.
Me yasa Ci gaba da Kulawa?
A cikin software na gargajiya, "yana aiki" tambaya ce ta binary: ko dai ta amsa ko a'a. A cikin AI, yayin da tsarin ya bayyana yana "aiki," yana iya yin shuru cikin lalacewa: amsoshi sannu a hankali sun zama ba daidai ba, farashin ya karu, yunƙurin lalata ya karu. Hanya daya tilo da za a iya kama wadannan ita ce a rika auna sigina masu kyau koyaushe.
Hankali: Mafi haɗari rashin aiki shine mai shiru, ba mai hayaniya ba. Tsarin ba ya jefa kurakurai, ingancinsa kawai yana raguwa. Idan ba ku kafa sa ido ba, mutumin da zai fara lura shine abokin cinikin ku ko mai duba, ba ku ba.
Iyalan Sigina Hudu don Kallon
- Amfani da farashi: Neman ƙara, yawan amfani da alama, farashi ga kowane mai amfani. Tsalle kwatsam; Yana iya zama alamar cin zarafi, haɗaɗɗiyar maɗaukaki, ko maɓalli.
- Alamomin tsaro: Yantadwa/yunkurin allura, an ƙi kiran abin hawa, kurakuran izini. Ƙaruwa na iya nuna yaƙin neman zaɓe.
- Quality da drift: Rage ingancin fitarwa akan lokaci (drift). Misali, ƙimar wucewar tabbatarwa, ƙimar gyarawa cikin amincewar ɗan adam, gamsuwar mai amfani.
- Aiki: Latency, ƙimar kuskure, ƙarewar lokaci. Yana shafar ƙwarewar mai amfani da farashi kai tsaye.
Menene Drift kuma Yadda ake kama shi?
Drift shine lokacin da ingancin abubuwan shigarwa ko fitarwa na samfurin ke canzawa ba tare da lura da lokaci ba. Akwai nau'ikan nau'ikan guda biyu: rarrabuwar bayanai (rarrabuwar buƙatun masu shigowa suna canzawa - sabon jigo, sabon harshe) da ɗimbin inganci (fitarwa don aiki ɗaya a hankali yana ƙara muni). Ana buƙatar tushen tushe don kamawa: yin rikodin ma'auni na al'ada lokacin da tsarin ke da lafiya; Bari karkacewar ta zama ƙararrawa.
Mataki-mataki: Saita Kulawa
- Auna tushen tushe. Yi rikodin kewayon al'ada na kowane sigina lokacin da tsarin ke da lafiya.
- Ƙayyadadden ƙira da ƙararrawa. Wane karkata ne zai yi gargaɗin wa kuma ta yaya?
- Samfurin + Binciken ɗan adam. A sa ɗan adam ya sake duba samfurin abubuwan da aka fitar akai-akai (sau da yawa ana ganin ƙwanƙwasa inganci kawai).
- Shigar da dashboard. Kula da iyalai huɗu na sigina akan allo ɗaya.
- Madauki na martani. Ɗaure binciken daga sa ido zuwa haɓakawa da sauri/sarrafawa.
Samfura guda huɗu masu Kwafi
Ƙimar ƙima mai inganci (bibiya tare da LLM-as-alkali):
A ƙasa akwai abubuwan buga bazuwar 20 daga wannan makon. Ƙididdige kowane a matsayin "mai kyau / karɓa / mara kyau" kuma rubuta gajeriyar hujja. A ƙarshe zan kwatanta mummunan ƙimar da ƙimar makon da ya gabata; Idan akwai wani tsari (maimaita irin wannan kuskuren) wanda ya fito fili a wannan makon, yi masa alama.<outputs>{{ examples }}</outputs>
Anomaly taƙaitaccen faɗakarwa:
Bincika ma'auni na yau da kullun masu zuwa: adadin buƙatun, alamu, farashi, ƙirƙira kiran kayan aiki, yunƙurin fasa gidan yari, matsakaicin jinkiri. Alama kowane ma'auni wanda ya karkace fiye da 30% daga tushe a matsayin "ANOMALIT" kuma ku ƙididdige dalilin da zai yiwu ( hari, bug, zagi).<metrics>{{ daily_data }}</metrics>
Ƙa'idar ma'anar iyakar ƙararrawa:
Ƙayyade ƙararrawa ga kowane sigina: - Farashin: idan ya wuce 2x matsakaicin kullum -> babban fifikon faɗakarwa - Ƙoƙarin Jailbreak: idan ya wuce 10 a kowace awa -> sanar da ƙungiyar tsaro- Ƙimar tabbatarwa: idan ya faɗi ƙasa da 90% -> ingantaccen bita- Latency: idan p95 ya wuce manufa ta 2x -> bita na aiki
Binciken bincike mai zurfi:
Adadin izinin tabbatarwa ya ragu daga 94% zuwa 78% a cikin makonni 2 da suka gabata. Taimaka min amsa waɗannan tambayoyin: (1) Shin sabon batu / harshe / tsari ya bayyana a cikin buƙatun masu shigowa? (2) Shin kurakurai sun ta'allaka ne a cikin wani nau'i na musamman? (3) Shin lokacin ya zo daidai da saurin / samfur / canjin kayan aiki? Sunan bayanan da za a bincika don kowane.
Rauni Mai Sauƙi / Ƙarfi Mai ƙarfi
rashin tsari
Hanya mai ƙarfi
"Idan akwai kuskure, zamu gani"
Baseline + kofa + ƙararrawa mai aiki
Kawai dubawa don ganin ko tsarin yana tsaye.
Kula da iyalai huɗu na sigina (amfani, tsaro, inganci, aiki)
Ba yin samfurin ingancin fitarwa kwata-kwata
Samfurin ɗan adam na yau da kullun + LLM-as-alkali
Ba tarawa da kallon awo ba
Dashboard + amsa madauki
Mini Cases guda uku
Case 1 - Ƙararrawa mai tsada ta kama maɓallin yayo. Farashin alamar kamfani ya ninka sau uku na dare. Ƙararrawar ƙofar ta sanar da ƙungiyar tsaro; bincike ya nuna cewa wani mabuɗin gwaji ya zube kuma bot yayi amfani dashi. An soke maɓallin a cikin mintuna 25; Idan da babu ƙararrawa, da an lura da lissafin a ƙarshen wata.
Case 2 - Silent ingancin drift. Adadin takardar izinin mataimakin mataimakin ya ragu cikin nutsuwa daga 95% zuwa 80% cikin makonni uku. Samfurin mako-mako ya kama wannan; Dalilin shi ne cewa abokan ciniki sun fara tambaya game da sabon layin samfurin kuma tushen ilimin samfurin akan shi bai cika ba. Adadin da aka samu lokacin da aka sabunta tushen ilimin.
Shari'a ta 3 - Guguwar jailbreak ya kasance da wuri. Ƙoƙarin allura da aka yi a kan mataimaki ya ƙaru daga 2 zuwa 40 a kowace awa a rana ɗaya. An kunna ƙararrawar tsaro; An ga cewa an raba "recipe" don fasa tsarin a cikin wani taron. Tawagar ta sabunta saurin tsaro da asusu masu iyakanta; Guguwar ta mutu kafin ta rikide ta zama gyale na gaske.
Tukwici: Kada ku daidaita don ma'aunin injin kawai. Sau da yawa ana kama ƙwanƙwasa inganci ta hanyar kawai mutum ya karanta abubuwan da aka fitar. Karamin aikin yau da kullun na yin bita 15-20 bazuwar bugu a kowane mako zai kama mafi tsadar gazawar shiru da wuri.
Kuskuren gama gari
- Ba sa shi cikin samarwa da kafa sa ido ("yana aiki, lafiya").
- Rashin iya gano rashin lafiyar ba tare da auna tushen tushe ba.
- Rasa ingancin drift ɗin kallo kawai "ya tashi".
- Ba a gwada ingancin fitarwa ta idanun mutum kwata-kwata.
- Rashin ƙara ƙararrawa da gano matsalar daga abokin ciniki/mai kulawa.
- Rashin haɗa binciken sa ido zuwa ingantawa (babu madaidaicin amsa).
A takaice
- Tsarin AI na iya lalacewa cikin nutsuwa; Mafi haɗari rashin aiki shine wanda baya jefa kurakurai, amma kawai yana rage inganci.
- Bibiyar iyalai huɗu na sigina: amfani/farashi, aminci, inganci/drive, da aiki.
- Drift (fitarwa na shigarwa ko ingancin fitarwa akan lokaci) ana kama shi kawai idan aka kwatanta da tushe.
- Samfurin ɗan adam na yau da kullun ban da ma'aunin injin yana ɗaukar ƙwanƙwasa inganci.
- Haɗa saka idanu zuwa ƙararrawa da madaidaicin amsa; Aunawa da rashin kallo ba sa ido bane.
Aikin aikace-aikace
Zaɓi aƙalla ma'auni ɗaya daga kowane dangin siginar guda huɗu don tsarin AI ɗin ku kuma ku rubuta tushen su na yanzu (ko kimanta). Ƙayyade iyakar ƙararrawa don kowane awo. Sannan ɗauki 15 daga cikin abubuwan semester ɗin ku na ƙarshe kuma ku ci su tare da saurin samfurin sama; Kula da ƙimar "mara kyau". Bari wannan ya zama ginshiƙi na farko wanda za ku kwatanta raƙuman ruwa a nan gaba.
jerin abubuwan dubawa
- [ ] Na ayyana ma'auni daga iyalai huɗu na sigina (amfani, tsaro, inganci, aiki).
- [ ] Na saita tushe da madaidaicin ƙararrawa don kowane awo.
- [ ] Ina yawan yin samfurin ingancin fitarwa ta idanun mutane.
- [ ] Ina saka idanu akan sigina akan allo guda tare da allon nuni.
- [ ] Ƙararrawa yana zuwa ga ƙungiyar tsaro don abubuwan da ba su dace ba da raƙuman jailbreak.
- [ ] Na dangana binciken sa ido zuwa ga saurin/sarrafawa.