Awọn anfani:
- Loye pe ipin jẹ ibawi ti ṣiṣe ipinnu aṣẹ idanwo laisi piparẹ ohunkohun, ati ni anfani lati ṣe iwadii atunmọ ati ikojọpọ akoonu pẹlu oye atọwọda.
- Agbara lati dinku ariwo pẹlu imukuro orisun-hash (NSRL) ati de-duplication ati ṣe akiyesi awọn opin ti awọn ọna wọnyi (iyipada bit kan)
- Agbara lati jẹrisi pẹlu ọwọ awọn idaniloju eke ti wiwa atunmọ ati awọn ipinnu ipin iwe-ipamọ pẹlu idalare lati jẹ ki wọn di jija
Iwadii oniwadi ode oni ko ni opin si kọnputa kan ṣoṣo. Ninu iṣẹlẹ ile-iṣẹ kan, o le pade awọn dosinni ti awọn disiki, awọn ọgọọgọrun gigabytes ti awọn ibi ipamọ imeeli, awọn afẹyinti awọsanma, awọn ohun elo iwiregbe ati terabytes ti awọn faili. Ko ṣee ṣe nipa ti ara lati ṣe ayẹwo gbogbo wọn, ni ọkọọkan, lati ibẹrẹ si opin. Eyi ni ibi ti ipin (imọran ti a ya lati oogun; pipin awọn orisun to lopin si ọran pataki julọ akọkọ, iyẹn ni, ni kiakia pinnu “kini lati wo ni akọkọ”) wa sinu ere. Ninu ẹyọ yii, a yoo rii bii AI ṣe ni oye ṣe pataki awọn pipọ data nla, kini awọn aṣiṣe ti o ni itara si, ati bii triage ṣe ṣe atunṣe pẹlu iduroṣinṣin iwaju.
Kini idi ti ipinya jẹ pataki?
Ni awọn oniwadi kọnputa, ariyanjiyan awọn otitọ meji: (1) gbogbo ẹri jẹ niyelori ati pe ko si nkankan ti o yẹ ki o padanu; (2) akoko ati agbara eniyan ni opin. Ipinpin n yanju ija yii - nipa ko paarẹ ohunkohun, o kan nipa ṣiṣe ipinnu aṣẹ idanwo. Ni awọn ọrọ miiran, ipin kii ṣe “imukuro” ṣugbọn “iṣaju akọkọ”. Awọn data pẹlu iṣeeṣe ti o ga julọ ti ẹri ni a ṣe ayẹwo ni akọkọ; Awọn data iṣeeṣe kekere ti wa ni ipamọ ṣugbọn wa sinu isinyi nigbamii.
Iyatọ waye ni awọn ipele meji: ipin laaye (ipinnu ni aaye ti ẹrọ lati ṣe aworan ni akọkọ) ati ipin data (ni kete ti awọn aworan ti ya, faili wo / data lati ṣayẹwo akọkọ). AI lagbara ni pataki ni igbehin, eyun ni iṣaju orisun akoonu ti awọn ipilẹ data nla.
Abala ifarabalẹ oniwadi ti ipin ni pe ipinnu pipaṣẹ pinnu itọsọna ti iwadii naa. Iṣupọ iṣaju ti ko tọ le ja si ẹri pataki ni wiwa awọn ọsẹ pẹ, tabi paapaa ko ṣe ayẹwo rara nitori iwadii ti pari. Nitorinaa triage kii ṣe “ẹtan iyara” ṣugbọn ipinnu ilana ati pe o yẹ ki o ṣe akọsilẹ pẹlu idalare, gẹgẹ bi igbesẹ oniwadi eyikeyi miiran. Ni awọn ọran ti o ni eewu giga, ipin ko ni rọpo iwadii kikun; o kan pinnu apakan wo ni a gbero ni akọkọ, titọju ilana naa pe gbogbo eto naa yoo ṣe ayẹwo nikẹhin.
Imọran: Ṣe igbasilẹ awọn ipinnu ipin rẹ ati awọn idi wọn. "Kini idi ti a fi wo iṣupọ yii ni akọkọ, kilode ti a fi eyi silẹ titi di ikẹhin?" A le beere ibeere naa ni ile-ẹjọ. Fi idi pataki ti AI sinu igbasilẹ yii; Itumọ jẹ aabo.
Iṣaju-orisun akoonu pẹlu AI
Iyatọ Ayebaye n wo orukọ faili, iwọn ati ọjọ. AI ṣafikun oye ọrọ-ọrọ si eyi: o le loye kini iwe-ipamọ jẹ nipa, kini aworan kan ninu, ohun orin ibaraẹnisọrọ. Ni ọna yi:
- Wiwa imọ-ọrọ - wiwa akoonu ti o jọra ni itumọ paapaa ti ọrọ naa ko ba ni deede: Wiwa fun “gbigbe owo” tun da awọn iwe aṣẹ pada ti o ni “gbigbe owo”, “fifiranṣẹ”, “itọnisọna isanwo”.
- Iṣijọpọ koko-ọrọ: Titọ lẹsẹsẹ awọn ẹgbẹẹgbẹrun awọn iwe aṣẹ ni adaṣe ni awọn akori (owo, HR, imọ-ẹrọ, ti ara ẹni).
- Siṣamisi ẹdun/ohun orin: Awọn ifiranṣẹ afihan ti o fihan awọn ohun orin bii irokeke, ijaaya, irufin ikọkọ.
- Iyatọ wiwo: Iṣakojọpọ ẹgbẹẹgbẹrun awọn aworan nipasẹ aami ohun/oju iṣẹlẹ (laarin awọn opin ofin, fun apẹẹrẹ ti a fun ni aṣẹ ati akoonu ti o yẹ nikan).
- Pidánpidán ati imukuro ijekuje: Iyapa awọn ẹda-iyọọda ti faili kanna ati awọn faili eto (pẹlu awọn atokọ hash ti a mọ) ati didari iwo eniyan si akoonu tuntun nitootọ.
Imukuro faili ti a mọ: NSRL ati awọn ṣeto hash
Ohun imuyara ti o wulo julọ fun ipin data nla ni a mọ ti o dara / awọn atokọ elile buburu. Awọn ile-ikawe bii NSRL (Ile-ikawe Itọkasi Sọfitiwia Orilẹ-ede) di awọn hashes ti awọn miliọnu ti ẹrọ ṣiṣe boṣewa ati awọn faili ohun elo mu. Awọn faili “mọ ti o dara” wọnyi ti yọkuro ni ipin, gbigba ọkan laaye lati dojukọ nikan lori ipilẹṣẹ olumulo ati awọn faili ifura. Bakanna, awọn hashes “buburu ti a mọ” (malware ti a mọ) ti jẹ ifihan laifọwọyi. AI wa sinu ere ni iṣupọ ti o ku lẹhin imukuro yii, eyiti o nilo itumọ gaan.
Išọra: Imukuro ti o da lori Hash lagbara, ṣugbọn iyipada bit kan yi hash pada patapata. Nipa yiyipada faili boṣewa kan diẹ, ikọlu le yọkuro kuro ninu atokọ “dara ti a mọ” tabi, ni idakeji, tọju faili buburu naa. Imukuro kii ṣe pipe, ṣugbọn ọna ti ayo.
mẹta mini igba
Ọran 1 - Iwadi imọ-ọrọ pin akoko nipasẹ 20. Iwadi inu inu ri 480GB ti awọn apamọ. Wiwa Koko Alailẹgbẹ da awọn abajade mẹta pada fun “abẹtẹlẹ”. Iwadi imọ-itumọ ti AI-agbara tun mu awọn euphemisms bii “ọya ijumọsọrọ,” “atunṣe,” “owo sisan o ṣeun,” o si fa awọn ifiranṣẹ 61 ti o yẹ jade. Atunwo naa ti pari ni awọn ọjọ 2 dipo awọn ọsẹ; Abajade kọọkan ni a fọwọsi pẹlu ọwọ.
Ọran 2 - De-pipopada ti o ti fipamọ eniyan. Ninu iṣupọ ti awọn faili miliọnu 1.7, lẹhin mimọ ti o da lori hash ati imukuro NSRL, awọn faili olumulo alailẹgbẹ lati ṣayẹwo ti dinku si 92,000. Ẹgbẹ naa ṣojukọ lori akoonu gangan dipo opoplopo ti o jẹ ariwo eto 95%.
Ọran 3 - Awọn owo ti oversecurity. Ẹgbẹ kan ko ṣii ohun ti AI pe ni iṣupọ “ti kii ṣe inawo”. Bi o ti wa ni jade, adehun pataki kan ti farapamọ sinu awo-orin fọto ti ara ẹni (kii ṣe steganography, o kan folda ti ko tọ). Ẹri jẹ idaduro nitori iṣupọ-iṣaaju kekere ko ṣe ayẹwo. Ẹkọ: triage pinnu aṣẹ, ko fagile idanwo naa.
Mẹrin daakọ awọn awoṣe
1) Ilana iyasọtọ:
Ipa rẹ: oga ojogbon triage.Data: [fun apẹẹrẹ. 480GB imeeli + 1.2TB faili pinpin].Koko ibeere: [f.eks. data jijo + bribery].Sketch soke a triage nwon.Mirza fun mi: iru iṣupọ yẹ ki o wa ni wo ni ninu ibere, pẹlu eyi ti àwárí mu; Bii o ṣe le lo imukuro hash ati wiwa atunmọ. Tẹnu mọ pe ko si awọn iṣupọ kan ti yoo “parẹ”, wọn yoo kan lẹsẹsẹ.
2) Imugboroosi ọrọ wiwa atunmọ:
Koko-ọrọ: [abẹtẹlẹ / jijo data / ni tipatipa]. Lati wa awọn iwe aṣẹ ti o nii ṣe pẹlu koko yii, ṣe atokọ awọn ikosile mimọ/awọn ọrọ isọsọ (pẹlu slang, codeword, ọrọ aiṣe-taara) ati awọn koko-ọrọ gangan. Ero ni lati faagun aaye wiwa; Sọtọ ọrọ kọọkan.
3) Iṣijọpọ akoonu:
Emi yoo fun ọ ni awọn akọle iwe-ipamọ / awọn akopọ. Ṣe akojọpọ wọn sinu awọn akori ti o nilari (owo, HR, imọ-ẹrọ, ofin, ti ara ẹni) ati fun akori + idi kukuru fun iwe kọọkan. Samisi ni lọtọ akojọpọ “aibikita” ti o ko le baamu si akori naa; A ko ni fo iṣupọ yii, a o ṣe ayẹwo pẹlu ọwọ.
4) Iroyin ayokuro lẹhin imukuro:
Ti a mọ ti o dara (NSRL) ati awọn faili ẹda-iwe ti yọkuro. Fun awọn faili olumulo alailẹgbẹ ti o ku: yan ipo giga/alabọde/kekere ni ibamu si koko-ọrọ ti iwadii ati kọ JUSTIFICATION. Àkóónú àkóónú àìbáradé, ìpàrokò/àwọn fáìlì ọ̀rọ̀ìpamọ́ àti àwọn fáìlì tí ó ti yí padà ní ọgbọ̀n ọjọ́ tí ó kọjá jẹ́ àfihàn.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Wa awọn faili pataki ni data yii.
Nibẹ ni ko si kannaa ti koko, dopin ati ayo; AI le padanu akoonu pataki nipasẹ itumọ tirẹ ti “pataki.”
Ibere ti o lagbara:
Ipa rẹ: Oluyanju triage oniwadi. Iwadii: oṣiṣẹ titẹnumọ ti jo atokọ alabara kan ṣaaju ki o to lọ. Emi yoo fun ọ ni metadata faili (orukọ, iwọn, ọjọ, itẹsiwaju, ọna) ati awọn akopọ akoonu kukuru. Iṣẹ-ṣiṣe: samisi data alabara, okeere / pamosi, itọpa ikojọpọ awọsanma, USB / disiki ita, ati awọn faili ti yipada ni awọn ọjọ 60 to kẹhin bi pataki pataki; Kọ awọn idi fun ipinnu kọọkan. Maṣe sọ pe eyikeyi iṣupọ ko le ṣe ayẹwo; kan too. Ṣe atokọ awọn aidaniloju lọtọ.
Koko-ọrọ ti nja, awọn ibeere ifọkansi, ati idiwọ “aisi atunyẹwo” jẹ ki iṣelọpọ jẹ daradara ati aabo.
Awọn ọna Triage lafiwe tabili
Ọna
Kini o ṣe
lagbara ojuami
ewu
Imukuro hash (NSRL)
Pin faili mọ
Iyara pupọ, kongẹ
Fáìlì tí a ṣàtúnṣe sá lọ
De-pipopada
Awọn adakọ ọkan nipa ọkan
Igbala eniyan
Le foo sunmọ daakọ
koko
Awọn wiwa fun awọn ofin gangan
Rọrun, igbọran
Npadanu alaye ti ko tọ
Iwadi imọ-ọrọ (AI)
Wa awọn sunmọ ni itumo
Mu akoonu ti ko tọ
Ṣe agbejade awọn idaniloju eke
Iṣakojọpọ akoonu (AI)
pin si awọn akori
Pese Akopọ
Ewu ti ko tọ akori
Awọn aṣiṣe ti o wọpọ
- Aṣiṣe aṣiṣe fun imukuro. Ni ayo kekere kii ṣe “kii ṣe atunyẹwo”; iṣapẹẹrẹ jẹ pataki.
- Igbẹkẹle pipe ni imukuro hash. A nikan bit ayipada ayipada elile; ọran pataki le nilo ọlọjẹ ni kikun.
- O kan gbigbe ara lori koko. Awọn alaye ti ko ṣoki ati koodu salọ; Pari pẹlu wiwa atunmọ.
- Kii ṣe ifẹsẹmulẹ idaniloju eke ti wiwa atunmọ. AI le ṣe afihan iwe ti ko ṣe pataki bi "jẹmọ"; Ka ati rii daju.
- Ikuna lati ṣe akosile idi ipin. Ni ile-ẹjọ "kilode ti o wo eyi ni akọkọ?" O gbọdọ ni idahun si ibeere naa.
Ni akojọpọ
Iyatọ data nla jẹ ibawi ti didari akoko to lopin si iṣeeṣe ti ẹri ti o ga julọ - nipa ko paarẹ ohunkohun, o kan pinnu aṣẹ naa. AI; O pese iyara nla ni wiwa atunmọ, iṣupọ akoonu, isamisi ohun orin ati iṣaju lẹhin imukuro. Ṣugbọn amoye naa ṣe akiyesi awọn opin ti imukuro elile, eewu ti awọn aiṣedeede eke / awọn aibikita, ati ilana ti “ ayo kekere kii ṣe ayẹwo”. Kikọsilẹ awọn ipinnu ipin pẹlu idalare jẹ ki abajade jẹ igbeja ni kootu.
Ohun elo iṣẹ-ṣiṣe
Mura akojọ metadata faili apẹẹrẹ kan (orukọ, iwọn, ọjọ, itẹsiwaju, akopọ kukuru) ti awọn laini 30-40; fi awọn faili "ṣinilona" diẹ sinu rẹ (iwe pataki ninu folda ti ko tọ, faili pẹlu itẹsiwaju ti o yipada). Ṣe iṣaju pẹlu awoṣe “Ijabọ ayokuro lẹhin imukuro, lẹhinna ṣe ayẹwo o kere ju 15% lati iṣupọ pataki-kekere lati rii boya AI ti padanu ohunkohun.
akojọ ayẹwo
- [] Mo ti ṣeto soke triage bi ayo; Emi ko fagile eyikeyi iṣupọ.
- [] Mo dinku ariwo pẹlu imukuro hash ati de-duplication, titọju awọn opin rẹ ni lokan.
- [] Mo pari ọrọ-ọrọ pẹlu wiwa itumọ-ọrọ.
- [] Mo fi ọwọ mulẹ awọn idaniloju eke ti iṣẹjade atunmọ / iṣupọ.
- [] Mo ṣe akọsilẹ awọn ipinnu ipin ati awọn idalare wọn.