Riba:
- Fahimtar cewa bambance-bambance shine horo na tantance tsarin jarrabawa ba tare da share wani abu ba, kuma ku sami damar yin bincike na ma'ana da tarin abun ciki tare da basirar wucin gadi.
- Ikon rage amo tare da kawar da tushen zanta (NSRL) da cire kwafi da kiyaye iyakokin waɗannan hanyoyin (canjin bit guda ɗaya)
- Ikon tabbatarwa da hannu da hannu ta tabbatar da ingancin bincike na ilimin fassara da daftarin yanke shawara tare da hujja don sanya su zama abin kariya.
Binciken shari'a na zamani baya iyakance ga kwamfuta ɗaya. A cikin abin da ya faru na kamfani, kuna iya haɗu da ɗimbin fayafai, ɗaruruwan gigabytes na rumbun imel, ajiyar girgije, aikace-aikacen taɗi da terabyte na fayiloli. Ba shi yiwuwa a zahiri a gwada su duka ɗaya bayan ɗaya, daga farko har ƙarshe. Wannan shi ne inda bambance-bambance (ra'ayi da aka aro daga magani; ware iyakataccen albarkatu zuwa ga mafi mahimmancin shari'a da farko, wato, yanke shawarar "abin da za a fara gani da farko") ya shiga cikin wasa. A cikin wannan rukunin, za mu ga yadda AI cikin hankali ke ba da fifiko ga manyan tarin bayanai, waɗanne kurakurai ne ke da alaƙa da su, da yadda bambance-bambancen ke daidaitawa tare da amincin bincike.
Me yasa bambanci ya zama dole?
A cikin binciken kwamfyuta, haƙiƙanin gaskiya guda biyu suna cin karo da juna: (1) duk shaidu suna da mahimmanci kuma babu abin da yakamata a rasa; (2) lokaci da ma'aikata suna da iyaka. Bambance-bambance na warware wannan rikici - ta hanyar rashin share wani abu, kawai ta hanyar ƙayyade tsarin jarrabawa. Ma'ana, bambance-bambance ba "kawarwa" ba ne amma "fifi-fifi". Ana bincika bayanan tare da mafi girman yiwuwar shaida da farko; Ana adana ƙananan yuwuwar bayanai amma yana zuwa cikin jerin gwano daga baya.
Bambance-bambance yana faruwa a matakai biyu: rayayyun rayuwa (yanke yanke shawara a wurin wace na'urar da za a fara hoto) da rarrabuwar bayanai (da zarar an kama hotuna, wanne fayil/setset don bincika farko). AI yana da ƙarfi musamman a ƙarshen, wato fifikon tushen abun ciki na manyan bayanan bayanai.
Babban abin da ya dace na bambance-bambancen shine cewa shawarar yanke shawara ta ƙayyade alkiblar binciken. Tarin da aka ba da fifiko ba daidai ba zai iya haifar da mahimman shaida da aka samu makonni a makare, ko ma ba za a bincika ba kwata-kwata saboda binciken ya kare. Don haka rarrabuwar kawuna ba "dabarun sauri" ba amma yanke shawara ce ta hanya kuma yakamata a rubuta shi tare da hujja, kamar kowane mataki na bincike. A cikin lokuta masu haɗari, ƙaddamarwa ba ya maye gurbin cikakken bincike; kawai yana ƙayyade wane ɓangaren da aka fara la'akari da shi, yana kiyaye ƙa'idar cewa za a tantance duka saitin a ƙarshe.
Tukwici: Ajiye rikodi na hukunce-hukuncen bangaranci da dalilansu. "Me yasa muka fara kallon wannan gungu, me yasa muka bar wannan har zuwa ƙarshe?" Ana iya yin tambayar a kotu. Haɗa dalilin fifikon AI a cikin wannan rikodin; Bayyana gaskiya shine kariya.
Babban fifikon tushen abun ciki tare da AI
Tsarin al'ada yana kallon sunan fayil, girman da kwanan wata. AI yana ƙara fahimtar mahallin ga wannan: yana iya fahimtar abin da takarda ke ciki, abin da hoto ya ƙunshi, sautin tattaunawa. Ta wannan hanyar:
- Binciken Semantic - gano abun ciki mai kama da ma'ana ko da kalmar ba ta dace daidai ba: Binciken "canja wurin kuɗi" kuma yana dawo da takaddun da ke ƙunshe da "canja wurin kuɗi", "shiri", "umarnin biyan kuɗi".
- Tarin jigo: Rarraba dubban takardu ta atomatik zuwa jigogi (na kuɗi, HR, fasaha, na sirri).
- Alamar motsin rai/sautin: Hana saƙonnin da ke isar da sautuna kamar barazana, firgita, keta sirrin sirri.
- Bambance-bambancen gani: Haɗa dubunnan hotuna ta alamar abu/ yanayi (a cikin iyakokin doka, misali izini da abun ciki masu dacewa kawai).
- Kwafi da kawar da takarce: Rarrabe kwafin fayil iri ɗaya da fayilolin tsarin (tare da sanannun jerin hash) da jagorantar kallon ɗan adam zuwa ainihin sabon abun ciki.
Sanin kawar da fayil: NSRL da saitin zanta
Mafi ƙwaƙƙwaran hanzari don babban bambance-bambancen bayanai sanannen lissafin zanta mai kyau/mara kyau. Laburaren kamar NSRL (Labarun Magana na Software na Ƙasa) suna riƙe hashes na miliyon daidaitattun tsarin aiki da fayilolin aikace-aikace. Waɗannan fayilolin "sananan kyawawan" an kawar da su a cikin bambance-bambancen, ba da damar mutum ya mai da hankali kawai ga fayilolin da aka ƙirƙira da masu amfani. Hakazalika, hashes "sananan bad" (sanannen malware) ana yin tuta ta atomatik. AI ya zo cikin wasa a cikin ragowar gungu bayan wannan kawar, wanda ke buƙatar ma'ana da gaske.
Tsanaki: Hash-tushen kawar yana da ƙarfi, amma canji guda ɗaya yana canza zaton gaba ɗaya. Ta ɗan gyaggyara daidaitaccen fayil ɗin, mai hari zai iya cire shi daga jerin "sanannen mai kyau" ko, akasin haka, ɓoye fayil ɗin mara kyau. Kawar ba cikakke ba ne, amma hanya ce ta fifiko.
uku mini lokuta
Case 1 — Binciken Semantic ya raba lokacin da 20. Wani bincike na cikin gida ya gano 480GB na imel. Binciken mahimmin kalmar key ya mayar da sakamako 3 don "cin hanci". Binciken ma’anar ma’anar AI mai ƙarfi ya kuma kama jita-jita kamar “kuɗin shawara,” “saɓawa,” “na gode biya,” da kuma fitar da saƙon 61 masu dacewa. An kammala bitar a cikin kwanaki 2 maimakon makonni; An tabbatar da kowane sakamako da hannu.
Case 2 - De-kwafi ceton mutum. A cikin gungu na fayiloli miliyan 1.7, bayan tsaftataccen tsaftataccen tsafta da kawar da NSRL, fayilolin mai amfani na musamman don bincika an rage su zuwa 92,000. Ƙungiyar ta mayar da hankali kan ainihin abun ciki maimakon tarin da ke 95% amo na tsarin.
Case 3 - Farashin wuce gona da iri. Ƙungiya ɗaya ba ta taɓa buɗe abin da AI ke kira gungu na "rashin kuɗi" ba. Kamar yadda ya fito, an ɓoye kwangila mai mahimmanci a cikin kundin hoto na sirri (ba steganography ba, kawai babban fayil ɗin da ba daidai ba). An jinkirta shaida saboda ba a ƙididdige gungu mai ƙarancin fifiko ba. Darasi: rarrabewa yana ƙayyade tsari, baya soke jarrabawar.
Samfura huɗu masu kwafi
1) Tsare-tsare na tsari:
Matsayin ku: babban ƙwararren masanin bincike.Bayanai: [misali. 480GB imel + 1.2TB raba fayil].Tambayoyin tambaya: [misali. leakage bayanai + cin hanci.Ka tsara mani dabarun rarrabewa: wane gungu ya kamata a duba cikin wane tsari, da wane ma'auni; Yadda ake amfani da kawar da hash da bincike na ma'ana. Jaddada cewa babu wani gungu da za a “soke”, kawai za a jera su.
2) Fadada kalmar bincike na Semantic:
Maudu'i: [cin hanci da rashawa / zubewar bayanai / hargitsi]. Don nemo takaddun da ke da alaƙa da wannan batu, jera fayyace / maganganu masu ma'ana (ciki har da ɓatanci, kalma, magana kai tsaye) da kuma mahimmin kalmomi. Manufar ita ce faɗaɗa iyakokin bincike; Rarraba kowane lokaci.
3) Tarin abun ciki:
Zan ba ku lakabi / taƙaitaccen bayani. Rura su cikin jigogi masu ma'ana (na kuɗi, HR, fasaha, doka, na sirri) kuma ba da jigo + taƙaitaccen dalili na kowane takarda. Alama daban-daban gungu na "maras tabbas" wanda ba za ku iya dacewa da jigon ba; Ba za a tsallake wannan gungu ba, za a bincika shi da hannu.
4) Rahoton fifikon kawar da kai:
Sanann mai kyau (NSRL) da fayilolin kwafin an shafe su. Don sauran fayilolin mai amfani na musamman: sanya babban/matsakaici/ƙananan fifiko bisa ga batun bincike kuma rubuta JUSTIFICATION. Rashin daidaiton abun ciki, rufaffiyar/fayilolin sirri da fayilolin da suka canza a cikin kwanaki 30 da suka gabata kuma an haskaka su.
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rawanin faɗakarwa:
Nemo fayiloli masu mahimmanci a cikin wannan bayanan.
Babu wata dabara ta magana, iyaka da fifiko; AI na iya rasa mahimman abun ciki ta hanyar ma'anarsa na "mahimmanci."
Ƙarfi mai ƙarfi:
Matsayinku: manazarcin shari'a. Bincike: Wani ma'aikaci da ake zargi ya ba da lissafin abokin ciniki kafin ya tafi. Zan samar muku da metadata na fayil (suna, girman, kwanan wata, tsawo, hanya) da taƙaitaccen abun ciki. Aiki: yi alama bayanan abokin ciniki, fitarwa / adanawa, alamar shigar da girgije, USB / diski na waje, da fayilolin da aka canza a cikin kwanakin 60 na ƙarshe a matsayin babban fifiko; Rubuta dalilan kowane yanke shawara. Kada ku ce ba za a iya bincika kowane gungu ba; kawai raba. Yi lissafin rashin tabbas daban.
Maudu'in da aka yi niyya, da ƙa'idodin da aka yi niyya, da ƙuntatawa na "ba-bita" suna sa fitar da inganci da aminci.
Teburin kwatanta hanyoyin daidaitawa
Hanya
Me yake aikatawa
karfi batu
kasada
Hash elimination (NSRL)
Yana keɓance sanannen fayil
Da sauri sosai, daidai
Fayil ɗin da aka gyara ya tsere
Cire kwafi
Kwafi daya bayan daya
ceton ma'aikata
Zai iya tsallake kwafin kusa
keyword
Neman ainihin sharuddan
Sauƙaƙan, ana iya dubawa
Ya rasa bayanin a fakaice
Binciken Semantic (AI)
Nemo mafi kusa a ma'ana
Yana ɗaukar fayyace abun ciki
Yana haifar da sakamako na karya
Tarin abun ciki (AI)
ya rarraba zuwa jigogi
Yana ba da bayyani
Hadarin jigon kuskure
Kuskuren gama gari
- Kuskure don kawarwa. Ƙananan fifiko ba "ba za a sake dubawa ba"; samfurin yana da mahimmanci.
- Cikakken amana ga kawar da zanta. Canji guda ɗaya yana canza zanta; mawuyacin hali na iya buƙatar cikakken dubawa.
- Dogaro da mabuɗin kawai. Maganganun da ke fakewa da su sun tsere; Cikak tare da bincike na ma'ana.
- Ba tabbatar da ingancin bincike na ilimin fassara ba. AI na iya nuna daftarin aiki mara amfani kamar "mai alaƙa"; Karanta kuma ku tabbatar.
- Rashin rubuta dalilin rarrabewa. A kotu "me yasa kika fara kallon wannan?" Dole ne ku sami amsar tambayar.
A takaice
Babban bambance-bambancen bayanai shine horo na jagorantar ƙayyadaddun lokaci zuwa mafi girman yuwuwar shaida - ta hanyar rashin share komai, kawai ƙayyade tsari. AI; Yana ba da babban sauri a cikin bincike na ma'ana, tari abun ciki, alamar sauti da fifiko bayan kawarwa. Amma ƙwararren yana lura da iyakoki na kawar da zanta, haɗarin rashin gaskiya / rashin ƙarfi, da ka'idar "ƙananan fifiko ba a bincika ba". Rubuta hukunce-hukuncen bambance-bambance tare da hujja yana sa sakamakon ya zama abin kariya a kotu.
Aikin aikace-aikace
Shirya lissafin metadata na samfurin samfurin (suna, girman, kwanan wata, tsawo, taƙaitaccen taƙaitaccen bayani) na layin 30-40; saka wasu fayilolin "masu ɓarna" a ciki (mahimman takarda a cikin babban fayil ɗin da ba daidai ba, fayil ɗin da aka canza). Ba da fifiko tare da samfurin "rahoton fifikon kawarwa", sannan samfurin aƙalla 15% daga gungu mai ƙarancin fifiko don ganin ko AI ta rasa wani abu.
jerin abubuwan dubawa
- [ ] Na saita bambancin a matsayin fifiko; Ban soke wani gungu ba.
- [ ] Na rage amo tare da kawar da zanta da kwafi, tare da kiyaye iyakokinta.
- [ ] Na kammala mahimmin kalmar tare da bincike na ma'ana.
- [ ] Da hannu na tabbatar da ingantaccen ingancin fassarar fassarar ma'anar/ tari.
- [ ] Na rubuta hukunce-hukuncen bambance-bambance da dalilansu.