Üksus 4 / 11

Suurandmete triaaž: terabaitide andmemahu tähtsustamine

Kasu:

  • Saage aru, et triaaž on uurimise järjekorra määramise distsipliin ilma midagi kustutamata ning suutma teostada tehisintellektiga semantilist otsingut ja sisu klasterdamist.
  • Võimalus vähendada müra räsipõhise elimineerimise (NSRL) ja dubleerimise eemaldamise abil ning jälgida nende meetodite piire (ühe biti vahetus)
  • Võimalus käsitsi kinnitada semantilise otsingu valepositiivseid tulemusi ja dokumenteerida triaažiotsuseid koos põhjendusega, et muuta need kaitstavaks

Kaasaegne kohtuekspertiisi uurimine ei piirdu enam ühe arvutiga. Ettevõtte intsidendi korral võite kohata kümneid kettaid, sadu gigabaiteid meiliarhiive, pilvevarukoopiaid, vestlusrakendusi ja terabaiti faile. Neid kõiki ükshaaval algusest lõpuni läbi vaadata on füüsiliselt võimatu. Siin tulebki mängu triaaž (meditsiinist laenatud kontseptsioon; piiratud ressursside eraldamine esmalt kõige kriitilisema juhtumi jaoks ehk kiire otsustamine, "mida kõigepealt vaadata"). Selles üksuses näeme, kuidas AI arukalt prioriseerib suuri andmehunnikuid, milliseid vigu see võib põhjustada ja kuidas triaaž sobib kohtuekspertiisi terviklikkusega.

Miks on triaaž vajalik?

Arvuti kohtuekspertiisi puhul on kaks tegelikkust vastuolus: (1) kõik tõendid on väärtuslikud ja millestki ei tohi mööda lasta; (2) aeg ja tööjõud on piiratud. Triaaž lahendab selle konflikti – mitte midagi kustutades, vaid lihtsalt uurimise järjekorra määramisega. Teisisõnu, triaaž ei ole "elimineerimine", vaid "prioriteetide seadmine". Esmalt uuritakse andmeid, mille tõenäolisus on kõige suurem; Väikese tõenäosusega andmed salvestatakse, kuid need satuvad hiljem järjekorda.

Triaaž toimub kahel tasandil: reaalajas triaaž (otsustatakse stseenis, millist seadet esimesena pildistada) ja andmetriaaž (kui pildid on jäädvustatud, millist faili/andmestikku kõigepealt uurida). AI on eriti tugev viimases, nimelt suurte andmekogumite sisupõhises prioriseerimises.

Triaaži kohtuekspertiisi tundlik aspekt seisneb selles, et korraldusotsus määrab uurimise suuna. Valesti prioritiseeritud klaster võib viia selleni, et kriitilised tõendid leitakse nädalaid hilja või neid ei uurita üldse, kuna uurimine on aegunud. Seega ei ole triaaž "kiirustrikk", vaid metodoloogiline otsus ja see tuleks dokumenteerida koos põhjendusega, nagu iga teinegi kohtuekspertiisi samm. Kõrge riskiga juhtudel ei asenda triaaž täielikku uurimist; see lihtsalt määrab, millist osa võetakse arvesse esimesena, säilitades põhimõtte, et kogu komplekti hinnatakse lõpuks.

Näpunäide. Pidage oma triaažiotsuste ja nende põhjuste üle arvestust. "Miks me vaatasime seda klastrit kõigepealt, miks me jätsime selle viimaseks?" Küsimuse saab esitada kohtus. Lisage sellesse kirjesse tehisintellekti prioriteetide määramise põhjendus; Läbipaistvus on kaitstus.

Sisupõhine prioriseerimine AI abil

Klassikaline triaaž vaatab faili nime, suurust ja kuupäeva. AI lisab sellele kontekstimõistmise: see saab aru, millest dokument räägib, mida pilt sisaldab, vestluse tooni. Sel viisil:

  • Semantiline otsing – tähenduselt sarnase sisu leidmine ka siis, kui sõna täpselt ei ühti: Otsing "rahaülekanne" annab ka dokumendid, mis sisaldavad "rahaülekanne", "saadetis", "maksejuhis".
  • Teemade rühmitamine: tuhandete dokumentide automaatne sortimine teemadeks (finants-, personali-, tehniline, isiklik).
  • Emotsioonide/toonide märgistamine: sõnumite esiletõstmine, mis edastavad selliseid toone nagu oht, paanika, privaatsuse rikkumine.
  • Visuaalne triaaž: tuhandete piltide rühmitamine objekti/stseeni sildi järgi (seaduslike piiride piires, nt ainult lubatud ja asjakohane sisu).
  • Duplikaatide ja rämpsposti eemaldamine: samade faili- ja süsteemifailide (teadaolevate räsiloenditega) deduplikatsioonide eraldamine ja inimese pilgu suunamine tõeliselt uuele sisule.

Tuntud failide kõrvaldamine: NSRL ja räsikomplektid

Kõige praktilisem kiirendi suure andmetriaaži jaoks on tuntud heade/halbade räsiloendid. Teegid nagu NSRL (National Software Reference Library) sisaldavad miljonite standardsete operatsioonisüsteemide ja rakenduste failide räsi. Need "tuntud head" failid elimineeritakse triaažis, võimaldades keskenduda ainult kasutaja loodud ja kahtlastele failidele. Samamoodi märgistatakse automaatselt "teadaolevad halvad" räsid (teadaolevad pahavara). AI tuleb pärast seda kõrvaldamist mängu ülejäänud klastris, mis nõuab tõesti tähendust.

Ettevaatust: Räsipõhine eemaldamine on võimas, kuid üks bitimuutus muudab räsi täielikult. Tavalist faili pisut muutes saab ründaja selle "tuntud heade" nimekirjast eemaldada või vastupidi halva faili peita. Elimineerimine ei ole absoluutne, vaid prioriteedi vahend.

kolm minikarpi

Juhtum 1 – semantiline otsing jagas aja 20-ga. Sisejuurdluse käigus leiti 480 GB e-kirju. Klassikaline märksõnaotsing andis otsingule "altkäemaksu" 3 tulemust. Tehisintellektil põhinev semantiline otsing tabas ka selliseid eufemisme nagu "konsultatsioonitasu", "lihtsustus", "tänumakse" ja eraldas 61 asjakohast sõnumit. Ülevaatus valmis nädalate asemel 2 päevaga; Iga tulemus kinnitati käsitsi.

Juhtum 2 – dubleerimise eemaldamine säästis tööjõudu. 1,7 miljonist failist koosnevas klastris vähenes pärast räsipõhist dubleerivat puhastamist ja NSRL-i eemaldamist uuritavate unikaalsete kasutajafailide arv 92 000-ni. Meeskond keskendus pigem tegelikule sisule kui hunnikule, mis oli 95% süsteemimürast.

3. juhtum – liigse enesekindluse hind. Üks meeskond pole kunagi avanud seda, mida tehisintellekt nimetab mitterahaliseks klastriks. Nagu selgub, peideti isikliku fotoalbumi sisse kriitiline leping (mitte steganograafia, lihtsalt vale kaust). Tõendite esitamine viibis, kuna madala prioriteediga klastrist valimit ei võetud. Õppetund: triaaž määrab järjekorra, mitte ei tühista eksamit.

Neli kopeeritavat malli

1) Triaažistrateegia kavand:

Sinu roll: vanemtriaažispetsialist.Andmed: [nt. 480GB meil + 1,2TB failijagamine].Pärimise teema: [nt. andmete leke + altkäemaksu võtmine].Visandage minu jaoks triaažistrateegia: millist klastrit millises järjekorras, milliste kriteeriumidega vaadata; Kuidas kasutada räsi eemaldamist ja semantilist otsingut. Rõhutage, et ühtegi klastrit ei "tühistata", need lihtsalt sorteeritakse.

2) Semantilise otsingutermini laiendamine:

Teema: [altkäemaksu võtmine / andmete leke / ahistamine]. Selle teemaga seotud dokumentide leidmiseks loetlege kaudsed/sünonüümsed väljendid (sh släng, koodsõna, kaudne kõne) ja sõnasõnalised märksõnad. Eesmärk on laiendada otsingu ulatust; Kategoriseerige iga termin.

3) Sisu rühmitamine:

Ma annan teile dokumentide pealkirjad/kokkuvõtted. Rühmitage need sisulisteks teemadeks (finants-, personali-, tehniline, juriidiline, isiklik) ja esitage iga dokumendi teema + lühike põhjendus. Märgi eraldi "mitmetähenduslik" klaster, mida te teemasse ei mahu; Seda klastrit ei jäeta vahele, seda uuritakse käsitsi.

4) Eliminatsioonijärgne prioriteediaruanne:

Tuntud head (NSRL) ja dubleerivad failid elimineeritakse. Ülejäänud unikaalsete kasutajafailide jaoks: määrake kõrge/keskmine/madal prioriteet vastavalt uurimisobjektile ja kirjutage PÕHJENDUS. Samuti on esile tõstetud laienduse ja sisu mittevastavus, krüptitud/parooliga failid ja failid, mida on viimase 30 päeva jooksul muudetud.

Nõrk viip / Tugev viip

Nõrk viip:

Otsige nendest andmetest üles olulised failid.

Puudub teema, ulatuse ja prioriseerimise loogika; AI võib kriitilisest sisust puududa, lähtudes oma määratlusest "oluline".

Võimas viip:

Teie roll: kohtuekspertiisi triaažianalüütik. Uurimine: väidetavalt lekitas töötaja enne lahkumist klientide nimekirja. Annan teile faili metaandmed (nimi, suurus, kuupäev, laiend, tee) ja sisu lühikokkuvõtted. Ülesanne: märkige esmatähtsaks kliendiandmed, eksport/arhiveerimine, pilve üleslaadimise jälg, USB/välisketas ja failid, mida on viimase 60 päeva jooksul muudetud; Kirjutage iga otsuse põhjused. Ärge öelge, et ühtegi klastrit ei saa uurida; lihtsalt sorteeri. Loetlege määramatused eraldi.

Konkreetne teema, sihitud kriteeriumid ja „ülevaatamata jätmise” piirang muudavad väljundi nii tõhusaks kui ka turvaliseks.

Triaažimeetodite võrdlustabel

meetod

Mis teeb

tugev külg

risk

Räsi eemaldamine (NSRL)

Eraldab teadaoleva faili

Väga kiire, täpne

Muudetud fail põgeneb

Dubleerimise eemaldamine

Kopeerib ükshaaval

Tööjõu kokkuhoid

Saab sulgemiskoopia vahele jätta

märksõna

Otsib täpseid termineid

Lihtne, auditeeritav

Puudub kaudne väide

Semantiline otsing (AI)

Leiab tähenduselt kõige lähedasema

Jäädvustab kaudset sisu

Annab valepositiivseid tulemusi

Sisu klasterdamine (AI)

jaguneb teemadeks

Annab ülevaate

Vale teema oht

Levinud vead

  • Eksitav triaaž elimineerimiseks. Madal prioriteet ei ole "mitte üle vaadata"; proovide võtmine on hädavajalik.
  • Absoluutne usaldus räsi eemaldamise vastu. Üks bitimuutus muudab räsi; kriitilisel juhul võib olla vajalik täielik skannimine.
  • Lihtsalt märksõnale tuginedes. Kaudsed ja kodeeritud avaldused põgenevad; Koos semantilise otsinguga.
  • Ei kinnita semantilise otsingu valepositiivsust. AI võib näidata ebaolulist dokumenti kui "seotud"; Lugege ja kontrollige.
  • Suutmatus dokumenteerida triaaži põhjendust. Kohtus "miks sa seda esimesena vaatasid?" Teil peab olema vastus küsimusele.

Kokkuvõttes

Suurandmete triaaž on distsipliin, mille käigus suunatakse piiratud aeg tõendite tõenäolisusele – mitte midagi kustutamata, vaid järjekorra määramisel. AI; See tagab suure kiiruse semantilisel otsingul, sisu rühmitamisel, toonide märgistamisel ja tähtsuse määramisel pärast elimineerimist. Kuid ekspert järgib räsi eemaldamise piire, valepositiivsete/negatiivsete tulemuste ohtu ja põhimõtet "madala prioriteediga ei ole uurimata". Triaažiotsuste dokumenteerimine koos põhjendusega muudab tulemuse kohtus kaitstavaks.

Rakenduse ülesanne

Valmistage ette näidisfaili metaandmete loend (nimi, suurus, kuupäev, laiend, lühikokkuvõte) 30-40 rida; pane sinna paar "eksitavat" faili (kriitiline dokument vales kaustas, muudetud laiendiga fail). Seadistage prioriteedid kõrvaldamisjärgse prioriteediaruande malli abil, seejärel võtke madala prioriteediga klastrist vähemalt 15% proovi, et näha, kas tehisintellekt on millestki kahe silma vahele jätnud.

kontrollnimekiri

  • [ ] Seadistan prioritiseerimiseks triaaži; Ma ei tühistanud ühtegi klastrit.
  • [ ] Vähendasin müra räsi eemaldamise ja dubleerimisega, pidades silmas selle piire.
  • [ ] Täiendasin märksõna semantilise otsinguga.
  • [ ] Kinnitasin käsitsi semantilise/klastri väljundi valepositiivsed tulemused.
  • [ ] Dokumenteerisin triaažiotsused ja nende põhjendused.