Eining 4 / 11

Big Data Triage: Forgangsraða terabætum af gögnum

Hagnaður:

  • Skilja að triage er fræðigreinin til að ákvarða röð prófunar án þess að eyða neinu og geta framkvæmt merkingarleit og efnisþyrping með gervigreind.
  • Geta til að draga úr hávaða með kjötkássa-undirstaða brotthvarf (NSRL) og aftvíföldun og fylgjast með takmörkum þessara aðferða (breyting á einum bita)
  • Geta til að handvirkt staðfesta rangar jákvæðar merkingarleitar og skjalaprófunarákvarðanir með rökstuðningi til að gera þær forsvaranlegar

Nútíma réttarrannsókn er ekki lengur takmörkuð við eina tölvu. Í fyrirtækjaatviki gætirðu rekist á tugi diska, hundruð gígabæta af tölvupóstssöfnum, skýjaafrit, spjallforrit og terabæta af skrám. Það er líkamlega ómögulegt að skoða þá alla, einn í einu, frá upphafi til enda. Þetta er þar sem triage (hugtak sem er fengið að láni frá læknisfræði; að úthluta takmörkuðu fjármagni til mikilvægasta tilviksins fyrst, það er að ákveða fljótt „hvað á að líta á fyrst“) kemur við sögu. Í þessari einingu munum við sjá hvernig gervigreind forgangsraðar á skynsamlegan hátt stórum haugum af gögnum, hvaða villum það er viðkvæmt fyrir og hvernig triage samræmist réttarfræðilegum heilindum.

Af hverju er þríhyrning nauðsynleg?

Í tölvuréttarfræði stangast á við tvennt: (1) öll sönnunargögn eru verðmæt og engu ætti að missa af; (2) tími og mannafli eru takmörkuð. Triage leysir þennan ágreining - með því að eyða ekki neinu, bara með því að ákvarða röð prófunar. Með öðrum orðum, triage er ekki "útrýming" heldur "forgangsröðun". Þau gögn sem hafa mestar líkur á sönnunargögnum eru skoðuð fyrst; Lítil líkindagögn eru geymd en koma síðar í biðröðina.

Triage á sér stað á tveimur stigum: lifandi triage (ákvörðun á vettvangi hvaða tæki á að mynda fyrst) og gagnatriage (þegar myndir eru teknar, hvaða skrá/gagnasett á að skoða fyrst). Gervigreind er sérstaklega sterk í því síðarnefnda, nefnilega efnisbundinni forgangsröðun stórra gagnasafna.

Réttarfræðilega viðkvæmi þátturinn í réttarhöldum er sá að úrskurðarúrskurðurinn ræður stefnu rannsóknarinnar. Rangt forgangsraðaður klasi getur leitt til þess að mikilvæg sönnunargögn finnast vikum seint, eða jafnvel alls ekki verið skoðuð vegna þess að rannsókn er liðin. Triage er því ekki „hraðabragð“ heldur aðferðafræðileg ákvörðun og ætti að vera skjalfest með rökstuðningi, rétt eins og hvert annað réttarskref. Í áhættutilvikum kemur þrígreining ekki í stað fullrar rannsóknar; það ákvarðar aðeins hvaða hluti kemur fyrst til greina og varðveitir þá meginreglu að allt settið verði metið að lokum.

Ábending: Haltu skrá yfir ákvarðanir þínar um þrif og ástæður þeirra. "Af hverju skoðuðum við þennan klasa fyrst, af hverju skildum við þetta eftir þar til síðast?" Spurningunni má spyrja fyrir dómi. Láttu forgangsröðun gervigreindar fylgja með í þessari skráningu; Gagnsæi er varnarhæfni.

Innihaldsbundin forgangsröðun með gervigreind

Classic triage lítur á nafn skráar, stærð og dagsetningu. Gervigreind bætir samhengisskilningi við þetta: það getur skilið um hvað skjal snýst, hvað mynd inniheldur, tóninn í samtali. Á þennan hátt:

  • Merkingarfræðileg leit - að finna efni sem er svipað í merkingu jafnvel þótt orðið passi ekki nákvæmlega: Leitin að "peningamillifærslu" skilar einnig skjölum sem innihalda "peningamillifærslu", "sendingu", "greiðslufyrirmæli".
  • Þemaklasing: Flokkar þúsundum skjala sjálfkrafa í þemu (fjárhagsleg, HR, tæknileg, persónuleg).
  • Tilfinningar/tónamerkingar: Auðkenna skilaboð sem flytja tóna eins og ógn, læti, friðhelgisbrot.
  • Sjónræn triage: Flokkun þúsunda mynda eftir hlut/senumerki (innan lagamarka, t.d. eingöngu leyfilegt og viðeigandi efni).
  • Útrýming tvítekna og rusl: Aðskilja afrit af sömu skrá og kerfisskrám (með þekktum hasslistum) og beina augnaráði mannsins að raunverulegu nýju efni.

Þekkt útrýming skráa: NSRL og kjötkássasett

Hagnýtasti hraðalinn fyrir stóra gagnagreiningu er þekktur góður/slæmur kjötkássalisti. Bókasöfn eins og NSRL (National Software Reference Library) geyma kjötkássa milljóna staðlaðra stýrikerfa- og forritaskráa. Þessum „þekktu góðu“ skrám er eytt í triage, sem gerir manni kleift að einbeita sér aðeins að notendagerðum og grunsamlegum skrám. Á sama hátt er „þekkt slæmt“ kjötkássa (þekkt spilliforrit) sjálfkrafa merkt. AI kemur við sögu í þyrpingunni sem eftir er eftir þessa útrýmingu, sem krefst virkilega merkingar.

Varúð: Hash-undirstaða brotthvarf er öflug, en ein breyting breytir kjötkássa algjörlega. Með því að breyta venjulegri skrá lítillega getur árásarmaður fjarlægt hana af listanum „þekkt góð“ eða öfugt falið slæmu skrána. Brotthvarf er ekki algert, heldur forgangsröðun.

þrjú smámál

Tilfelli 1 - Merkingarleit deilt tímanum með 20. Innri rannsókn fann 480GB af tölvupósti. Klassísk leitarorðaleit skilaði 3 niðurstöðum fyrir "mútur". Merkingarleitin sem knúin er gervigreind fann einnig upp orðbragð eins og „ráðgjafargjald“, „aðstoð,“ „þakka þér greiðsla“ og dró út 61 viðeigandi skilaboð. Endurskoðuninni lauk á 2 dögum í stað vikum; Hver niðurstaða var staðfest handvirkt.

Mál 2 — Af tvíverkun sparaði mannafla. Í þyrpingu 1,7 milljóna skráa var einstökum notendaskrám til að skoða, fækkað í 92.000 eftir tvítekna hreinsun sem byggir á kjötkássa og NSRL útrýming. Liðið einbeitti sér að raunverulegu innihaldi frekar en haug sem var 95% kerfishljóð.

Mál 3 - Verð á oftrú. Eitt lið hefur aldrei opnað það sem gervigreind kallar „ekki fjármál“ klasann. Eins og það kemur í ljós var mikilvægur samningur falinn inni í persónulegu myndaalbúmi (ekki steganography, bara röng mappa). Sönnunargögnum var seinkað vegna þess að ekki var tekið sýni úr klasanum með lágan forgang. Lexía: Triage ákvarðar röðina, ekki hætta við prófið.

Fjögur afritanleg sniðmát

1) Drög að triage stefnu:

Hlutverk þitt: háttsettur sérfræðingur í réttarlækningum. Gögn: [t.d. 480GB tölvupóstur + 1,2TB skráaskipti].Fyrirspurnarefni: [t.d. gagnaleki + mútur].Skissa upp triage stefnu fyrir mig: hvaða klasa ætti að skoða í hvaða röð, með hvaða forsendum; Hvernig á að nota kjötkássaeyðingu og merkingarleit. Leggðu áherslu á að engir klasar verði "hættir", þeir verða bara flokkaðir.

2) Merkingarfræðileg stækkun leitarorðs:

Efni: [mútur / gagnaleki / áreitni]. Til að finna skjöl sem tengjast þessu efni skaltu skrá óbeina/samheita tjáningu (þar á meðal slangur, kóðaorð, óbeina ræðu) sem og bókstafleg leitarorð. Markmiðið er að auka leitarsviðið; Flokkaðu hvert hugtak.

3) Efnisþyrping:

Ég mun gefa þér skjalaheiti/samantektir. Flokkaðu þeim í þýðingarmikil þemu (fjárhagsleg, HR, tæknileg, lagaleg, persónuleg) og gefðu þema + stuttan rökstuðning fyrir hvert skjal. Merktu sérstaklega „óljósan“ klasann sem þú getur ekki passað inn í þemað; Þessum klasa verður ekki sleppt, hann verður skoðaður handvirkt.

4) Forgangsskýrsla eftir brotthvarf:

Þekkt góð (NSRL) og afrit skrár eru eytt. Fyrir einstæðar notendaskrár sem eftir eru: gefðu háum/miðlungs/lágum forgangi í samræmi við viðfangsefni rannsóknarinnar og skrifaðu RÉTTGÆÐI. Misræmi í innihaldi framlengingar, dulkóðaðar/aðgangsorðaskrár og skrár sem hafa breyst á síðustu 30 dögum eru einnig auðkenndar.

Veik kvaðning / Sterk kvaðning

Veik kvaðning:

Finndu mikilvægar skrár í þessum gögnum.

Það er engin rökfræði um efni, umfang og forgangsröðun; AI gæti misst af mikilvægu efni með eigin skilgreiningu á „mikilvægt“.

Öflug tilvitnun:

Hlutverk þitt: réttarrannsóknarfræðingur. Rannsókn: starfsmaður sagðist hafa lekið viðskiptavinalista áður en hann fór. Ég mun veita þér lýsigögn skráa (nafn, stærð, dagsetning, ending, slóð) og stuttar samantektir á innihaldi. Verkefni: merktu gögn viðskiptavina, útflutning/geymslu, skýjaupphleðsluspor, USB/ytri disk og skrár sem hafa verið breytt á síðustu 60 dögum sem forgangsverkefni; Skrifaðu ástæður fyrir hverri ákvörðun. Ekki segja að ekki sé hægt að skoða neinn klasa; bara flokka. Skráðu óvissuþætti sérstaklega.

Hið áþreifanlega efni, markviss viðmið og takmörkun „engin endurskoðun“ gera úttakið bæði skilvirkt og öruggt.

Samanburðartafla fyrir þrígangsaðferðir

Aðferð

Hvað gerir

sterkur punktur

áhættu

Hash brotthvarf (NSRL)

Úthlutar þekktri skrá

Mjög hratt, nákvæmt

Breytta skráin sleppur

Tvíföldun

Afrit eitt af öðru

Starfsmannasparnaður

Getur sleppt loka afriti

leitarorð

Leitar að nákvæmum hugtökum

Einfalt, endurskoðanlegt

Saknar hinnar óbeinu fullyrðingar

Merkingarleit (AI)

Finnur næst í merkingu

Tekur óbeint efni

Framleiðir falskar jákvæðar

Efnisþyrping (AI)

skiptist í þemu

Veitir yfirsýn

Hætta á röngum þema

Algeng mistök

  • Misskilja triage fyrir brotthvarf. Lágur forgangur er ekki "ekki að endurskoða"; sýnataka er nauðsynleg.
  • Algjört traust á útrýmingu hass. Ein bitabreyting breytir kjötkássa; mikilvægt tilvik gæti þurft fulla skönnun.
  • Bara að treysta á lykilorðið. Óbeina og kóðaðar fullyrðingar sleppa; Ljúktu við merkingarfræðilega leit.
  • Staðfestir ekki rangt jákvætt merkingarfræðilegrar leitar. AI getur sýnt óviðkomandi skjal sem „tengt“; Lestu og staðfestu.
  • Misbrestur á að skjalfesta rökstuðning fyrir triage. Fyrir dómi "af hverju horfðirðu á þetta fyrst?" Þú verður að hafa svar við spurningunni.

Í stuttu máli

Triage með stórum gögnum er fræðigreinin að beina takmarkaðan tíma að mestu líkum á sönnunargögnum - með því að eyða ekki neinu, bara ákvarða röðina. gervigreind; Það veitir mikinn hraða í merkingarfræðilegri leit, efnisflokkun, tónmerkingum og forgangsröðun eftir brotthvarf. En sérfræðingurinn fylgist með takmörkunum á brotthvarfi kjötkássa, hættunni á fölskum jákvæðum/neikvæðum og meginreglunni um „lágan forgang er ekki órannsökuð“. Með því að skjalfesta dómsúrskurðarákvarðanir með rökstuðningi er niðurstaðan forsvaranleg fyrir dómstólum.

Umsóknarverkefni

Undirbúa sýnishorn af lýsigagnalista (nafn, stærð, dagsetning, framlenging, stutt samantekt) með 30-40 línum; settu nokkrar "villandi" skrár í það (mikilvæg skjal í rangri möppu, skrá með breyttri endingu). Forgangsraðaðu með sniðmátinu „forgangsskýrslu eftir brotthvarf“, sýni síðan að minnsta kosti 15% úr þyrpingunni með lágan forgang til að sjá hvort gervigreindin hafi misst af einhverju.

gátlisti

  • [ ] Ég setti upp triage sem forgangsröðun; Ég hætti ekki við neina klasa.
  • [ ] Ég minnkaði hávaðann með útrýmingu kjötkássa og aftvíföldun, með takmörk þess í huga.
  • [ ] Ég kláraði leitarorðið með merkingarleit.
  • [ ] Ég staðfesti handvirkt rangar jákvæðar merkingar-/þyrpingarúttakið.
  • [ ] Ég skjalfesti ákvarðanir um réttarhöld og rökstuðning fyrir þeim.