Üksus 2 / 11

Andmete analüüs uurivas ajakirjanduses: dokumendivirnade muutmine uudisteks

Kasu:

  • Võimalus uurida tehisintellektiga andmekogumit, genereerida uudisväärtuslikke küsimusi ja eraldada tundlikke andmeid
  • Tehisintellekti asemel tehke arvutused, kirjeldage meetodit ja käivitage see auditeeritavas tööriistas ning omandage harjumus kontrollida iga leidu algandmete põhjal.
  • Arusaamine, et ajakirjaniku kohustus on koostada kõrvalekalded ja dokumenteerida arhiivisuhted ning kinnitada need algallikas.

Uuriv ajakirjandus algab sageli kuhjaga: tuhandetest ridadest koosnev pakkumise tabel, sadade lehekülgede pikkune bilanss, lekkinud meiliarhiiv, avatud lähtekoodiga riiklike kulutuste komplekt. Andmeajakirjandus — tava leida arvulistest ja dokumentaalsetest andmetest mustrid, anomaaliad ja seosed ning muuta need uudisteks — on täpselt selle massi mõtestamise ülesanne. Nendes hunnikutes, mille käsitsi läbivaatamine võtaks inimese elu, on tehisintellekt (AI) võimas esmase läbivaatuse ja ideede genereerimise tööriist: see suudab teha kokkuvõtteid tabelist, eraldada tekstiarhiivist dubleerivaid nimesid, soovitada, milliseid küsimusi analüüsiks küsida, isegi kirjeldada andmete puhastamise etappe. Aga paneme algusest peale ühe lause: AI on partner andmete analüüsimisel; Ajakirjanik on see, kes otsustab tulemuse täpsuse ja uudisväärtuse üle ning vaatab algandmete põhjal arvu uuesti üle. Hallutsinatsioonide oht on siin arvuliselt kõige ohtlikum.

Samm-sammult: tehisintellektiga andmekogumi uurimine

1. samm – tutvuge andmetega. Kõigepealt mõistke veerge, ridade arvu, kuupäevavahemikku, ühikuid. Teadke ise, mis see on, enne kui laadite toorfaili tehisintellekti; Vastasel juhul jäävad AI "leiud" õhku.

2. samm – ekstraheerige tundlikud andmed. Kui see sisaldab isikuandmeid (nimi, TR ID, aadress, tervis), muutke need anonüümseks ilma avalikule tehisintellekti tööriistale andmata või saatke ainult analüüsitavad veerud. Samuti kustutatakse lekkinud dokumentide jäljed, mis paljastavad allika (üksused 1 ja 10).

3. samm – looge tehisintellektiga avastamisküsimused. "Mis uudist see andmekogum varjata võib?" Alusta öeldes. Tehisintellekt esitab küsitavate küsimuste loendi: 10 parimat üksust, korduvad tarnijad, ebatavalised hüpped, tühjaks jäetud alad.

4. samm – ÄRGE LASUKE ANALÜÜSI TEHA, KIRJELDAGE SEDA. See on kriitiline punkt. Keskmine või protsent, mida AI peas arvutab, on sageli vale. Selle asemel küsige AI-lt samme, mida saaksite töökindlas tööriistas (arvutustabeli valem, päring, skript) käivitada. Tehes arvutuse auditeeritavaks tööriistaks, annab AI lihtsalt meetodi.

5. samm – kontrollige leidu. Vaadake kõiki anomaaliaid, millele AI osutab, naastes töötlemata joonele. Filtreerige tabel ja loendage väide "See ettevõte võitis 31 pakkumist 40-st". Kontrollimata numbrid ei jõua uudistesse.

6. samm – looge kontekst. Ainuüksi number pole uudis. Võrdlus (eelmine aasta sarnased asutused, suhe rahvaarvusse), kontekst ja ekspertarvamus on ajakirjaniku töö.

Tähelepanu. Andmeajakirjanduse kõige levinum lahtiütlemist tekitav viga on lasta tehisintellektil öelda "arvuta selle tabeli keskmine" ja panna tulemus otse uudistesse. AI on keelemudel, mitte kalkulaator. Laske tööriistal arvutada, küsige lihtsalt tehisintellektilt meetodit ja tõlgendust.

Metaandmete ja dokumendianalüüs

Uuriv ajakirjandus tegeleb peale numbritabelite ka suurte tekstiarhiividega: meilid, protokollid, lepingud. Siin saab AI koostada suhtekaarte, näiteks "kes kellega millal rääkis", "mis teemat korratakse", "millised nimed on koos mainitud". Jällegi on reegel sama: AI annab esialgse kaardi; Iga link on originaaldokumendis kinnitatud, sest AI suudab veenvalt seletada linki, mida pole olemas.

kolm minikarpi

Juhtum 1 – varjatud kondensatsioon. Ühel reporteril oli riigihanke tabel 2400 reaga. Ta lasi tehisintellektil esitada uurivaid küsimusi; Küsimus "mitu pakkumist sai sama tarnija?" tuli esiplaanile. Reporter ei lasknud AI-l seda arvutada; Ta kasutas YZ enda pakutud tabelivalemit ja leidis, et üks ettevõte sai 380 (15,8%) 2400 kaubast. Ta kontrollis seda käsitsi ja number oli õige. AI esialgne "hinnang" ütles 22% - nii et kui tehisintellekti usaldada, oleks uudis vale.

Juhtum 2 – ajasäästja, e-posti arhiiv. 6000 e-kirjast koosnevast arhiivist "millised teemad toimuvad" käsitsi otsimiseks kuluks päevi. AI koostas teemaklastrite ülevaate 15 minutiga; Nende hulgast valis reporter välja 3 paljutõotavat klastrit ja luges algsed meilid. Kogu avastamisaega lühenes ~3 päevani, kuid iga avaldatud tsitaat kinnitati sõna-sõnalt algsest meilist.

Juhtum 3 – tabatud hallutsinatsioonid. Majandusreporter sai YZ-lt kokkuvõtte, et "personalikulud kasvasid ühe aastaga 60%" bilansist. Kui ta naasis töötlemata tabeli juurde, nägi ta, et kasv oli 6% ja et tehisintellekt oli ühe numbri valesti lugenud. Üksainus faktikontroll blokeeris vale ja pretensioonika pealkirja nagu "60% plahvatus".

Kopeeritavad mallid

1) Andmekogumi tuvastamise ja avastamise küsimused:

Ma annan teile veergude pealkirjad ja andmestiku esimesed 20 rida. Koostage 10 ajakirjanduslikku küsimust, mida SAAB nende andmetega teha: kontsentratsiooni, kõrvalekalde, ajahüppe, puuduvate/tühjade alade, korduvate osalejate osas. Numbrite arvutamine puudub; lihtsalt kirjutage, milliseid küsimusi tasub küsida ja miks need võivad olla uudiseid.Andmed: [pealkirjad + näidisread]

2) Mitte teha arvutusi, vaid kirjeldada:

Soovin teha järgmise analüüsi: [nt. leida iga tarnija pakkumise kogusumma ja osakaalu protsent]. Ma tahan seda ise arvutustabelis käivitada. Kirjutage mulle samm-sammult, millised valemid/liigendseaded installida. HEV arvutuse tulemus; lihtsalt andke meetod.Minu veerud: [veergude nimed]

3) Outlier'i jaht:

Toon allpool kokkuvõtliku statistika (min, max, keskmine, mediaan). Selgitage, millised väärtused on ebatavalised/kahtlased ja miks peaksin neid uudiseid kontrollima. Ärge tehke lõplikke otsuseid; Kuvatakse kontrollnimekiri vormingus "järgmisi ridu tuleks käsitsi kontrollida". Kokkuvõtted: [siin]

4) Dokumendiarhiivi seoste kaart (mustand):

Ma annan teile dokumendi teksti komplekti. Esitage MUSTANINA järgmine teave: sageli koos esinevad nimed, korduvad teemad, märkimisväärsed kuupäevad. Märkige dokument, millest iga link pärineb, näiteks [B12]. Ärge lisage seoseid, mis pole dokumendis selgesõnaliselt kirjas. Dokumentatsioon: [siin]

Nõrk viip / Tugev viip

Nõrk viip: "Analüüsige seda diagrammi ja esitage kõik olulised leiud."

Tulemus: AI koostab protsente ja keskmisi, kujutab ette anomaaliaid, on ebaselge, millisel real see põhineb. Seda ei saa kontrollida.

Võimas viip: "Annan selle tabeli veerud ja esimesed 20 rida. (1) Loetlege, millised analüüsid võivad olla uudisväärtuslikud. (2) Soovitage iga analüüsi jaoks arvutustabeli valem, et saaksin seda käivitada. (3) Ärge arvutage tulemusi. (4) Märkige kontrollitavad read, näiteks [S45]."

Erinevus: tugev viip jätab arvutamise juhitavale tööriistale, vähendades tehisintellekti meetodi ja suuna rolli; takistab hallutsinatsioonide lekkimist numbrisse.

võrdlustabel

Lava

AI teeb seda

Ajakirjanik teeb

kontrollimine

Andmete äratundmine

Veeru/mustri kokkuvõte

Teab üksust ja konteksti

Lähteandmete sõnastik

avastamisküsimused

Loob küsimuste loendi

Valib uudise väärtuse

arvutus

Kirjeldab meetodit

Käivitab valemi sõidukis

Käsitsi varustamine

kõrvalekalle

märgib kandidaate

Vaatab töötlemata joont

Filtreerige ja loendage

Kommentaar/kontekst

mustandi raam

Võrdlus, ekspert

teine allikas

Levinud vead

  • AI arvutamine. AI arvutada välja keskmine, protsent, summa jne ja kasutada tulemust; AI teeb sageli vigu, laske sõidukil arvutada.
  • Ei ühenda leidu toorjoonega. Tabelit filtreerimata ja loendamata väite "See ettevõte võitis enamiku hankeid" kirjutamine.
  • Numbrite avaldamine ilma kontekstita. Paljaste numbrite esitamine ilma võrdluse ja suhteta on eksitav.
  • Tundlike andmete üleslaadimine. Isikuandmete või allikat paljastava dokumendi andmine sõidukile seda puhastamata.
  • Arvates, et võltssuhe on tõsi. Arhiivis oleva AI-i "näetava" lingi töötlemine kaardiks ilma seda algdokumendis kinnitamata.

Kokkuvõttes

Andmeajakirjanduses on tehisintellekt avastus- ja ülevaatepartner: see skannib hunnikut, genereerib küsimusi, mida esitada, kirjeldab analüüsimeetodit, märgib kandidaadid kõrvalekalleteks. Kuid tehisintellekti enda arvu arvutamine on kõige riskantsem viga; Tellige arvutamine auditeeritavale tööriistale, kontrollige iga leidu, minnes tagasi algandmete juurde ning lisage arvule kontekst ja võrdlus. Dokumendiarhiivides annab AI lähtekaardi; Iga link on kinnitatud originaaldokumendis.

Rakenduse ülesanne

Võtke andmestik, mis teil on (või on avalikult saadaval). Esmalt paluge neil luua 10 küsimust viibaga „Uurimisküsimused”. Valige küsimus, hankige AI-st valem viipaga "Kirjelda arvutust" ja käivitage see ise. Seejärel küsige AI-lt otse sama arvutust ja võrrelge kahte tulemust; Pange tähele erinevust ja selle õppetundi.

kontrollnimekiri

  • [ ] Sain enne tööriistale andmete andmist aru veergudest, ühikutest ja tundlikest väljadest.
  • [ ] Ma ei lase tehisintellektil arvutusi teha; Kirjeldan meetodit ja käivitan selle auditeeritavas tööriistas.
  • [ ] Kontrollin iga leiu käsitsi, minnes tagasi töötlemata reale.
  • [ ] Lisan arvule võrdluse ja konteksti; Ma ei avalda paljaid numbreid.
  • [ ] Kinnitan kõiki arhiivis olevaid seoseid originaaldokumendis.