Jedinica 2 / 11

Analiza podataka u istraživačkom novinarstvu: Pretvaranje gomile dokumenata u vijesti

Dobici:

  • Sposobnost istraživanja skupa podataka pomoću umjetne inteligencije, generiranja pitanja vrijednih vijesti i izdvajanja osjetljivih podataka
  • Umjesto da umjetna inteligencija radi izračune, potrebno je opisati metodu i pokrenuti je u alatu koji se može revidirati i steći naviku provjeravanja svakog nalaza iz sirovih podataka.
  • Razumijevajući da je odgovornost novinara izraditi vanjske podatke i dokumentirati arhivske odnose te ih potvrditi u izvornom izvoru.

Istraživačko novinarstvo često počinje s hrpom: pregledna proračunska tablica s tisućama redaka, bilanca od stotina stranica, arhiva elektroničke pošte koja je procurila, otvoreni skup javnih rashoda. Podatkovno novinarstvo — praksa pronalaženja obrazaca, anomalija i odnosa u numeričkim i dokumentarnim podacima i njihovo pretvaranje u vijesti — upravo je posao davanja smisla ovoj masi. U tim hrpama, za čije bi ručno pregledavanje trebao cijeli ljudski život, umjetna inteligencija (AI) moćan je alat za prvi pregled i generiranje ideja: može sažeti tablicu, izdvojiti duple nazive u tekstualnu arhivu, predložiti koja pitanja postaviti za analizu, čak opisati korake čišćenja podataka. Ali stavimo jednu rečenicu od početka: AI je partner u analizi podataka; Novinar je taj koji odlučuje o točnosti i informativnoj vrijednosti rezultata te preispituje brojku iz neobrađenih podataka. Rizik od halucinacije ovdje je najopasniji, u brojkama.

Korak po korak: istraživanje skupa podataka pomoću umjetne inteligencije

Korak 1 — Upoznajte podatke. Prvo shvatite stupce, broj redaka, datumski raspon, jedinice. Znajte sami što je to prije nego što učitate neobrađenu datoteku u AI; U suprotnom, AI-jevi "pronalazi" ostaju u zraku.

Korak 2 — Izdvojite osjetljive podatke. Ako sadrži osobne podatke (ime, TR ID, adresu, zdravlje), anonimizirajte ga bez davanja javnom AI alatu ili pošaljite samo stupce na analizu. Također su očišćeni tragovi procurjelih dokumenata koji otkrivaju izvor (jedinice 1 i 10).

Korak 3 — Generirajte pitanja za otkrivanje pomoću umjetne inteligencije. "Koje bi vijesti mogao skrivati ​​ovaj skup podataka?" Počnite tako što ćete reći. AI smišlja popis pitanja koja treba postaviti: prvih 10 artikala, stalni dobavljači, neobični skokovi, područja koja su ostala prazna.

Korak 4 — NEMATE AI IZVRŠITE ANALIZU, OPIŠITE JE. Ovo je kritična točka. Prosjek ili postotak koji AI izračunava u glavi često je pogrešan. Umjesto toga, zatražite od umjetne inteligencije korake koje biste pokrenuli u pouzdanom alatu (formula proračunske tablice, upit, skripta). Čineći računicu alatom za reviziju, AI samo daje metodu.

Korak 5 — Provjerite nalaz. Pogledajte svaku anomaliju na koju AI ukazuje vraćanjem na sirovu liniju. Filtrirajte tablicu i prebrojite tvrdnju "Ova tvrtka je pobijedila na 31 od 40 natječaja". Nepotvrđeni brojevi neće dospjeti u vijesti.

Korak 6 — Uspostavite kontekst. Sama brojka nije vijest. Usporedba (prošla godina, slične institucije, omjer prema broju stanovnika), kontekst i stručno mišljenje posao su novinara.

Pažnja: reći AI da "izračunaj prosjek ove tablice" i staviti rezultat izravno u vijest najčešća je pogreška podatkovnog novinarstva koja stvara odricanje od odgovornosti. AI je jezični model, a ne kalkulator. Neka alat izračuna, samo pitajte AI za metodu i tumačenje.

Analiza metapodataka i dokumenata

Osim brojčanih tablica, istraživačko novinarstvo barata i velikom arhivom teksta: mailovima, zapisnicima, ugovorima. Ovdje umjetna inteligencija može izraditi mape odnosa kao što su "tko je s kim razgovarao kada", "koja se tema ponavlja", "koja se imena spominju zajedno". Opet, pravilo je isto: AI daje početnu kartu; Svaka poveznica je potvrđena u izvornom dokumentu, jer AI može uvjerljivo objasniti vezu koja ne postoji.

tri mini kućišta

Slučaj 1 — Skrivena kondenzacija. Novinar je imao tablicu javne nabave s 2400 redaka. Natjerao je AI da proizvede istraživačka pitanja; Pitanje "koliko je ponuda dobio isti dobavljač?" došao do izražaja. Novinar nije imao AI da ovo izračuna; Proveo je formulu proračunske tablice koju je predložio sam YZ i otkrio da je jedna tvrtka primila 380 (15,8%) od 2400 stavki. Ručno ga je provjerio i broj je bio točan. Početna "procjena" umjetne inteligencije bila je 22% — pa ako bi se vjerovalo umjetnoj inteligenciji, vijesti bi bile pogrešne.

Slučaj 2 — Ušteda vremena, arhiva e-pošte. Trebalo bi danima da ručno pretražite "koje su teme u tijeku" u arhivi od 6000 e-poruka. AI je proizveo nacrt tematskih klastera u 15 minuta; Od njih je novinar odabrao 3 obećavajuća klastera i pročitao izvorne e-poruke. Ukupno vrijeme otkrivanja smanjeno je na ~3 dana, ali je svaki citat koji je objavljen uživo verbatiman iz izvorne e-pošte.

Slučaj 3 — Uhvaćena halucinacija. Ekonomski izvjestitelj primio je sažetak od YZ da su "troškovi osoblja porasli za 60% u jednoj godini" iz bilance. Kada se vratio na neobrađenu tablicu, vidio je da je povećanje bilo 6% i da je AI pogrešno pročitao jednu znamenku. Jedna jedina provjera činjenica blokirala je lažan i pretenciozan naslov poput "60% eksplozija".

Predlošci koji se mogu kopirati

1) Pitanja o prepoznavanju i otkrivanju skupa podataka:

Dat ću vam naslove stupaca i prvih 20 redaka skupa podataka. Generirajte 10 novinarskih pitanja koja se MOGU napraviti s ovim podacima: u smislu koncentracije, ekstrema, skoka u vremenu, područja koja nedostaju/prazna, aktera koji se ponavljaju. Nema izračuna broja; samo napišite koja pitanja vrijedi postaviti i zašto bi mogla postati vijesti. Podaci: [naslovi + primjeri redaka]

2) Ne praveći izračune, već ih tjerajući da opisuju:

Želim napraviti sljedeću analizu: [npr. pronađite ukupni iznos ponude i postotak udjela svakog dobavljača]. Želim ovo sam pokrenuti u proračunskoj tablici. Napiši mi korak po korak koje formule/postavke pivota da instaliram. Rezultat izračuna SEN; samo dajte metodu. Moji stupci: [nazivi stupaca]

3) Lov na ekstremne osobe:

U nastavku ću dati sažetak statistike (min, maks, prosjek, medijan). Objasnite koje su vrijednosti neobične/sumnjive i zašto bih ih trebao provjeriti za vijesti. Nemojte donositi konačne sudove; Pojavljuje se kontrolni popis u obliku "sljedeće retke treba provjeriti ručno". Sažeci: [ovdje]

4) Mapa odnosa arhive dokumenata (nacrt):

Dat ću vam skup teksta dokumenta. Ispišite sljedeće kao NACRT: imena koja se često pojavljuju zajedno, teme koje se ponavljaju, značajne datume. Označite dokument iz kojeg dolazi svaka poveznica, npr. [B12]. Nemojte dodavati nikakve odnose koji nisu izričito napisani u dokumentu. Dokumentacija: [ovdje]

Slab upit / Jak upit

Slab upit: "Analizirajte ovaj grafikon i navedite sva značajna otkrića."

Rezultat: AI pravi postotke i prosjeke direktno, zamišlja anomalije, nejasno je na kojoj liniji se temelji. Ne može se provjeriti.

Snažan upit: "Dajem stupce i prvih 20 redaka ove tablice. (1) Navedite koje bi analize mogle biti vrijedne vijesti. (2) Predložite formulu proračunske tablice za svaku analizu kako bih je mogao pokrenuti. (3) Ne računajte nikakve rezultate. (4) Označite retke koje treba provjeriti, kao [S45]."

Razlika: Snažan prompt prepušta izračun alatu koji se može kontrolirati, svodeći AI na ulogu metode i smjera; sprječava curenje halucinacija u broj.

usporedna tablica

Pozornica

AI radi

Novinar radi

provjera

Prepoznavanje podataka

Sažetak stupca/uzorka

Poznaje jedinicu i kontekst

Rječnik izvornih podataka

pitanja otkrivanja

Generira popis pitanja

Odabire vrijednost vijesti

izračun

Opisuje metodu

Pokreće formulu u vozilu

Ručno dodjeljivanje

izuzetak

označava kandidate

Gleda na sirovu liniju

Filtrirajte i prebrojite

Komentar/kontekst

nacrt okvira

Usporedba, stručnjak

drugi izvor

Uobičajene greške

  • Izračunavanje umjetne inteligencije. AI izračunava prosjek, postotak, ukupno itd. i koristi rezultat; AI često griješi, pustite vozilo da izračuna.
  • Nepovezivanje nalaza sa sirovom linijom. Pisanje tvrdnje "Ova tvrtka je dobila većinu natječaja" bez filtriranja tablice i prebrojavanja.
  • Objavljivanje brojeva bez konteksta. Izvještavanje o golim brojevima bez usporedbe i omjera dovodi u zabludu.
  • Učitavanje osjetljivih podataka kakvi jesu. Davanje osobnih podataka ili dokumenta koji otkriva izvor vozilu bez čišćenja.
  • Misleći da je lažna veza istinita. Obrada veze koju AI "vidi" u arhivi u kartu bez potvrde u izvornom dokumentu.

Ukratko

U podatkovnom novinarstvu, AI je partner u otkrivanju i uvidu: skenira hrpu, generira pitanja koja treba postaviti, opisuje metodu analize, označava kandidate za outliere. Ali to što umjetna inteligencija sama izračunava broj je najrizičnija pogreška; Povjerite izračun alatu koji se može provjeriti, provjerite svaki nalaz vraćanjem na neobrađene podatke i dodajte kontekstu i usporedbu broju. U arhivama dokumenata AI daje početnu kartu; Svaka poveznica je potvrđena u izvornom dokumentu.

Zadatak aplikacije

Uzmite skup podataka koji imate (ili je javno dostupan). Najprije neka generiraju 10 pitanja s upitom "Istraživačka pitanja". Odaberite pitanje, preuzmite formulu iz AI-a s upitom "Opišite izračun" i pokrenite ga sami. Zatim zatražite izravno od umjetne inteligencije za isti izračun i usporedite dva rezultata; Zabilježite razliku i pouku iz nje.

popis za provjeru

  • [ ] Razumio sam stupce, jedinice i osjetljiva polja prije davanja podataka alatu.
  • [ ] Ne dopuštam umjetnoj inteligenciji da radi proračune; Opisujem metodu i pokrećem je u alatu za reviziju.
  • [ ] Ručno provjeravam svaki nalaz vraćanjem na neobrađeni red.
  • [ ] Broju dodajem usporedbu i kontekst; Ne iznosim gole brojke.
  • [ ] Potvrđujem svaki odnos u arhivi u izvornom dokumentu.