Egység 2 / 11

Adatelemzés az oknyomozó újságírásban: Irathalmazok átalakítása hírekké

Nyereség:

  • Képes egy adathalmaz mesterséges intelligenciával való feltárására, hírértékű kérdések generálására és érzékeny adatok kinyerésére
  • A mesterséges intelligencia helyett végezze el a számításokat, írja le és futtassa le a módszert egy auditálható eszközben, és szokjon meg minden megállapítást nyers adatokból ellenőrizni.
  • Annak megértése, hogy az újságíró felelőssége a kiugró értékek megfogalmazása és az archív kapcsolatok dokumentálása és azok eredeti forrásban való megerősítése.

Az oknyomozó újságírás gyakran egy kupaccal kezdődik: több ezer soros pályázati táblázat, több száz oldalas mérleg, kiszivárgott e-mail archívum, nyílt forráskódú közkiadási halmaz. Az adatújságírás – a numerikus és dokumentált adatok mintáinak, anomáliáinak és összefüggéseinek megtalálásának és híradássá alakításának gyakorlata – pontosan ennek a tömegnek a megértésének a feladata. A mesterséges intelligencia (AI) ezekben a halmokban, amelyek kézi áttekintése emberi életbe telne, hatékony első szűrési és ötletgeneráló eszköz: táblázatot tud összefoglalni, szövegarchívumban duplikált neveket tud kivonni, javaslatot tesz arra, hogy milyen kérdéseket tegyen fel az elemzéshez, és még az adattisztítás lépéseit is leírja. De tegyünk egy mondatot az elejétől: az AI partner az adatok elemzésében; Az újságíró dönti el az eredmény pontosságát és hírértékét, és a nyers adatokból újra megvizsgálja a számot. A hallucináció kockázata itt a legveszélyesebb, számokban kifejezve.

Lépésről lépésre: egy adathalmaz felfedezése mesterséges intelligencia segítségével

1. lépés – Ismerje meg az adatokat. Először ismerje meg az oszlopokat, a sorok számát, a dátumtartományt és az egységeket. Tudja meg, mi az, mielőtt betölti a nyers fájlt az AI-ba; Ellenkező esetben az AI „leletei” a levegőben maradnak.

2. lépés – Kényes adatok kibontása. Ha személyes adatokat tartalmaz (név, TR azonosító, cím, egészségi állapot), anonimizálja azokat anélkül, hogy átadná a nyilvános mesterségesintelligencia eszköznek, vagy csak az elemezni kívánt oszlopokat küldje el. A forrást felfedő kiszivárgott dokumentumok nyomait is megtisztítják (1. és 10. egység).

3. lépés – Felfedezési kérdések generálása mesterséges intelligencia segítségével. „Milyen hírt rejthet ez az adathalmaz?” Kezdd azzal, hogy mondod. Az AI feltesz egy listát a kérdésekről: top 10 tétel, ismétlődő beszállítók, szokatlan ugrások, üresen hagyott területek.

4. lépés – NE KÉSZÍTSÜK AZ ELEMZÉST, IS ÍRJA LE. Ez a kritikus pont. Az AI által fejben kiszámított átlag vagy százalék gyakran rossz. Ehelyett kérje meg a mesterséges intelligencia azon lépéseket, amelyeket egy megbízható eszközben (táblázatképlet, lekérdezés, szkript) futtatna. Így a kalkulációt auditálható eszközzé téve az AI csak megadja a módszert.

5. lépés – Ellenőrizze a leletet. Tekintse meg az összes anomáliát, amelyre az AI rámutat, ha visszatér a nyers vonalhoz. Szűrje le a táblázatot, és számolja meg a "40 pályázatból 31-et ez a cég nyert" követelést. Az ellenőrizetlen számok nem fognak bekerülni a hírekbe.

6. lépés – Hozza létre a kontextust. A szám önmagában nem hír. Az összehasonlítás (tavaly hasonló intézmények, népességarány), a kontextus és a szakvélemény az újságíró dolga.

Figyelem: Ha a mesterséges intelligencia azt mondja, hogy "számítsa ki ennek a táblázatnak az átlagát", és az eredményt közvetlenül a hírekbe írja be, az az adatújságírás leggyakoribb felelősségkizárás-előállító hibája. Az AI egy nyelvi modell, nem egy számológép. Számolja ki az eszközt, csak kérdezze meg az AI-t a módszerről és az értelmezésről.

Metaadat- és dokumentumelemzés

Az oknyomozó újságírás a numerikus táblázatok mellett nagy szövegarchívumokkal is foglalkozik: e-mailekkel, jegyzőkönyvekkel, szerződésekkel. Itt a mesterséges intelligencia kapcsolati térképeket készíthet, például "ki kivel beszélt mikor", "melyik téma ismétlődik", "mely neveket említenek együtt". A szabály ismét ugyanaz: az AI egy kezdeti térképet ad; Minden hivatkozás megerősített az eredeti dokumentumban, mert a mesterséges intelligencia meggyőzően magyarázza a nem létező hivatkozást.

három mini tok

1. eset – Rejtett páralecsapódás. Egy riporternél volt egy 2400 soros közbeszerzési táblázat. Feltáró kérdéseket készített az MI-vel; A "hány ajánlatot kapott ugyanaz a szállító?" előtérbe került. A riporter ezt nem számolta ki az MI-vel; Futtatta az YZ által javasolt táblázatos képletet, és azt találta, hogy egyetlen cég 2400 tételből 380-at (15,8%) kapott. Kézzel ellenőrizte, és a szám helyes volt. A mesterséges intelligencia kezdeti „becslése” 22%-ot közölt – tehát ha megbíznának az AI-ban, a hír rossz lenne.

2. eset – Időmegtakarítás, e-mail archívum. Napokba telne manuálisan megkeresni, hogy „milyen témákról van szó” egy 6000 e-mailt tartalmazó archívumban. Az AI 15 perc alatt elkészítette a témacsoportok vázlatát; Ezek közül a riporter kiválasztott 3 ígéretes klasztert, és elolvasta az eredeti e-maileket. A teljes felderítési idő ~3 napra csökkent, de az eredeti e-mailből minden közzétett ajánlatot szó szerint ellenőriztek.

3. eset – Elkapott hallucináció. Egy gazdasági riporter kapott egy összegzést az YZ-től, miszerint "egy év alatt 60%-kal nőttek a személyi jellegű ráfordítások" egy mérlegből. Amikor visszatért a nyers táblázathoz, látta, hogy a növekedés 6%-os volt, és az AI félreolvasott egy számjegyet. Egyetlen tényellenőrzés blokkolt egy hamis és hivalkodó címet, mint például a „60%-os robbanás”.

Másolható sablonok

1) Adatkészlet felismerési és felfedezési kérdések:

Megadom az oszlopfejléceket és egy adatkészlet első 20 sorát. Generáljon 10 újságírói kérdést, amit ezekkel az adatokkal meg lehet tenni: koncentráció tekintetében, kiugró érték, ugrás az időben, hiányzó/üres területek, visszatérő szereplők. Nincs szám számítás; csak írja meg, mely kérdéseket érdemes feltenni, és miért jelenthetnek híreket.Adatok: [címek + mintasorok]

2) Ne végezzen számításokat, hanem írja le őket:

A következő elemzést szeretném elvégezni: [pl. keresse meg az ajánlat teljes összegét és az egyes szállítók részesedési százalékát]. Ezt magam is szeretném futtatni egy táblázatban. Írja meg lépésről lépésre, hogy mely képleteket/pivot beállításokat kell telepíteni. SEN számítás eredménye; csak adja meg a módszert.Saját oszlopok: [oszlopnevek]

3) Outlier vadászat:

Az alábbiakban összefoglaló statisztikákat (min, max, átlag, medián) adok. Magyarázza el, mely értékek szokatlanok/gyanúsak, és miért érdemes ellenőrizni őket, hogy vannak-e hírek. Ne hozzon végső ítéletet; Megjelenik egy ellenőrző lista "a következő sorokat kézzel kell ellenőrizni" formátumban. Összefoglalók: [itt]

4) Irattári kapcsolati térkép (vázlat):

Adok egy sor dokumentumszöveget. Vázlatként adja ki a következőket: gyakran együtt előforduló nevek, visszatérő témák, nevezetes dátumok. Jelölje meg azt a dokumentumot, amelyből az egyes hivatkozások származnak, például [B12]. Ne adjon hozzá olyan kapcsolatokat, amelyek nincsenek kifejezetten megírva a dokumentumban. Dokumentáció: [itt]

Gyenge felszólítás / Erős felszólítás

Gyenge felszólítás: "Elemezze ezt a diagramot, és közölje a jelentős megállapításokat."

Eredmény: A mesterséges intelligencia százalékokat és átlagokat állít fel, anomáliákat képzel el, nem világos, hogy melyik vonalon alapul. Nem ellenőrizhető.

Hatékony felszólítás: "A táblázat oszlopait és első 20 sorát megadom. (1) Sorolja fel, mely elemzések lehetnek hírértékűek. (2) Javasoljon táblázatos képletet minden elemzéshez, hogy lefuthassam. (3) Ne számítson eredményt. (4) Jelölje meg az ellenőrizni kívánt sorokat, például [S45]."

Különbség: Az erős felszólítás a számítást a vezérelhető eszközre hagyja, az AI a módszer és az irány szerepére redukálja; megakadályozza, hogy hallucináció szivárogjon a számba.

összehasonlító táblázat

Színpad

Az AI igen

Az újságíró igen

ellenőrzése

Az adatok felismerése

Oszlop/minta összefoglaló

Ismeri az egységet és a kontextust

Forrásadat-szótár

felfedezési kérdések

Létrehoz egy kérdéslistát

Kiválasztja a hírértéket

számítás

Leírja a módszert

Futtatja a képletet a járműben

Kézi kiépítés

kiugró

megjelöli a jelölteket

Nyers vonalat néz

Szűrés és számolás

Megjegyzés/kontextus

vázlatos keret

Összehasonlítás, szakértő

második forrás

Gyakori hibák

  • Az AI kiszámítása. Az AI kiszámítja az átlagot, százalékot, összesítést stb., és használja az eredményt; Az AI gyakran hibázik, hagyja, hogy a jármű számoljon.
  • Nem kapcsolja össze a leletet a nyers sorral. "Ez a cég nyerte a legtöbb pályázatot" állítás a táblázat szűrése és számolás nélkül.
  • Számok publikálása kontextus nélkül. A puszta számok jelentése összehasonlítás és arány nélkül félrevezető.
  • Érzékeny adatok feltöltése, ahogy vannak. Személyes adatok vagy a forrást felfedő dokumentum átadása a járműnek tisztítás nélkül.
  • Azt gondolva, hogy a hamis kapcsolat igaz. Az archívumban az AI által "látott" hivatkozás feldolgozása a térképbe anélkül, hogy az eredeti dokumentumban megerősítené.

Összefoglalva

Az adatújságírásban az AI felfedező és betekintési partner: átvizsgálja a halmot, kérdéseket generál fel, leírja az elemzés módszerét, megjelöli a kiugró értékek jelöltjeit. De az a legkockázatosabb hiba, hogy az MI magát a számot számítja ki; Szervezzük ki a számítást egy auditálható eszközre, ellenőrizze az egyes megállapításokat a nyers adatokhoz való visszatéréssel, és adja hozzá a kontextust és az összehasonlítást a számhoz. A dokumentumarchívumokban az AI kiindulási térképet ad; Minden hivatkozás megerősített az eredeti dokumentumban.

Pályázati feladat

Vegyen egy adatkészletet, amely rendelkezik (vagy nyilvánosan elérhető). Először 10 kérdést generáljon a „Felfedezési kérdések” prompt segítségével. Válasszon ki egy kérdést, szerezze be a képletet az AI-ból a „Számítás leírása” parancssorral, és futtassa le saját maga. Ezután kérje meg közvetlenül az AI-t ugyanerre a számításra, és hasonlítsa össze a két eredményt; Vegye figyelembe a különbséget és a tanulságot.

ellenőrző lista

  • [ ] Megértettem az oszlopokat, mértékegységeket és érzékeny mezőket, mielőtt megadtam volna az adatokat az eszköznek.
  • [ ] Nem hagyom, hogy az AI végezze el a számításokat; Leírom a módszert és futtatom az auditálható eszközben.
  • [ ] Minden egyes leletet manuálisan ellenőrizek úgy, hogy visszatérek a nyers sorhoz.
  • [ ] Összehasonlítást és kontextust adok a számhoz; Nem a puszta számokról számolok be.
  • [ ] Megerősítek minden kapcsolatot az archívumban az eredeti dokumentumban.