единица 2 / 11

Анализ на данни в разследващата журналистика: Превръщане на купища документи в новини

Печалби:

  • Възможност за изследване на набор от данни с изкуствен интелект, генериране на важни въпроси и извличане на чувствителни данни
  • Вместо изкуствен интелект да прави изчисленията, като методът е описан и изпълняван в подлежащ на одит инструмент и придобийте навика да проверявате всяко откритие от необработени данни.
  • Разбиране, че е отговорност на журналиста да изготви извънредни стойности и да документира връзките в архива и да ги потвърди в оригиналния източник.

Разследващата журналистика често започва с купчина: нежна електронна таблица от хиляди редове, баланс от стотици страници, изтекъл имейл архив, набор от публични разходи с отворен код. Журналистиката на данни - практиката за намиране на модели, аномалии и връзки в числени и документални данни и превръщането им в новини - е точно работата за осмисляне на тази маса. В тези купчини, чието разглеждане ръчно ще отнеме цял човешки живот, изкуственият интелект (AI) е мощен инструмент за първи скрининг и генериране на идеи: той може да обобщи таблица, да извлече дублирани имена в текстов архив, да предложи какви въпроси да зададете за анализ, дори да опише стъпки за почистване на данни. Но нека кажем едно изречение от самото начало: AI е партньор в анализирането на данни; Журналистът е този, който решава точността и новинарската стойност на резултата и преразглежда числото от необработените данни. Рискът от халюцинации е най-опасен тук, в цифри.

Стъпка по стъпка: изследване на набор от данни с AI

Стъпка 1 — Запознайте се с данните. Първо разберете колоните, броя на редовете, периода от време, единиците. Знайте сами какво представлява, преди да заредите необработения файл в AI; В противен случай „констатациите“ на AI остават във въздуха.

Стъпка 2 — Извличане на чувствителни данни. Ако съдържа лични данни (име, TR ID, адрес, здравословно състояние), анонимизирайте го, без да го предоставяте на публичния AI инструмент, или изпратете само колоните за анализ. Разчистват се и следи от изтекли документи, които разкриват източника (блокове 1 и 10).

Стъпка 3 — Генерирайте въпроси за откриване с AI. „Какви новини може да крие този набор от данни?“ Започнете, като кажете. AI измисля списък с въпроси, които да зададете: топ 10 артикула, повтарящи се доставчици, необичайни скокове, области, оставени празни.

Стъпка 4 — НЯМАТЕ AI НАПРАВЕТЕ АНАЛИЗ, ОПИСЕТЕ ГО. Това е критичната точка. Средната стойност или процентът, който AI изчислява наум, често е грешен. Вместо това попитайте AI за стъпки, които бихте изпълнили в надежден инструмент (формула за електронна таблица, заявка, скрипт). По този начин превръщайки смятането в инструмент за проверка, AI просто дава метода.

Стъпка 5 — Проверете находката. Вижте всяка аномалия, която AI посочва, като се върнете към необработената линия. Филтрирайте таблицата и пребройте твърдението "Тази фирма спечели 31 от 40 търга". Всички непотвърдени числа няма да попаднат в новините.

Стъпка 6 — Установете контекста. Само числото не е новина. Сравнението (минала година, подобни институции, съотношение спрямо населението), контекстът и експертното мнение са работа на журналиста.

Внимание: Да накарате изкуствения интелект да каже „изчислете средната стойност на тази таблица“ и да поставите резултата директно в новините е най-честата грешка на журналистиката с данни, създаваща отказ от отговорност. AI е езиков модел, а не калкулатор. Накарайте инструмента да направи изчисленията, просто попитайте AI за метода и интерпретацията.

Анализ на метаданни и документи

Освен цифрови таблици, разследващата журналистика борави и с големи текстови архиви: имейли, протоколи, договори. Тук изкуственият интелект може да съставя карти на взаимоотношенията като „кой с кого е говорил кога“, „коя тема се повтаря“, „кои имена се споменават заедно“. Отново правилото е същото: AI дава първоначална карта; Всяка връзка е потвърдена в оригиналния документ, тъй като AI може убедително да обясни връзка, която не съществува.

три мини калъфа

Случай 1 — Скрита кондензация. Един репортер разполагаше с таблица за обществените поръчки с 2400 реда. Той накара AI да създаде проучвателни въпроси; Въпросът "колко търга е получил един и същи доставчик?" излезе на преден план. Репортерът не е накарал AI да изчисли това; Той използва формулата за електронна таблица, предложена от самия YZ, и открива, че една фирма е получила 380 (15,8%) от 2400 елемента. Той го провери ръчно и номерът беше правилен. Първоначалната "оценка" на AI каза 22% - така че ако трябваше да се вярва на AI, новините биха били грешни.

Случай 2 — Спестяване на време, имейл архив. Ръчното търсене на „какви теми се случват“ в архив от 6000 имейла ще отнеме дни. AI изготви очертание на тематични групи за 15 минути; От тях репортерът избра 3 обещаващи клъстера и прочете оригиналните имейли. Общото време за откриване беше намалено до ~3 дни, но всеки цитат, който беше активен, беше потвърден дословно от оригиналния имейл.

Случай 3 — Уловена халюцинация. Икономически репортер получи резюме от YZ, че "разходите за персонал са се увеличили с 60% за една година" от баланс. Когато се върна към необработената таблица, той видя, че увеличението е 6% и че AI е разчел погрешно една цифра. Една единствена проверка на фактите блокира фалшиво и претенциозно заглавие като „60% експлозия“.

Копируеми шаблони

1) Въпроси за разпознаване и откриване на набор от данни:

Ще ви дам заглавията на колоните и първите 20 реда от набор от данни. Генерирайте 10 журналистически въпроса, които МОГАТ да бъдат направени с тези данни: по отношение на концентрация, отклонение, скок във времето, липсващи/празни области, повтарящи се актьори. Без изчисляване на числа; просто напишете кои въпроси си струва да зададете и защо могат да станат новини. Данни: [заглавия + примерни редове]

2) Не правя изчисления, а ги карам да описват:

Искам да направя следния анализ: [напр. намерете общата сума на търга и процент на дял на всеки доставчик]. Искам да стартирам това сам в електронна таблица. Пишете ми стъпка по стъпка кои настройки на формули/пивот да инсталирам. Резултат от изчисляването на SEN; просто дайте метода. Моите колони: [имена на колони]

3) Лов на извънредни:

По-долу ще дам обобщена статистика (мин., макс., средно, медиана). Обяснете кои стойности са необичайни/подозрителни и защо трябва да ги проверя за новини. Не правете окончателни преценки; Появява се контролен списък във формат "следните редове трябва да бъдат проверени ръчно". Резюмета: [тук]

4) Карта на връзките на архива на документи (чернова):

Ще ви дам набор от текст на документа. Изведете следното като ЧЕРНОВА: имена, които се срещат често заедно, повтарящи се теми, забележителни дати. Маркирайте документа, от който идва всяка връзка, като [B12]. Не добавяйте връзки, които не са изрично записани в документа. Документация: [тук]

Слаба подкана / Силна подкана

Слаба подкана: „Анализирайте тази диаграма и посочете всички значими констатации.“

Резултат: AI прави проценти и средни стойности директно, представя си аномалии, не е ясно на коя линия се основава. Не може да се провери.

Мощна подкана: „Давам колоните и първите 20 реда на тази таблица. (1) Избройте кои анализи може да са достойни за новини. (2) Предложете формула за електронна таблица за всеки анализ, за ​​да мога да го изпълня. (3) Не изчислявайте никакви резултати. (4) Маркирайте редовете за проверка, като [S45].“

Разлика: Силната подкана оставя изчислението на контролируемия инструмент, намалявайки AI до ролята на метод и посока; предотвратява изтичането на халюцинации в числото.

сравнителна диаграма

Етап

AI прави

Журналистът прави

проверка

Разпознаване на данни

Обобщение на колона/модел

Познава единицата и контекста

Речник на изходните данни

въпроси за откриване

Генерира списък с въпроси

Избира стойност на новината

изчисление

Описва метода

Изпълнява формулата в превозното средство

Ръчно осигуряване

отклонение

отбелязва кандидатите

Гледа суровата линия

Филтрирайте и пребройте

Коментар/контекст

чернова рамка

Сравнение, експерт

втори източник

Често срещани грешки

  • Направете AI да изчислява. Наличието на AI изчислява средно, процентно, общо и т.н. и използва резултата; AI прави грешки често, оставете превозното средство да направи сметката.
  • Без свързване на находката към необработената линия. Написване на твърдението "Тази фирма спечели повечето от търговете" без филтриране на таблицата и броене.
  • Публикуване на числа без контекст. Отчитането на чисти числа без сравнение и съотношение е подвеждащо.
  • Качване на чувствителни данни такива, каквито са. Предоставяне на лични данни или документ, разкриващ източника на автомобила, без да го почиствате.
  • Мислейки, че фалшивата връзка е истинска. Обработване на връзката, която AI "вижда" в архива в картата, без да я потвърждава в оригиналния документ.

В обобщение

В журналистиката на данни AI е партньор за откриване и прозрение: той сканира купчината, генерира въпроси за задаване, описва метода на анализ, маркира кандидати за извънредни стойности. Но AI да изчисли самото число е най-рискованата грешка; Възложете изчислението на подлежащ на проверка инструмент, проверете всяка констатация, като се върнете към необработените данни и добавете контекст и сравнение към числото. В архивите на документи AI дава начална карта; Всяка връзка е потвърдена в оригиналния документ.

Задача за приложение

Вземете набор от данни, който имате (или е публично достъпен). Първо, накарайте ги да генерират 10 въпроса с подканата „Проучвателни въпроси“. Изберете въпрос, вземете формулата от AI с подканата „Опишете изчислението“ и я изпълнете сами. След това попитайте директно AI за същото изчисление и сравнете двата резултата; Обърнете внимание на разликата и поуката от нея.

контролен списък

  • [ ] Разбрах колоните, единиците и чувствителните полета, преди да дам данните на инструмента.
  • [ ] Не позволявам на AI ​​да прави изчисленията; Описвам метода и го изпълнявам в инструмента за проверка.
  • [ ] Ръчно проверявам всяка констатация, като се връщам към необработения ред.
  • [ ] Добавям сравнение и контекст към числото; Не съобщавам голите числа.
  • [ ] Потвърждавам всяка връзка в архива в оригиналния документ.