Enhet 10 / 11

Forskning och faktaverifiering: Risk för källor, citat och påhittade källor

Vinster:

  • Förmåga att använda artificiell intelligens som en startkarta i forskningsprocessen och koppla varje fakta och citat till den primära källan
  • Förmåga att känna igen risken för påhittade källor, falska citat och falska datum (hallucinationer) och tillämpa systematisk verifiering
  • Förmåga att redigera forskningsanteckningar, bibliografi och faktachecklista med stöd för artificiell intelligens och bibehålla artikelns tillförlitlighet

Den osynliga ryggraden i bra skrivande är forskning. Ett datum, en statistik, ett citat, ett vetenskapligt fynd – dessa bär på textens trovärdighet. Ett enda falskt faktum kan förstöra trovärdigheten för ett helt verk. Artificiell intelligens (AI) verkar vara förföriskt användbar i forskningsprocessen: den ger ett omedelbart, flytande, säkert svar på varje fråga. Men häri ligger författarskapets farligaste fälla: AI kan producera källor, citat, datum och fynd som faktiskt inte existerar, som om de vore sanna. Vi kan sammanfatta denna enhet i en mening: AI kan vara startkartan för forskning, men den kan aldrig bli den slutliga resursen.

Hallucinationer: den mest lömska risken

Hallucination är när AI presenterar icke-existerande information på ett säkert och flytande språk. Enligt forskning är de farligaste formerna av detta:

Tillverkad källa: AI kan tillverka en bok, artikel eller rapport som faktiskt inte existerar; Dessutom med realistiskt författarnamn, årtal och tidskriftsinformation. "Yılmaz, A. (2019). Digital Literacy. Journal of Communication, 14(2)." – låter verkligt, men kanske inte är det.

Falskt citat: AI kan tillskriva ett citat till en verklig person som de aldrig sa. Ger namnet på en känd författare och en mening som den författaren aldrig har yttrat.

Felaktigt datum/tal: Kan ge felaktigt datum för en händelse, en statistik, en procentsats; alla med samma exakta ton.

Förvirrat faktum: Kan blanda ihop två sanna fakta och producera en falsk kombination (som att tillskriva en persons uttalande till en annan).

Vad dessa risker har gemensamt: de ser alla flytande och övertygande ut. Flytande är inte noggrannhet. Det enda skyddet är systematisk verifiering som länkar till den primära källan.

Varning: Fråga AI:en "är den här källan på riktigt?" Att fråga är INTE en metod för verifiering. AI kan också bekräfta källan den skapade som "ja, den är äkta". Verifiering görs utanför AI:n, vid den primära källan: öppnar tidskriften, boken, själva databasen och hittar den.

AI:s legitima forskningsroll

Trots alla dessa varningar är AI inte värdelös i forskning; endast dess roll är begränsad. Legitima användningsområden:

Startkarta: Bestämma var man ska börja med ett ämne, vilka underrubriker som finns och vilka begrepp som behöver undersökas. Det här är listor över saker att leta efter, inte svar.

Begreppsförtydligande: Att förstå en obekant term på egen hand (för att sedan verifiera den från källan).

Frågegenerering: "Vilka frågor ska jag ställa om detta, vad kan jag ha missat?" AI är bra på att peka ut punkter av blindhet.

Redigering: Sammanfatta, kategorisera och formatera bibliografin för dina insamlade (verifierade) anteckningar.

Tabellen nedan sammanfattar vad AI är och inte är bra för inom forskning:

Quest

Är AI lämplig?

notera

Introduktionskarta till ämnet

Ja

Bara riktning, inte svara

Genererar frågor att söka

Ja

Visar blindhetspunkter

Ange källa/citat

nej

Det kan göras på; verifiera från primär

Exportera historik/statistik

nej

Det kan vara fel; köpa från källan

Redigera verifierade anteckningar

Ja

Du samlar, AI organiserar

Systematiskt verifieringsflöde

En regel för varje fakta: gå till den primära källan. En primär källa är där information först publiceras: original forskningsartikel, officiell statistikmyndighet, egen bok/intervju, originaldokument. Vad AI (och till och med sekundära sammanfattningar) säger är ett "påstående" tills det har verifierats, inte ett "faktum".

Verifieringsflöde:

  1. Markera: När du skriver, markera varje fakta, datum, citat och nummer med taggen [VERIFY].
  2. Hitta primär källa: Öppna källan själv för varje taggat objekt; Finns det någon, stämmer dess innehåll med vad som sägs?
  3. Korskontroll: Verifiera kritiska fakta från minst två oberoende tillförlitliga källor.
  4. Föra register: Notera källan till varje verifierat faktum; I publicering kommer bibliografin från denna anteckning.

Du kan använda AI i redigeringsdelen av detta flöde:

Sammanhang: Nedan finns de anteckningar jag har samlat in och VERIFIERAD från den PRIMÄRA källan, med källan skriven bredvid varje anteckning. Uppgift: Gruppera dessa anteckningar efter tema och föreslå en titel för varje grupp. LÄGG INTE TILL några påståenden utan källa; Fakta, datum eller citat som jag inte gav är FAKE. Markera de saknade delarna som "källan saknas här".

Du kan också använda AI som en "skeptiker":

Uppgift: Lista ALLA faktapåståenden, datum, siffror och citat som behöver verifieras i texten nedan. För var och en, skriv ner "vilken typ av primärkälla ska verifieras?" Svara INTE på det själv; Endast verifieringslistan visas.

Primär, sekundär och tertiär källa

Att känna till källhierarkin vid validering gör ditt jobb tydligt. En primär källa är där information produceras i första hand: den ursprungliga forskningsartikeln, den officiella statistiktabellen, den egna boken, domstolsbeslutet, originaldokumentet. En sekundär källa är den text som tolkar eller förmedlar det primära: ett nyhetsreportage, en recension, en encyklopediartikel. Tertiära källor är sammanställningar som sammanställer sekundära källor. Utdata från AI är som en tertiär sammanfattning i bästa fall; För det mesta är den ännu svagare än så, eftersom den inte kan visa sin källa och kan ta igen den. Regel: ju mer kritiskt faktum, desto mer primärt bör du gå. En sekundär källa kan vara tillräcklig för atmosfären i en roman; En primär källa krävs för ett hälsopåstående, ett datum eller ett uttalande som tillskrivs en person. Använd AI på lagret "var ska jag titta" längst ner i denna pyramid, aldrig på lagret "det här är sanningen" överst.

Tips: När du placerar ett overifierat faktum i din text, lämna en synlig [VERIFY]-tagg bredvid den och skicka inte in texten med några meningar som bär denna tagg. Etiketter är en enkel men livräddande vana som gör bortglömda fakta synliga och säger "jag ska titta på dem senare".

tre minifodral

Fall 1 – Falsk artikel. En författare skrev att YZ gav "2020, Journal of Media Studies, Demir et al." lägg in källan direkt i litteraturförteckningen. En läsare fann att en sådan artikel inte existerade. Författaren var tvungen att verifiera hela bibliografin från den primära, vilket resulterade i ytterligare två apokryfiska källor. Lektion: ingen källa ingår i artikeln utan att den hittas personligen.

Fall 2 — Korrekt användning. En journalist startade ett komplext ämne med AI: extrahera underrubriker och frågor att ställa. Sedan samlade han in varje fakta från den officiella statistikmyndigheten och från en-mot-en-intervjuer; Han använde AI endast för att redigera anteckningar som han verifierade. Skriften kom ut snabbt och solid; Inte ett enda påhittat faktum passerades.

Fall 3 — Falskt citat. En talare inkluderade i sin presentation ett "inspirerande" citat som tillskrivs en berömd AI-forskare. Löftet gjordes upp; någon i publiken lade märke till och talarens trovärdighet skadades. Det korrekta sättet: var att verifiera citatet från sin egen bok/tal.

Svag prompt / Stark prompt

Svag uppmaning:

Ge mig 5 akademiska källor och ett citat om detta ämne.

Denna uppmaning uppmanar AI att tillverka resurser; Resultatet ser realistiskt ut men är sannolikt inte verifierbart.

Kraftfull uppmaning:

Din roll: forskningsassistent. Ämne: [ämne]. Uppgift: Det finns 6 UNDERRUBRIKAR som jag behöver forska om detta ämne och 2 frågor som jag måste ställa till var och en. Led mig också till "vilken typ av primära källor (officiell statistik, peer-reviewed tidskrifter, en-till-en intervjuer) kan jag söka?" Visa mig bara var jag ska leta.

Skillnad: AI frågas om riktning, inte svar; Dörren till tillverkning är stängd, verifiering sker hos författaren.

Vanliga misstag

  • Använda resursen som tillhandahålls av AI utan att verifiera den. Den påhittade källan blir en lögn publicerad med din signatur.
  • Att fråga AI:en "är detta sant" och lita på dess svar. AI kan också bekräfta sin egen uppfinning.
  • Att inte verifiera citat från egen källa. Falska citat förstör trovärdigheten.
  • Att vara nöjd med en enda källa. Kritiska fakta kräver korskontroll från minst två oberoende källor.
  • Tänker på AI som den "sista resursen" snarare än "startkartan". AI visar riktning; Den primära källan ger fakta.

Sammanfattningsvis

Inom forskning är AI en kraftfull startkarta och organisatör: extrahera underrubriker, generera frågor, samla in verifierade anteckningar. Men jobbet att tillhandahålla källor, citat, datum och statistik går aldrig att lita på; eftersom han kan hitta på det hela på ett övertygande sätt (hallucination). Gyllene regeln: koppla varje fakta till den primära källan, krysskolla det kritiska, använd inte någon källa som ges av AI utan att hitta den själv. AI talar om var man ska leta; Du bestämmer vad du hittar.

Applikationsuppgift

Välj ett ämne. Få först underrubriker och frågor från AI med mallen "riktning" (INTE källan). Be sedan medvetet AI om en källa/citat och försök att verifiera den källan som primär: finns den verkligen, stämmer dess innehåll med det som sägs? Notera dina resultat (hur många källor verifierades, hur många hittades inte). Gör slutligen en verifieringslista över din egen text med hjälp av mallen "skeptic".

checklista

  • [ ] Använde jag AI för att generera riktning och frågor, inte för resurser?
  • [ ] Har jag markerat alla fakta, datum, citat och siffror med [VERIFY]?
  • [ ] Har jag personligen hittat och verifierat varje källa vid den primära källan?
  • [ ] Har jag krysskollat ​​kritiska fakta mot minst två oberoende källor?
  • [ ] Har jag verifierat citaten med individens egen källa?
  • [ ] Har jag uttryckligen gett regeln "källa/citattillverkning" till AI?