Enhet 5 / 12

Juridisk forskning och rättsvetenskap: Verifieringsskyldigheten

Vinster:

  • Förmåga att omvandla en juridisk fråga till ett forskningsbart ramverk och göra förundersökningar med AI
  • Förmåga att känna igen risken för påhittad juridik/citering (hallucination) och verifiera varje källa från den primära texten
  • Förmåga att etablera ett arbetsflöde som använder AI som en idégenerator och överlåter den slutliga auktoriteten till officiella källor

Denna enhet bär den mest kritiska varningen för hela modulen. Artificiell intelligens (AI) kan ge ett flytande, övertygande och mycket självsäkert svar på en juridisk fråga; Problemet är att detta svar kan vara baserat på en icke-existerande lag, ett påhittat domstolsbeslut eller en falsk referens. Detta kallas hallucination: när modellen producerar information som verkar vara verklig men som faktiskt är tillverkad. Det finns incidenter i världen där advokater presenterar falska beslut som fattats av AI för domstolen och tror att de är verkliga och riskerar böter, förlust av rykte och disciplinära sanktioner. Det är därför den här enheten har en järnregel: AI gör preliminär forskning; Den yttersta auktoriteten är alltid den primära källan.

Låt oss förtydliga villkoren. Rättspraxis är de avgöranden som domstolarna fattar i liknande mål och anses vägledande. Den primära källan är själva lagtexten: texten till gällande lag/förordning och texten till det officiella beslutet (t.ex. Officiella tidningen, beslut som publiceras av domstolen själv). Sekundära källor är artiklar, kommentarer och kommentarer skrivna till dem. En hänvisning är en formell hänvisning till ett beslut eller en artikel (beslutsnummer, artikelnummer). Verifiering är processen för att verifiera varje tillskrivning som ges av AI från den primära källan själv.

Varför är det så farligt?

AI är en språkförutsägelsemaskin, inte en "databas med fakta." Han har lärt sig hur ett beslutsnummer ser ut, hur man skriver ett resonemang; Därför kan den "producera" ett beslut som faktiskt inte existerar, i rätt format och med en övertygande motivering. Och han gör detta i samma självsäkra ton som han använder när han förmedlar ett verkligt beslut. Så det finns inga uppenbara varningstecken på en hallucination; Bara för att det "ser säkert ut" betyder det inte att det är pålitligt.

Den andra faran är aktualitet: AI:s träningsdata stängs av vid ett visst datum. Modellen kanske inte känner till ändrad lagstiftning, avskaffade artiklar eller ny rättspraxis efter detta datum; Dock kan modellen presentera gammal/felaktig information som aktuell.

Varning: IGNORERA ett AI-beslutsnummer, artikelnummer eller citat om det inte har verifierats från den primära källan. Det finns ingen kategori av "förmodligen sant"; I lag är referensen antingen verifierad eller oanvändbar.

Säkert forskningsarbetsflöde

Sättet att använda AI på ett säkert sätt i juridisk forskning är att positionera den som en "tänkande partner" snarare än en "telefonsvarare." Steg för steg:

  1. Rama in frågan. Förtydliga händelsen, den juridiska frågan och vilket rättsområde (affärer, kommersiella, skulder) du frågar.
  2. Använd AI som en idé/ramverksgenerator. Möjliga argument, begrepp att titta på, motsatta åsikter.
  3. Be inte om konkreta referenser – be om en sökterm. Istället för att be AI:n att göra ett beslutsnummer, fråga efter nyckelbegrepp och termer som du kommer att söka i den officiella databasen.
  4. Verifiera varje källa från den primära. Varje punkt/beslut som fattas bekräftas av den officiella lagstiftningen och beslutstexten.
  5. Kontrollera om det är aktuellt. Kontrollera om artikeln är i kraft och om den har ändrats.
  6. Den slutliga utsikten skapas av människor. AI producerar utkast till argument; Rättsuppfattning och ansvar tillhör advokaten.

Din roll: en juridisk forskningsassistent. DU ÄR INTE den slutgiltiga auktoriteten. Ämne: [kort sammanfattning av ärendet och juridisk fråga]. Gör:1) Lista de juridiska begreppen och möjliga argumentationslinjer som bör tittas på för att analysera denna fråga.2) Föreslå NYCKELVILLKOR och begrepp som jag kommer att leta efter i officiell lagstiftning och beslutsdatabaser (besluts-/hänvisningsnummer PASSAR PASSAR DU BESLUT OCH ÄR MÖJLIG sida av lagen). nummer, skriv "VERIFIERAD - bekräfta från primär källa" bredvid. Om du inte är säker, säg "Jag vet inte"; Gissar inte.

Om AI fortfarande producerar konkreta attributioner är det nödvändigt att placera dem i en verifieringskö. Att få själva AI:n att säga "verifiera detta" är inte verifiering; Verifiering görs av människor, på den officiella källan.

Nedan följer de referenser jag tänker använda i mitt utkast till argument. Ta fram en VERIFIKATIONSCHECKLISTA för var och en: (a) vilken officiell källa som ska sökas, (b) vad som behöver bekräftas (artikelns effektivitet, existensen av beslutet och dess innehåll), (c) vad man ska göra om det inte kan verifieras. Antag INTE att tillskrivningar är korrekta; berätta bara för mig hur man verifierar.

Svag prompt / Stark prompt

Svag uppmaning: Ge de tidigare besluten från Högsta domstolen och relevanta artiklar om detta ämne med deras nummer.

Resultat: beslutsnummer och artiklar som visas i rätt format, med övertygande resonemang, men som kan vara helt eller delvis påhittade. Att använda dem utan att verifiera dem är ett allvarligt professionellt misstag.

Kraftfull uppmaning: [assistentroll + "du är inte den slutgiltiga auktoriteten" + koncept-/argumentanalys + sökterm istället för beslutsnummer + "MÅSTE VERIFIERA"-tagg + "om du inte är säker, säg att jag inte vet" + separat checklista för verifiering]

Resultat: Ett forskningsstöd som påskyndar ditt tänkande men som inte drar in dig i påhittade referenser, och som lägger all konkret information i kön för verifiering.

Var man ska använda AI och var man inte ska använda den

Quest

Är AI lämplig?

Varför

Generering av argument/motargument

Ja (utkast)

Ger mångfald av idéer

Föreslå begrepp och söktermer

Ja

Påskyndar forskningen

Förenkla/sammanfatta text

Ja (med verifiering)

Baserat på den givna texten

Konkret beslut/artikelnummer

Nej (utan verifiering)

Hög risk för hallucinationer

Senaste versionen av gällande lagstiftning

Nej (ensam)

Träningsdata kan vara inaktuella

Slutligt juridiskt yttrande

nej

Ansvar och auktoritet tillhör människor

Tre minifodral

Fall 1 — Bedrägliga beslut. En advokat bad AI om "prejudikatbeslut" till stöd för en framställning och lade till fyra av de sex besluten till framställningen utan verifiering. När motparten visade att inget av besluten fanns tappade advokaten både förtroendet för ärendet och ställdes inför den disciplinära processen. Därefter gjorde byrån det till en skriftlig policy att "ingen tillskrivning från AI kommer in i filen utan verifiering från den primära källan"; nästa kvartal sjönk antalet overifierade citat till noll.

Fall 2 – Upphävd artikel. En efterlevnadsexpert var på väg att sätta upp en process baserad på en förordningsartikel som AI hade refererat till. Under uppdateringskontrollen insåg han att artikeln hade ändrats för ett år sedan; AI:s träningsdata var föråldrade. Experten satte upp processen enligt den aktuella texten. Lektion: AI-regleringsinformation är en "ögonblicksbild" och kan vara föråldrad.

Fall 3 — Korrekt användning. Ett juridiskt team använde AI enbart för att skapa en argumentkarta och sökterm på en komplex konkurrensrättslig fråga. AI:n föreslog 9 koncept att titta på och 4 möjliga motargument; Teamet hittade och verifierade faktiska beslut i dessa termer i den officiella databasen. Den konceptuella förberedelsefasen av forskningen halverades; men ingen tillskrivning användes utan verifiering från AI. Hastighet uppnådd, tillförlitlighet bibehållen.

Vanliga misstag

  • Be om beslutet/artikelnumret direkt från AI:n och använda det utan verifiering. Detta är det vanligaste och allvarligaste misstaget.
  • Att lita på, "Han verkar säker." Säker ton är inte bevis på sanning.
  • Går förbi färskhetskontrollen. Regulatorisk kunskap om AI är frusen i utbildningens historia; kan missa ändringar.
  • Låt AI:n verifiera sin tillskrivning. Den kan inte tillförlitligt upptäcka modellfel på egen hand; Verifiering görs på den officiella källan.
  • Misstag AI för den ultimata auktoriteten. AI är ett preliminärt forskningsverktyg; Den juridiska åsikten och ansvaret ligger hos människan.
  • Håller inte spår av källan. Att inte registrera vilken tillskrivning som verifierades varifrån skapar en lucka i revision och försvar.

Sammanfattningsvis

Inom juridisk forskning är AI en kraftfull tänkande partner men en farlig "telefonsvarare". Den största risken är hallucinationer, det vill säga påhittade bedömningar och tillskrivningar; Det andra är aktualitet, det vill säga träningsdata är inaktuella. Den säkra vägen är tydlig: använd AI för att generera argument och söktermer, använd aldrig konkreta referenser utan verifiering, verifiera varje källa från den primära texten och låt människan bilda den slutliga åsikten. AI påskyndar forskningen; Den primära källan och kvalificerade professionella bestämmer vad som är verkligt och giltigt.

Applikationsuppgift

Välj en juridisk fråga (faktisk eller exempel). (1) Få konceptkarta, söktermer och motargument från AI med säker forskningsprompt; Kontrollera att det inte ger något beslutsnummer. (2) Om AI fortfarande fattade ett föremål/beslut, placera det i en valideringskö med valideringschecklistans prompt. (3) Bekräfta en autentisk källa genom att söka i en officiell källa med minst tre av de föreslagna söktermerna. (4) Skriv regeln "Ingen attribution från AI används utan verifiering" i ditt eget arbetsflöde.

checklista

  • [ ] Är AI positionerad som en forskningsassistent snarare än den yttersta auktoriteten?
  • [ ] Efterfrågades ett begrepp och en sökterm istället för en konkret referens?
  • [ ] Är varje föremål/beslut som AI tar märkt "MÅSTE VERIFIERAS"?
  • [ ] Har varje citat verifierats från den primära (officiella) källan?
  • [ ] Har artiklarna kontrollerats för valuta/giltighet?
  • [ ] Fastställdes den slutliga juridiska åsikten av en människa?
  • [ ] Är verifieringskällor och spår registrerade?