Enota 1 / 11

Umetna inteligenca v akademskem raziskovanju: vloge, meje, validacija in akademska integriteta

Dobički:

  • Biti sposoben razlikovati, kje umetna inteligenca prihrani realni čas v akademskem raziskovalnem toku (literatura, oblikovanje, analiza, pisanje) in kje znanstvena presoja in odgovornost ostajata pri raziskovalcu, glede na stopnjo tveganja naloge
  • Sposobnost uporabe discipline, ki povezuje in preverja vsak izhod umetne inteligence z virom, in razumevanje problema halucinacij (izmišljenega) pripisovanja, ki je najbolj kritično tveganje akademije.
  • Sposobnost sprejetja okvira uporabe, ki je v skladu z institucionalnimi politikami uporabe umetne inteligence in revijami, načeli akademske poštenosti in preglednosti.

Delo raziskovalca vključuje veliko več pisanja, branja in urejanja, kot se zdi: skeniranje na stotine člankov, njihovo povzemanje, piljenje raziskovalnega vprašanja, oblikovanje metod, analiziranje podatkov, prepis rezultatov, oblikovanje citatov, izbiranje revij, odgovarjanje na komentarje recenzentov. Velik del tega dela se ponavlja, zamudno in moteče; Krade tisto, kar je resnično dragoceno, izvirno razmišljanje in interpretacijo. Umetna inteligenca (AI) – računalniški programi, ki lahko razumejo človeški jezik in ustvarijo rezultate, kot so besedilo, povzetki, koda, osnutki itd. – je močan pripomoček za pospešitev tega ponavljajočega se bremena. V tem modulu AI ne obravnavamo kot čarobni vir informacij; Naučili se ga bomo uporabljati kot pomočnika pri raziskovanju, izdelavi osnutkov, podajanju idej in urejanju.

Toda že na samem začetku povejmo najpomembnejši stavek, specifičen za akademsko sfero: AI ne sprejema znanstvenih odločitev namesto raziskovalca; izdela osnutek, znanstveno presojo in odgovornost nosi raziskovalec. V akademskem svetu je to pravilo še strožje kot v drugih poklicih, saj je valuta znanosti zaupanje, osnova tega zaupanja pa je, da je vsaka trditev povezana s preverljivim virom.

Ta prva enota postavlja tri temelje: razlikovanje, kje umetna inteligenca deluje in kje naj ostane v raziskovalnem delovnem toku; preverjanje vsakega izhoda; Sprejeti načelo akademske poštenosti in transparentnosti. Ti trije so osnovna varnostna osnova za vse naslednje enote.

Kje AI prihrani čas, kje odločitev pripada raziskovalcu?

Pomaga razmišljati o raziskovalnih nalogah glede na stopnjo tveganja. Stopnja tveganja je, koliko škode bi povzročila znanstveni evidenci, če bi bila izvedena nepravilno.

Naloge z nizkim tveganjem, ki jih umetna inteligenca zelo pospeši: ustvarjanje strategije iskanja (ključna beseda, sopomenka), izdelava začetnega povzetka dolgega besedila, poenostavitev jezika odstavka, predlaganje naslova tabele, možganska nevihta, razlaga koncepta na različne načine, oblikovanje strukture orisa. Tukaj AI rešuje problem "prazne strani"; popravite, preverite in obogatite.

Naloge srednjega tveganja, izdelane z umetno inteligenco, ki zahtevajo strogo preverjanje: priporočilo za izbiro statističnega testa, osnutek kode, oblikovanje citatov, osnutek interpretacije ugotovitve, primerjava možnosti metod. Tu umetna inteligenca zagotavlja hitrost, vendar je treba vsako številko, vsako oznako, vsak logični korak potrditi ročno.

Visoko tvegane naloge, kjer je odločitev prepuščena izključno raziskovalcu: dokončna določitev hipoteze in metode, odločitev, kaj podatki pomenijo, presoja, ali je ugotovitev smiselna, odločitve znotraj etične komisije (IRB), odločitev, ali vir dejansko obstaja in podpira trditev, izjava o avtorstvu in prispevku. Te odločitve določajo zanesljivost znanstvenih zapisov; Odgovornost in zadnja beseda vedno pripada raziskovalcu.

Pozor: "AI je rekel" ni utemeljitev. Urednik revije ali žirija diplomske naloge ne bo sprejela izjave "moj model ga je proizvedel tako." Nepreverjen rezultat AI je kot nepreverjena govorica.

Zakaj je preverjanje potrebno? Halucinacija in izmišljeno pripisovanje

Umetna inteligenca ne proizvaja besedila tako, da "ve", ampak tako, da "predvidi možno besedo". Zato včasih daje zelo tekoče, a dejansko napačne informacije. To se imenuje halucinacija (izmišljotina). Najnevarnejša oblika tega v akademskem svetu je lažno pripisovanje: umetna inteligenca ustvari ime avtorja, leto, revijo ali celo DOI (identifikator digitalnega objekta – stalni naslov publikacije), ki se zdi resničen, vendar ta vir nikoli ni obstajal. Če raziskovalec to uporabi brez preverjanja, daje trditev na podlagi študije, ki ne obstaja; To vodi v zavrnitev teze, umik članka in izgubo ugleda.

Druga težava je izkrivljanje: ko povzema članek, lahko umetna inteligenca pretirava z ugotovitvijo in povzema študijo, ki pravi, da "ni bilo pomembne razlike", kot "ugotovljena je bila pomembna razlika." Tretja je pristranskost: AI ponavlja trende v podatkih, na katerih se usposablja; Lahko izpostavi določeno šolo, jezik ali stališče in naredi literaturo videti izkrivljeno.

Zaradi teh omejitev predlagamo preprosto disciplino preverjanja veljavnosti za vsak izhod:

  1. Povežite ga z virom. Poiščite in preverite dejanski vir (članek, baza podatkov, DOI) za vsako dejstvo, datum, številko, citat in še posebej za vsak citat.
  2. Preverite znova. Ročno preveri numerične ali logične izhode (statistični rezultat, vzorčni izračun).
  3. Znanstveni filter. "Ali je ta trditev skladna z znano literaturo na mojem področju?" rešite z lastnim strokovnim znanjem.
  4. Prevzemite odgovornost. V trenutku, ko ga objavite v svoji publikaciji ali diplomski nalogi, je ta stavek vaš; Morebitne napake so vaša odgovornost.

Akademska poštenost in transparentnost

Akademska integriteta zagotavlja, da je delo resnično vaš izvirni prispevek in da so vsi viri pošteno navedeni. Uporaba umetne inteligence ne odpravi tega načela, temveč doda novo odgovornost: preglednost. Večina revij in univerz zdaj zahteva izrecno izjavo o uporabi umetne inteligence. Skupna uredniška linija (na primer načela organov za objavljanje etike, kot sta ICMJE in COPE) jasno pove dvoje: AI ne more biti avtor (ker ne more prevzeti odgovornosti, ne more razglasiti navzkrižja interesov) in uporaba AI ni skrita, temveč razkrita v razdelku o metodi ali priznanjih.

Namig: preden prilepite besedilo v katero koli orodje, postavite dve vprašanji: (1) Kako to orodje shranjuje podatke, ali se uporablja v izobraževanju? (2) Kaj pravi politika AI moje ustanove in ciljne revije? Ne začnite, ne da bi poznali ta dva.

trije mini kovčki

Primer 1 – Izmišljeno pripisovanje ogroža tezo. Podiplomski študent je prosil YZ za 12 virov za uvod svoje diplomske naloge in prejel vse z njihovimi citati. Njegov svetovalec je naključno poiskal 4 od njih v Google Učenjaku; 2 od njih sploh nista obstajala, 1 od njih je imel DOI v drugem članku. Študent je moral preveriti celoten seznam enega za drugim in uporabil je samo 7 verodostojnih virov. Preverjanje je trajalo 40 minut; če pa bi bila podana z izmišljeno referenco, bi bilo zaupanje žirije popolnoma omajano.

Primer 2 – Prihranek časa. Podoktorski raziskovalec je porabil 6 ur za pregledovanje in povzemanje 15-20 novih člankov vsak teden. Začel je uporabljati AI kot svoj prvi generator povzetkov: z AI je povzel povzetek in uvod vsakega članka, ga poglobil z lastnim kritičnim branjem in preveril ugotovitve iz izvirnega besedila. Čas se je zmanjšal s 6 ur na teden na ~2,5 ure; Prisluženi čas je posvetil pisanju izvirnih sintez.

Primer 3 — Vrnitev iz prikritega. Družboslovec je nameraval prilepiti neobjavljene terenske podatke in pričevanja udeležencev v AI za analizo. Ugotovil je, da vsebuje poverilnice; Namesto da bi delil neobdelane podatke, je zahteval le anonimiziran, povzet vzorec in načrt analize. Prejel je dragoceno priporočilo za metodo, vendar občutljivi podatki niso prišli ven.

Kopirane predloge

1) Ločevanje nalog glede na stopnjo tveganja:

Vaša vloga: akademski asistent, ki pomaga raziskovalcu. Naslednje raziskovalne naloge razdelite na tri sezname: (A) naloge z nizkim tveganjem, za katere lahko umetna inteligenca varno izdela rokopis, (B) naloge srednjega tveganja, za katere lahko umetna inteligenca izdela rokopis in zahteva strogo preverjanje, (C) naloge z visokim tveganjem, za katere mora končna odločitev prevzeti raziskovalec. Za vsako nalogo napišite enostavčno utemeljitev. Naloge: [prilepi lastne naloge]

2) Poziv za preverjanje veljavnosti:

Označite vsak stavek v spodnjem besedilu, ki vsebuje dejstvo, datum, številko, citat ali pripis, in ga označite kot »potrebno je preveriti«. Jasno povejte, kje niste prepričani. NE izmišljujte vira ali številke; Če ne veste, napišite "ne vem". Besedilo: [prilepi osnutek]

3) Osnutek izjave o uporabi umetne inteligence:

Za razdelek o metodah/zahvalah v članku napišite 2-3 stavkovni osnutek »Izjava o uporabi umetne inteligence«, ki pregledno pojasnjuje, na katerih stopnjah sem uporabljal umetno inteligenco (npr. jezikovni popravek, okvirni osnutek). Uporaba: [razloži]

4) Seznam za preverjanje vira:

Ustvarite kontrolni list za preverjanje za vsak vir na naslednjem seznamu navedb: [avtor, leto, naslov, DOI, preverjeno?]. Ne morete preveriti; Daj mi prazno tabelo, ki jo bom ročno preveril. Seznam: [prilepi citate]

Šibek poziv/močan poziv

Šibek poziv:

Poišči mi vire za uvod v mojo diplomsko nalogo.

Brez konteksta in nevarno: umetna inteligenca izpljune lažne osebne izkaznice, vi pa mislite, da so prave.

Močan poziv:

Vaša vloga: metodološki svetovalec. Lokacija: »motivacija študentov v izobraževanju na daljavo«. NE NAJDI MI IZVORA; Namesto tega predlagajte 8 ključnih besed, 3 skupine sinonimov in logični iskalni niz za iskanje te teme v Scopus. Pravi članek byline FAKE. Vire, ki jih bom našel, bom preveril sam.

Iskanje

Stopnja tveganja

Vloga AI

končna odločitev

Ustvarjanje iskalne strategije

nizka

Predlaga ključno besedo/niz

raziskovalec

Osnutek povzetka članka

Nizka-srednja

Ustvari osnutek

Raziskovalec potrjuje

Priporočilo za statistični test

srednje

Zagotavlja možnosti

Raziskovalec izbere/potrdi

Seznam citatov

visoka

Pomočnik za formatiranje

Vsak odtis je ročno overjen

Iskanje interpretacije/hipoteze

visoka

daje ideje

samotni raziskovalec

Pogoste napake

  • Uporaba citatov brez preverjanja. Izmišljeno pripisovanje je najpogostejša in uničujoča napaka v akademskem svetu; vodi do odtegnitve.
  • Zamenjava vira s povzetkom. Povzetek AI lahko izkrivlja ugotovitev; Noben citat ni naveden brez vrnitve na izvirno besedilo.
  • Preskok prosojnosti. Prikrivanje uporabe je etična kršitev, ko je odkrita.
  • Naj AI sprejema znanstvene odločitve. Hipoteze, interpretacije in odločitve o metodah pripadajo raziskovalcu.
  • Nalaganje zaupnih podatkov v odprto orodje. Neobjavljeni podatki in informacije o udeležencih so izven vašega nadzora.
Namig: Zamislite si vsako sejo z umetno inteligenco kot delo z izkušenim, a nezanesljivim pripravnikom: je hiter in marljiv, vendar preverite vse, kar pove, preden podpišete.

Če povzamem

Umetna inteligenca je močan pomočnik, ki raziskovalcu lajša breme ponavljajočega se branja in pisanja; toda zaradi halucinacije, popačenja in pristranskosti je treba vsak izhod preveriti. Najbolj kritično tveganje v akademskem svetu je lažno navajanje: vsak vir je treba preveriti z DOI in bazo podatkov. Ločite naloge glede na stopnjo tveganja, zaščitite podatke, pregledno prijavite uporabo. Najkrajše pravilo: načrt je od AI, znanstveno odgovornost nosi raziskovalec.

Aplikacijska naloga

Naštejte 8 nalog iz svojega trenutnega raziskovalnega projekta in vsako označite kot nizko/srednje/visoko tveganje. Nato izberite opravilo z nizkim tveganjem in napišite poziv s kontekstom, kot je "Zmogljiv poziv" zgoraj. V izpisu označite vsaj 3 elemente (številka, odtis, trditev), ki jih morate preveriti in napišite, kako boste to preverili.

kontrolni seznam

  • [ ] Ali sem naloge ločil glede na stopnjo tveganja?
  • [ ] Ali nameravam preveriti vsako navedbo in šteti v izhodu AI?
  • [ ] Ali poznam politiko hrambe podatkov vozila, ki ga uporabljam?
  • [ ] Ali sem prebral politiko AI svoje ustanove in ciljne revije?
  • [ ] Ali sem prepričan, da obdržim končno znanstveno presojo?