Jednotka 1 / 11

Umelá inteligencia v akademickom výskume: Úlohy, hranice, validácia a akademická integrita

zisky:

  • Byť schopný rozlíšiť, kde umelá inteligencia šetrí reálny čas v pracovnom toku akademického výskumu (literatúra, dizajn, analýza, písanie) a kde vedecký úsudok a zodpovednosť zostáva na výskumníkovi, podľa úrovne rizika úlohy
  • Byť schopný aplikovať disciplínu, ktorá spája a overuje každý výstup umelej inteligencie so zdrojom a pochopenie problému halucinácie (vymyslenej) atribúcie, ktorá je najkritickejším rizikom akadémie.
  • Schopnosť prijať rámec používania, ktorý je v súlade s inštitucionálnymi a časopiseckými zásadami používania umelej inteligencie, zásadami akademickej poctivosti a transparentnosti.

Práca výskumníka zahŕňa oveľa viac písania, čítania a úprav, ako sa zdá: skenovanie stoviek článkov, ich zhrnutie, zdokonaľovanie výskumnej otázky, navrhovanie metód, analýza údajov, prepis výsledkov, formátovanie citácií, výber časopisov, odpovedanie na komentáre recenzentov. Veľká časť tejto práce je opakovaná, časovo náročná a rušivá; Ukrajuje z toho, čo je skutočne hodnotné, originálne myslenie a interpretácia. Umelá inteligencia (AI) – počítačové programy, ktoré dokážu porozumieť ľudskej reči a produkovať výstupy, ako sú text, súhrny, kódy, koncepty atď. – sú silnou pomôckou na urýchlenie tejto opakujúcej sa záťaže. V celom tomto module nepovažujeme AI za magický zdroj informácií; Naučíme sa ho používať ako výskumného asistenta, produkovať návrhy, dávať nápady a upravovať.

Ale hneď od začiatku si dajme najdôležitejšiu vetu špecifickú pre akademickú obec: AI nerobí vedecké rozhodnutia namiesto výskumníka; vypracuje návrh, vedecký úsudok a zodpovednosť patrí výskumníkovi. Na akademickej pôde je toto pravidlo ešte prísnejšie ako v iných profesiách, pretože devízou vedy je dôvera a základom tejto dôvery je, že každé tvrdenie je spojené s overiteľným zdrojom.

Táto prvá jednotka vytvára tri základy: rozlišovanie, kde AI funguje a kde by mala zostať v pracovnom toku výskumu; overenie každého výstupu; Prijať princíp akademickej čestnosti a transparentnosti. Tieto tri sú základným bezpečnostným základom pre všetky nasledujúce jednotky.

Kde AI šetrí čas, kde rozhodnutie patrí výskumníkovi?

Pomáha uvažovať o výskumných úlohách z hľadiska miery rizika. Úroveň rizika je to, koľko škody by to spôsobilo vedeckému záznamu, ak by sa to urobilo nesprávne.

Úlohy s nízkym rizikom, ktoré AI výrazne urýchľuje: Generovanie stratégie vyhľadávania (kľúčové slovo, synonymum), vytvorenie úvodného zhrnutia dlhého textu, zjednodušenie jazyka odseku, navrhnutie nadpisu tabuľky, brainstorming, vysvetlenie konceptu rôznymi spôsobmi, vytvorenie štruktúry osnovy. Tu AI rieši problém „prázdnej stránky“; opravujete, overujete a obohacujete.

Stredne rizikové úlohy produkované AI, ktoré si vyžadujú dôsledné overenie: Odporúčanie na výber štatistického testu, návrh kódu, formátovanie citácií, návrh interpretácie nálezu, porovnanie možností metódy. AI tu udáva rýchlosť, ale každé číslo, každý tag, každý logický krok musí byť potvrdený manuálne.

Úlohy s vysokým rizikom, pri ktorých je rozhodnutie ponechané výlučne na výskumníkovi: konečné určenie hypotézy a metódy, rozhodnutie, čo znamenajú údaje, posúdenie zmysluplnosti zistenia, rozhodnutia v rámci etickej komisie (IRB), rozhodnutie, či zdroj skutočne existuje a podporuje tvrdenie, vyhlásenie o autorstve a prínose. Tieto rozhodnutia určujú spoľahlivosť vedeckého záznamu; Zodpovednosť a posledné slovo patrí vždy výskumníkovi.

Pozor: „AI povedala“ nie je odôvodnením. Redaktor časopisu alebo porota diplomovej práce nebude akceptovať vyhlásenie „môj model to vyrobil takto“. Neoverený výstup AI je ako neoverená fáma.

Prečo je potrebné overenie? Halucinácie a vymyslené prisudzovanie

AI neprodukuje text „poznaním“, ale „predpovedaním možného slova“. Preto niekedy podáva mimoriadne plynulé, no v skutočnosti nesprávne informácie. Toto sa nazýva halucinácia (výmysel). Najnebezpečnejšou formou tohto v akademickej sfére je falošné prisudzovanie: AI generuje meno autora, rok, časopis alebo dokonca DOI (identifikátor digitálneho objektu – trvalá adresa publikácie), ktoré sa javí ako skutočné, ale tento zdroj nikdy neexistoval. Ak to výskumník použije bez kontroly, tvrdí to na základe štúdie, ktorá neexistuje; To vedie k odmietnutiu tézy, stiahnutiu článku a strate reputácie.

Druhým problémom je skreslenie: pri zhrnutí článku môže AI zveličiť zistenie, pričom zhrnie štúdiu, ktorá hovorí, že „neexistoval žiadny významný rozdiel“ ako „bol nájdený významný rozdiel“. Tretím je zaujatosť: AI opakuje trendy v údajoch, na ktorých je trénovaná; Môže zvýrazniť určitú školu, jazyk alebo uhol pohľadu a spôsobiť, že literatúra bude pôsobiť skreslene.

Kvôli týmto limitom navrhujeme jednoduchú validačnú disciplínu, ktorá sa má aplikovať na každý výstup:

  1. Pripojte ho k zdroju. Nájdite a overte skutočný zdroj (článok, databáza, DOI) pre každý fakt, dátum, číslo, citát a najmä každú citáciu.
  2. Skontrolujte znova. Manuálne skontrolujte numerické alebo logické výstupy (štatistický výsledok, vzorový výpočet).
  3. Vedecký filter. "Je toto tvrdenie v súlade so známou literatúrou v mojom odbore?" zvládnuť to s vlastnou odbornosťou.
  4. Prevezmite zodpovednosť. Vo chvíli, keď to vložíte do svojej publikácie alebo diplomovej práce, je táto veta vaša; Akékoľvek chyby sú vašou zodpovednosťou.

Akademická čestnosť a transparentnosť

Akademická integrita zaisťuje, že práca je skutočne vaším originálnym príspevkom a že všetky zdroje sú čestne citované. Použitie AI neodstraňuje tento princíp, ale pridáva novú zodpovednosť: transparentnosť. Väčšina časopisov a univerzít teraz vyžaduje explicitné vyhlásenie o používaní AI. Spoločná redakčná línia (napríklad princípy orgánov pre etiku publikovania ako ICMJE a COPE) hovorí jasne o dvoch veciach: AI nemôže byť autorom (pretože nemôže prevziať zodpovednosť, nemôže vyhlásiť konflikt záujmov) a používanie umelej inteligencie nie je skryté, ale zverejnené v časti o metódach alebo poďakovaniach.

Tip: Pred vložením textu do akéhokoľvek nástroja si položte dve otázky: (1) Ako tento nástroj ukladá dáta, používa sa vo vzdelávaní? (2) Čo hovoria zásady AI mojej inštitúcie a cieľového časopisu? Nezačínajte bez toho, aby ste týchto dvoch poznali.

tri mini prípady

1. prípad – Vykonštruované prisudzovanie ohrozené tézou. Postgraduálny študent požiadal YZ o 12 zdrojov na úvod svojej práce a všetky z nich dostal s ich citáciami. Jeho poradca náhodne vyhľadal 4 z nich v službe Google Scholar; 2 z nich vôbec neexistovali, 1 z nich malo DOI smerujúce k inému článku. Študent si musel celý zoznam overovať jeden po druhom a použil len 7 autentických zdrojov. Overenie trvalo 40 minút; ale ak by bol doručený s fiktívnou referenciou, dôvera poroty by bola úplne otrasená.

Prípad 2 – Úspora času. Postdoktorandský výskumník strávil 6 hodín skenovaním a zhrnutím 15-20 nových článkov každý týždeň. Začal používať AI ako svoj prvý generátor súhrnov: nechal AI zhrnúť abstrakt a úvod každého článku, prehĺbiť ho vlastným kritickým čítaním a overiť zistenia z pôvodného textu. Čas sa znížil zo 6 hodín týždenne na ~2,5 hodiny; Zarobený čas venoval písaniu originálnych syntéz.

Prípad 3 – Návrat z tajnosti. Sociálny vedec sa chystal vložiť nepublikované údaje z terénu a svedectvá účastníkov do AI na analýzu. Uvedomil si, že obsahuje poverenia; Namiesto zdieľania nespracovaných údajov požiadal iba o anonymizovanú, súhrnnú vzorku a plán analýzy. Dostal cenné odporúčanie metódy, no nedostali sa von žiadne citlivé údaje.

Kopírovateľné šablóny

1) Rozdelenie úlohy podľa úrovne rizika:

Vaša úloha: akademický asistent, ktorý pomáha výskumníkovi. Rozdeľte nasledujúce výskumné úlohy do troch zoznamov: (A) úlohy s nízkym rizikom, pre ktoré môže AI bezpečne vytvoriť rukopis, (B) úlohy so stredným rizikom, pre ktoré môže AI vytvoriť rukopis a vyžadujú si dôkladné overenie, (C) úlohy s vysokým rizikom, pri ktorých musí konečné rozhodnutie zostať na výskumníkovi. Ku každej úlohe napíšte jednovetové odôvodnenie. Úlohy: [prilepiť vlastné úlohy]

2) Výzva na kontrolu overenia:

Označte každú vetu v nižšie uvedenom texte, ktorá obsahuje fakt, dátum, číslo, citát alebo zdroj, a označte ju ako „vyžaduje overenie“. Jasne uveďte, kde si nie ste istí. Nevymýšľajte zdroj ani číslo; Ak neviete, napíšte „neviem“. Text: [prilepiť koncept]

3) Návrh vyhlásenia o používaní AI:

Do časti o metódach/poďakovaniach v článku napíšte 2-3 vetový návrh „Vyhlásenie o používaní AI“, ktorý transparentne vysvetľuje, v ktorých fázach som AI používal (napr. jazyková oprava, návrh osnovy). Použitie: [vysvetliť]

4) Zoznam overenia zdroja:

Vygenerujte overovací kontrolný hárok pre každý zdroj v nasledujúcom zozname citácií: [autor, rok, názov, DOI, overené?]. Nemôžete overiť; Dajte mi prázdnu tabuľku, ktorú ručne skontrolujem.Zoznam: [prilepiť citácie]

Slabá výzva / Silná výzva

Slabá výzva:

Nájdite mi zdroje na úvod k mojej diplomovej práci.

Bez kontextu a nebezpečné: AI chrlí falošné ID a vy si myslíte, že sú skutočné.

Výkonná výzva:

Vaša úloha: metodický konzultant. Miesto: „motivácia študentov v dištančnom vzdelávaní“. NENÁJDETE MI ZDROJ; Namiesto toho navrhnite 8 kľúčových slov, 3 skupiny synoným a booleovský vyhľadávací reťazec na vyhľadávanie tejto témy v Scopus. Skutočný podriadok článku FAKE. Zdroje, ktoré nájdem, si overím sám.

Quest

Úroveň rizika

Úloha AI

konečné rozhodnutie

Generovanie stratégie vyhľadávania

nízka

Navrhuje kľúčové slovo/reťazec

výskumník

Návrh abstraktu článku

Nízka až stredná

Generuje koncept

Výskumník potvrdzuje

Odporúčanie štatistického testu

stredná

Poskytuje možnosti

Výskumník vyberie/potvrdí

Zoznam citácií

vysoká

Asistent formátovania

Každý odtlačok je overený ručne

Hľadanie interpretácie/hypotézy

vysoká

dáva nápady

osamelý výskumník

Časté chyby

  • Používanie citácií bez overenia. Vymyslená atribúcia je najčastejšou a najničivejšou chybou v akademickej obci; vedie k stiahnutiu.
  • Nahradenie zdroja súhrnom. Súhrn AI môže skresliť nález; Bez návratu k pôvodnému textu sa neuvádza žiadna citácia.
  • Preskakovanie priehľadnosti. Zatajenie používania je po odhalení etickým porušením.
  • Nechajte AI robiť vedecké rozhodnutia. Rozhodovanie o hypotéze, interpretácii a metóde patrí výskumníkovi.
  • Nahrávanie dôverných údajov do nástroja na otvorenie. Nezverejnené údaje a informácie o účastníkoch sú mimo vašej kontroly.
Tip: Myslite na každú umelú inteligenciu ako na prácu so skúseným, ale nespoľahlivým stážistom: je rýchly a usilovný, ale všetko, čo povie, si overíte skôr, ako podpíšete.

V súhrne

AI je výkonný pomocník, ktorý uľahčí výskumníkovi bremeno opakovaného čítania a písania; ale kvôli halucináciám, skresleniu a zaujatosti si každý výstup vyžaduje overenie. Najkritickejším rizikom v akademickej sfére je falošná citácia: každý zdroj musí byť overený prostredníctvom DOI a databázy. Oddeľte úlohy podľa úrovne rizika, chráňte údaje, transparentne deklarujte používanie. Najkratšie pravidlo: plán pochádza od AI, vedecká zodpovednosť je od výskumníka.

Aplikačná úloha

Uveďte 8 úloh z vášho aktuálneho výskumného projektu a každú označte ako nízko/stredne/vysoko rizikové. Potom vyberte úlohu s nízkym rizikom a napíšte výzvu s kontextom, napríklad „Výkonná výzva“ vyššie. Vo výstupe označte aspoň 3 prvky (číslo, tiráž, reklamácia), ktoré potrebujete overiť a napíšte, akým spôsobom to overíte.

kontrolný zoznam

  • [ ] Rozdelil som úlohy podľa úrovne rizika?
  • [ ] Plánujem overiť každú citáciu a počet vo výstupe AI?
  • [ ] Poznám zásady uchovávania údajov vozidla, ktoré používam?
  • [ ] Prečítal som si zásady AI svojej inštitúcie a cieľového časopisu?
  • [ ] Som si istý, že si ponechám konečný vedecký rozsudok?