zisky:
- Schopnosť informovať o empirických zisteniach cieľovú skupinu (akademickú, politickú, manažment) s podporou umelej inteligencie, čestným a jednoznačným jazykom
- Schopnosť úplne napísať závery, obmedzenia a etické vyhlásenia (dôvernosť údajov, konflikt záujmov, zverejnenie použitia umelej inteligencie) a vyhnúť sa zavádzajúcej prezentácii
- Schopnosť umelej inteligencie rozpoznať návrhy správ, ktoré produkujú prehnaný, jednostranný alebo kauzálny jazyk, a zachovať, že zodpovednosť za konečný text a tvrdenia spočíva na výskumníkovi.
Modulová skúška
1. Výskumník sa pýta: „Aký je korelačný koeficient medzi nezamestnanosťou a infláciou v Türkiye medzi rokmi 2015 a 2020?“ bez poskytnutia akýchkoľvek údajov umelej inteligencii. pýta sa a priamo do svojho článku napíše číslo 0,62. V čom spočíva zásadná chyba tohto prístupu?
- A) Očakávanie konkrétnych štatistík od umelej inteligencie bez poskytnutia overených údajov; ✔ Použitie čísla, ktoré mohlo byť vymyslené bez jeho overenia
- B) Korelačný koeficient by sa nikdy nemal používať vo výrobku.
- C) Koreláciu nemožno vypočítať medzi nezamestnanosťou a infláciou
- D) Umelá inteligencia bude mať prístup k údajom až po roku 2020
Vysvetlenie: Jazykový model AI nemôže vytvárať štatistiky bez prístupu k množine údajov; Číslo, ktoré uvádza, je s najväčšou pravdepodobnosťou halucinácia (vymyslená). Koeficienty, pomery a výsledky testov by mali byť vypočítané z vlastných overených údajov výskumníka, nie prevzaté z pamäte modelu.
2. Čo znamená, že chýbajúce údaje „nechýbajú náhodne“ (MNAR) a prečo je to dôležité?
- A) Nedostatok je spôsobený samotnou nepozorovanou hodnotou; To je dôvod, prečo jednoduché zadanie môže spôsobiť zaujatosť ✔
- B) Údaje miznú úplne náhodne a nevytvárajú žiadne skreslenie.
- C) Chýbajúce údaje treba vždy vyriešiť vymazaním riadku.
- D) Chýbajúce údaje nijako neovplyvňujú analýzu.
Vysvetlenie: V prípade MNAR (Missing Not At Random) samotné chýbanie závisí od veľkosti nepozorovanej hodnoty (napr. ľudia s vysokými príjmami neuvádzajú svoj príjem). V tomto prípade jednoduché vymazanie alebo priemerné priradenie poskytuje skreslené výsledky; Mechanizmus nedostatku sa musí modelovať. Metóda priraďovania navrhovaná umelou inteligenciou by sa nemala používať slepo bez znalosti tohto mechanizmu.
3. Analytik nechá AI vytvoriť stĺpcový graf a AI začne os y na 40 namiesto nuly. Skutočný rozdiel 2% medzi týmito dvoma skupinami vyzerá na grafe obrovský. Aký je správny prístup?
- A) Spustenie osi od začiatku alebo zmena typu grafu; ✔ ukázať skutočnú veľkosť rozdielu bez zavádzania
- B) Použite graf tak, ako je, pretože AI je najlepšou voľbou
- C) Spustenie osi na 45, aby bol rozdiel ešte väčší
- D) Nikdy nepoužívajte vizuálne prvky namiesto stĺpcových grafov
Vysvetlenie: V stĺpcovom grafe prerušovaná os (os y, ktorá nezačína od nuly) zavádza zveličovaním malých rozdielov. Pri poctivej vizualizácii by os stĺpcových grafov mala začínať od nuly alebo by mal byť rozdiel vedome jasne vyjadrený. Je zodpovednosťou analytika overiť obrázok a v prípade potreby ho opraviť.
4. Ako je pri interpretácii umelej inteligencie často nesprávne prezentovaná skutočnosť, že koeficient je „významný“ (p<0,05) v lineárnej regresii?
- A) Prehnaná prezentácia významu, pretože účinok je veľký a dôležitý alebo je preukázaná kauzalita ✔
- B) Význam vždy naznačuje, že účinok je malý
- C) p<0,05 dokazuje, že koeficient je absolútne správny
- D) Významné koeficienty by sa nikdy nemali uvádzať.
Vysvetlenie: Štatistická významnosť sa týka sily dôkazu, že účinok je odlišný od nuly; Neznamená to, že účinok je veľký, dôležitý alebo kauzálny. AI často prezentuje slovo „významný“ ako „významný/silný vplyv“. Výskumník by mal tiež vyhodnotiť veľkosť účinku, interval spoľahlivosti a kontext.
5. Čo znamená pojem „p-hacking“ a prečo to môže AI uľahčiť?
- A) Skúšanie viacerých analýz, kým to nedáva zmysel; AI to robí veľmi rýchlo, čím sa zvyšuje riziko ✔
- B) Analýza údajov raz a podľa vopred stanoveného plánu
- C) rozšírenie vzorky na zvýšenie p-hodnoty
- D) Vykazovanie iba popisných štatistík
Vysvetlenie: p-hacking skúša rôzne premenné, čiastkové vzorky, transformácie alebo modely, kým sa neobjaví zmysluplný výsledok; to vedie k falošným zisteniam založeným na náhode. Keďže AI môže za pár sekúnd vyskúšať desiatky modelových variantov, môže urýchliť p-hacking bez poctivého plánu. Obrana; predregistrácia, pevný plán analýzy a korekcia viacnásobného porovnania.
6. Prečo môže byť zistenie vysokej regresie R-kvadrát medzi dvoma nestacionárnymi (jednotkový koreň) časovými radmi zavádzajúce?
- A) V dôsledku bežného trendu môže dôjsť k falošnej regresii; ✔ Vysoký výkon R-square bez skutočného vzťahu
- B) Vysoká R-kvadratúra vždy dokazuje silný kauzálny vzťah.
- C) Nestacionárne série nemožno do regresie vôbec zadať.
- D) R-square nemožno vypočítať v časovom rade
Vysvetlenie: Ak neexistuje spoločný kointegračný vzťah medzi nestacionárnymi sériami, falošná regresia môže produkovať vysokú R-kvadratúru a významný koeficient len v dôsledku spoločného trendu; zatiaľ čo neexistuje skutočný vzťah. Preto by sa mali najskôr vykonať testy stacionárnosti a jednotkového koreňa, a ak je to potrebné, mali by sa zistiť rozdiely alebo by sa mala otestovať kointegrácia.
7. Aký základný predpoklad je založený na platnosti návrhu Difference-in-Differences?
- A) Predpoklad paralelných trendov: skupiny by sa riadili rovnakým smerom, ak by neexistovala žiadna intervencia ✔
- B) Liečebná a kontrolná skupina sú na začiatku úplne rovnaké
- C) Normálne rozdelenie vzorky
- D) Premenné neobsahujú žiadne chýbajúce údaje
Vysvetlenie: DiD predpokladá, že v prípade absencie intervencie by sa výsledná premenná pre liečebnú a kontrolnú skupinu vyvíjala paralelne v čase (predpoklad paralelných trendov). Ak tento predpoklad nie je splnený, odhad je skreslený. AI dokáže vytvoriť kód DiD, ale úlohou výskumníka je brániť a testovať paralelné trendy.
8. Ktorá z nasledujúcich možností je povinným postupom pre reprodukovateľnú analýzu?
- A) Fixovanie semena v náhodných krokoch, zaznamenávanie verzií balíkov a kódu ✔
- B) Ručne skopírujte výsledky do tabuľky a odstráňte kód
- C) Je normálne vidieť rôzne výsledky v každom behu.
- D) Ponechanie len finálnej grafiky, nezdieľanie dát a kódu
Popis: Reprodukovateľnosť; Rovnaký výsledok možno znova získať s rovnakými údajmi a kódom. Oprava semena v náhodných krokoch, ukladanie verzií balíkov a spustenie kódu v dokumente (gramotné programovanie) sú základnými kameňmi toho. Ručné kopírovanie výsledkov alebo kroky bez protokolovania na základe kliknutí zhoršuje reprodukovateľnosť.
9. Čím heteroskedasticita skresľuje lineárnu regresiu a aké je jej spoločné riešenie?
- A) skresľuje štandardné chyby; riešením sú robustné štandardné chyby alebo vhodná transformácia ✔
- B) Úplne znehodnocuje odhady koeficientov a nemá riešenie
- C) Vždy zníži R na druhú na nulu
- D) Vyskytuje sa iba vtedy, ak je vzorka veľmi malá a možno ju ignorovať
Vysvetlenie: Heteroscedasticita ponecháva odhady koeficientov nezaujaté, ale nesprávne vypočítava štandardné chyby; Vďaka tomu sú p-hodnoty a intervaly spoľahlivosti nespoľahlivé. Bežným riešením je použitie robustných/HC štandardných chýb alebo vhodnej konverzie. Musí sa overiť, že riešenie navrhnuté AI problém v skutočnosti rieši, a nie ho skrýva.
10. Výskumník nahrá mikroúdaje obsahujúce identifikačné informácie na úrovni pacienta a príjem do verejného četovacieho nástroja AI a povie „urob regresiu“. Aký je hlavný problém tohto správania?
- A) Nahrávanie osobných/licencovaných údajov do externého nástroja predstavuje porušenie dôvernosti a zmluvy ✔
- B) Regresiu nedokáže umelá inteligencia vôbec urobiť
- C) Mikroúdaje nie sú vôbec vhodné na regresiu
- D) AI vždy nesprávne vypočíta regresiu
Vysvetlenie: Osobné/špeciálne údaje, ako je totožnosť a príjem, sú chránené podľa KVKK/GDPR a väčšinou zmlúv o používaní údajov; Ich nahranie na externé zariadenie, ktoré môže ukladať dáta, je porušením pravidiel. Správna cesta; Anonymizácia dát, používanie lokálnych/inštitucionálnych bezpečných nástrojov alebo jednoducho vyžiadanie kódu od umelej inteligencie a spustenie kódu vo vlastnom prostredí.
11. Čo sa pozoruje, keď je multikolinearita vysoká?
- A) Koeficienty sa stanú nestabilnými a štandardné chyby sa nafúknu; Jednotlivé koeficienty sa môžu ukázať ako nezmyselné ✔
- B) R-squared vždy klesá na nulu
- C) Odhady koeficientov sú neustále presnejšie
- D) Škála závislej premennej sa mení
Vysvetlenie: Pri vysokej multikolinearite sú nezávislé premenné navzájom silne korelované; Odhady koeficientov sa stanú nestabilnými, štandardné chyby sa nafúknu a jednotlivé koeficienty sa môžu ukázať ako nevýznamné, zatiaľ čo celkový model môže byť významný. Diagnostikuje sa podľa kritérií, ako je VIF. Umelá inteligencia môže naznačovať elimináciu premennej, ale je na rozhodnutí výskumníka, ktorá premenná by mala zostať teoretická.
12. Čo je štatistická sila a aké je riziko nízkovýkonnej štúdie?
- A) Možnosť zistenia existujúceho efektu; nízka sila míňa skutočné účinky a robí zistenia nespoľahlivé ✔
- B) pravdepodobnosť zníženia p-hodnoty; nižší výkon vždy poskytuje spoľahlivejšie výsledky
- C) Konštantná hodnota nezávislá od veľkosti vzorky
- D) Koncept, ktorý je platný len pri použití umelej inteligencie
Vysvetlenie: Výkon je pravdepodobnosť zistenia efektu, ktorý skutočne existuje (1 mínus chyba typu II). Štúdie s nízkym výkonom môžu vynechať skutočné účinky; Okrem toho niekoľko významných výsledkov môže niesť prehnanú veľkosť účinku („prekliatie víťaza“) a zvyšuje sa miera falošne pozitívnych výsledkov. Preto je pred analýzou dôležitý výpočet výkonu/vzorky.
13. Prečo je eticky nevyhnutné zverejňovať v článku použitie umelej inteligencie?
- A) Pre transparentnosť a zodpovednosť; ✔ čitatelia a referenti môžu hodnotiť proces a zodpovednosť zostáva na autorovi
- B) Použitie umelej inteligencie automaticky znehodnotí výsledky
- C) Vyžiadané časopismi len na reklamné účely
- D) Prenesenie autorských práv na vysvetlenie na umelú inteligenciu
Zverejnenie: Transparentnosť je nevyhnutná, aby čitateľ a recenzenti mohli zhodnotiť, ako boli dosiahnuté výsledky; Mnoho časopisov a inštitúcií teraz vyžaduje zverejnenie používania AI. Navyše, keďže umelá inteligencia môže produkovať chyby/halucinácie, je vecou čestnosti uviesť, že zodpovednosť zostáva na autorovi a ktoré kroky boli kontrolované.
14. Čo vyžaduje „obmedzenie vylúčenia“ v metóde premennej podľa nástroja (IV)?
- A) Nástroj ovplyvňuje výsledok len cez internú premennú, iná priama cesta neexistuje ✔
- B) Nástroj nemá žiadny vzťah s výslednou premennou.
- C) Nástroj nesúvisí s endogénnou premennou.
- D) Priemer je vždy binárna (0/1) premenná
Vysvetlenie: Obmedzenie vylúčenia vyžaduje, aby nástroj ovplyvňoval výslednú premennú iba prostredníctvom endogénnej vysvetľujúcej premennej a nie prostredníctvom akýchkoľvek iných priamych prostriedkov alebo nepozorovaných faktorov. Tento predpoklad nemožno úplne otestovať z údajov; Obhajuje sa na teoretických a inštitucionálnych základoch. AI môže napísať kód IV, ale úlohou výskumníka je obhájiť platnosť nástroja.
15. Čo znamená problém „Záhrada rozvetvených ciest“ vo flexibilných analýzach bez predbežnej registrácie?
- A) Príliš veľa rozumných analýz uskutočnených na základe údajov zvyšuje mieru falošne pozitívnych výsledkov, dokonca aj neúmyselne ✔
- B) Analytické metódy musia byť jednotné a povinné
- C) Problém, ktorý nastáva len vtedy, keď dôjde k úmyselnému podvádzaniu.
- D) Situácia, ktorá spontánne zmizne, keď vzorka rastie
Vysvetlenie: Po prezretí údajov môže výskumník urobiť veľa rozumných rozhodnutí, ktorú premennú, podskupinu, transformáciu alebo prah použiť. Aj keď neexistuje jediný „úmyselný p-hacking“, táto flexibilita zvyšuje mieru falošne pozitívnych výsledkov, pretože významná z nich je efektívne vybraná z veľkého počtu analýz. Predregistrácia a pevný plán analýzy obmedzujú túto flexibilitu.