Zyski:
- Możliwość raportowania wyników empirycznych docelowej grupie odbiorców (naukowej, politycznej, zarządczej) przy wsparciu sztucznej inteligencji, w uczciwym i jednoznacznym języku
- Umiejętność pełnego napisania wniosków, ograniczeń i oświadczeń etycznych (poufność danych, konflikt interesów, ujawnienie wykorzystania sztucznej inteligencji) i unikania wprowadzającej w błąd prezentacji
- Zdolność sztucznej inteligencji do rozpoznawania projektów raportów zawierających przesadny, jednostronny lub przyczynowy język i utrzymywania odpowiedzialności za ostateczny tekst i twierdzenia spoczywa na badaczu.
Egzamin modułowy
1. Badacz zadaje pytanie „Jaki jest współczynnik korelacji między bezrobociem a inflacją w Turcji w latach 2015–2020?” bez podawania jakichkolwiek danych sztucznej inteligencji. – pyta i wpisuje bezpośrednio w swoim artykule liczbę 0,62. Jaki jest zasadniczy błąd w tym podejściu?
- A) Oczekiwanie konkretnych statystyk od sztucznej inteligencji bez podawania zweryfikowanych danych; ✔ Używanie numeru, który mógł zostać wymyślony bez jego weryfikacji
- B) W artykule nie należy nigdy stosować współczynnika korelacji.
- C) Nie można obliczyć korelacji między bezrobociem a inflacją
- D) Sztuczna inteligencja będzie mogła uzyskać dostęp do danych dopiero po 2020 r
Objaśnienie: Model języka AI nie może generować statystyk bez dostępu do zbioru danych; Liczba, którą podaje, to najprawdopodobniej halucynacja (sfabrykowana). Współczynniki, współczynniki i wyniki badań należy obliczać na podstawie własnych, zweryfikowanych danych badacza, a nie pobierać z pamięci modelu.
2. Co to znaczy, że brakujące dane „nie występują losowo” (MNAR) i dlaczego jest to ważne?
- A) Wada wynika z samej niezaobserwowanej wartości; Dlatego proste przypisanie może powodować stronniczość ✔
- B) Dane znikają całkowicie losowo i nie powodują żadnych uprzedzeń.
- C) Brakujące dane należy zawsze rozwiązać poprzez usunięcie wiersza.
- D) Brakujące dane nie wpływają w żaden sposób na analizę.
Wyjaśnienie: W przypadku MNAR (Missing Not At Random) samo zaginięcie zależy od wielkości niezaobserwowanej wartości (np. osoby o wysokich zarobkach nie zgłaszają swoich dochodów). W tym przypadku proste usunięcie lub średnie przypisanie daje zafałszowane wyniki; Należy modelować mechanizm niedoboru. Metody przypisania sugerowanej przez sztuczną inteligencję nie należy stosować na ślepo, nie znając tego mechanizmu.
3. Analityk prosi sztuczną inteligencję o sporządzenie wykresu słupkowego, a sztuczna inteligencja rozpoczyna oś Y od wartości 40 zamiast od zera. Rzeczywista różnica wynosząca 2% między obiema grupami wygląda na ogromną na wykresie. Jakie jest właściwe podejście?
- A) Uruchomienie osi od zera lub zmiana typu wykresu; ✔ aby pokazać prawdziwą wielkość różnicy bez wprowadzania w błąd
- B) Używanie wykresu w niezmienionej postaci, ponieważ sztuczna inteligencja dokonuje najlepszego wyboru
- C) Rozpoczęcie osi od 45, aby różnica była jeszcze większa
- D) Nigdy nie używaj elementów wizualnych zamiast wykresów słupkowych
Objaśnienie: Na wykresie słupkowym oś przerywana (oś Y, która nie zaczyna się od zera) wprowadza w błąd, wyolbrzymiając małe różnice. W uczciwej wizualizacji oś wykresów słupkowych powinna zaczynać się od zera lub różnica powinna być świadomie i wyraźnie zaznaczona. Zadaniem analityka jest weryfikacja obrazu i ewentualna korekta.
4. Dlaczego fakt, że współczynnik jest „istotny” (p<0,05) w regresji liniowej jest często błędnie przedstawiany w interpretacji sztucznej inteligencji?
- A) Przesadne przedstawienie znaczenia, ponieważ skutek jest duży i ważny lub ustalono związek przyczynowy ✔
- B) Znaczenie zawsze wskazuje, że efekt jest niewielki
- C) p<0,05 świadczy o tym, że współczynnik jest całkowicie poprawny
- D) Nie należy nigdy podawać znaczących współczynników.
Wyjaśnienie: Istotność statystyczna odnosi się do siły dowodu na to, że efekt jest różny od zera; Nie oznacza to, że skutek jest duży, ważny czy przyczynowy. Sztuczna inteligencja często przedstawia słowo „znaczący” jako „znaczący/silny wpływ”. Badacz powinien także ocenić wielkość efektu, przedział ufności i kontekst.
5. Do czego odnosi się termin „p-hakowanie” i dlaczego sztuczna inteligencja może to ułatwić?
- A) Próbowanie wielu analiz, aż nabiorą one sensu; AI robi to bardzo szybko, zwiększając ryzyko ✔
- B) Jednorazowa analiza danych i według z góry ustalonego planu
- C) rozszerzenie próbki w celu zwiększenia wartości p
- D) Podawanie wyłącznie statystyk opisowych
Wyjaśnienie: p-hakowanie polega na wypróbowywaniu różnych zmiennych, podpróbek, transformacji lub modeli, aż pojawi się znaczący wynik; powoduje to fałszywe ustalenia oparte na przypadku. Ponieważ sztuczna inteligencja może wypróbować dziesiątki wariantów modelu w ciągu kilku sekund, może przyspieszyć p-hakowanie bez uczciwego planu. Obrona; rejestracja wstępna, stały plan analiz i korekta wielokrotnych porównań.
6. Dlaczego znalezienie regresji o wysokim współczynniku R-kwadrat pomiędzy dwoma niestacjonarnymi szeregami czasowymi (pierwiastek jednostkowy) może wprowadzać w błąd?
- A) Może wystąpić fałszywa regresja w wyniku powszechnego trendu; ✔ Wysoka wydajność R-kwadrat bez rzeczywistej zależności
- B) Wysokie R-kwadrat zawsze dowodzi silnego związku przyczynowego.
- C) Szeregów niestacjonarnych w ogóle nie można poddać regresji.
- D) R-kwadrat nie może być obliczany w szeregach czasowych
Objaśnienie: Jeśli nie ma wspólnej zależności kointegracyjnej pomiędzy szeregami niestacjonarnymi, fałszywa regresja może dać wysoki współczynnik R-kwadrat i znaczący tylko ze względu na wspólny trend; podczas gdy nie ma prawdziwego związku. Dlatego w pierwszej kolejności należy wykonać testy stacjonarności i pierwiastka jednostkowego, a w razie potrzeby uwzględnić różnice lub przetestować kointegrację.
7. Jakie podstawowe założenie opiera się na ważności projektu różnicy w różnicach?
- A) Założenie o tendencjach równoległych: grupy podążałyby w tym samym kierunku, gdyby nie było interwencji ✔
- B) Grupy terapeutyczne i kontrolne są na początku dokładnie takie same
- C) Rozkład normalny próbki
- D) Zmienne nie zawierają żadnych brakujących danych
Wyjaśnienie: DiD zakłada, że w przypadku braku interwencji zmienna wyniku dla grupy leczonej i kontrolnej kształtowałaby się równolegle w czasie (założenie równoległych trendów). Jeżeli to założenie nie jest spełnione, szacunek jest obciążony. Sztuczna inteligencja może wygenerować kod DiD, ale zadaniem badacza jest obrona i testowanie równoległych trendów.
8. Które z poniższych jest obowiązkową praktyką w przypadku powtarzalnej analizy?
- A) Naprawianie nasion w losowych krokach, rejestrowanie wersji pakietów i kodu ✔
- B) Ręcznie skopiuj wyniki do arkusza kalkulacyjnego i usuń kod
- C) To normalne, że w każdym przebiegu widać różne wyniki.
- D) Zachowywanie wyłącznie ostatecznej grafiki, bez udostępniania danych i kodu
Opis: Powtarzalność; Ten sam wynik można uzyskać ponownie, stosując te same dane i kod. Podstawą tego jest naprawianie materiału siewnego w losowych krokach, zapisywanie wersji pakietu i wykonywanie kodu w dokumencie (programowanie z umiejętnością czytania i pisania). Kopiowanie wyników ręcznie lub w oparciu o kliknięcia, bez logowania, pogarsza odtwarzalność.
9. Co heteroskedastyczność zniekształca regresję liniową i jakie jest jej typowe rozwiązanie?
- A) Zniekształca błędy standardowe; rozwiązaniem są solidne błędy standardowe lub odpowiednia transformacja ✔
- B) Całkowicie unieważnia oszacowania współczynników i nie ma rozwiązania
- C) Zawsze redukuje R do zera
- D) Występuje tylko wtedy, gdy próbka jest bardzo mała i można ją zignorować
Wyjaśnienie: Heteroscedastyczność pozostawia szacunki współczynników bezstronne, ale błędnie oblicza błędy standardowe; To sprawia, że wartości p i przedziały ufności są niewiarygodne. Powszechnym rozwiązaniem jest użycie błędów standardowych/HC lub odpowiedniej konwersji. Należy zweryfikować, czy rozwiązanie zaproponowane przez sztuczną inteligencję faktycznie rozwiązuje problem, a nie go ukrywa.
10. Badacz przesyła mikrodane zawierające informacje identyfikacyjne na poziomie pacjenta oraz dochód do publicznego narzędzia czatu AI i mówi „wykonaj regresję”. Jaki jest główny problem związany z takim zachowaniem?
- A) Przesyłanie danych osobowych/licencjonowanych do narzędzia zewnętrznego stanowi naruszenie poufności i umowy ✔
- B) Regresji w ogóle nie da się przeprowadzić za pomocą sztucznej inteligencji
- C) Dane mikro w ogóle nie nadają się do regresji
- D) AI zawsze błędnie oblicza regresję
Wyjaśnienie: Dane osobowe/specjalne, takie jak tożsamość i dochód, są chronione na mocy KVKK/RODO i większości umów o korzystaniu z danych; Przesyłanie ich na urządzenie zewnętrzne, które może przechowywać dane, stanowi naruszenie. Właściwy sposób; Anonimizacja danych, korzystanie z bezpiecznych narzędzi lokalnych/instytucjonalnych lub po prostu żądanie kodu od sztucznej inteligencji i uruchamianie kodu we własnym środowisku.
11. Co obserwuje się, gdy wielokolinearność jest wysoka?
- A) Współczynniki stają się niestabilne, a błędy standardowe zawyżone; Poszczególne współczynniki mogą okazać się bez znaczenia ✔
- B) R-kwadrat zawsze maleje do zera
- C) Oszacowania współczynników stają się coraz bardziej precyzyjne
- D) Zmienia się skala zmiennej zależnej
Wyjaśnienie: W przypadku dużej współliniowości zmienne niezależne są ze sobą silnie skorelowane; Oszacowania współczynników stają się niestabilne, błędy standardowe zawyżają się, a poszczególne współczynniki mogą okazać się nieistotne, podczas gdy cały model może być znaczący. Diagnozuje się ją na podstawie kryteriów takich jak VIF. Sztuczna inteligencja może sugerować eliminację zmiennych, ale to badacz decyduje, która zmienna powinna pozostać teoretyczna.
12. Co to jest moc statystyczna i jakie jest ryzyko badania o małej mocy?
- A) Możliwość wykrycia istniejącego efektu; mała moc pomija prawdziwe efekty i sprawia, że ustalenia są niewiarygodne ✔
- B) prawdopodobieństwo zmniejszenia wartości p; niższa moc zawsze daje bardziej wiarygodne wyniki
- C) Stała wartość niezależna od wielkości próbki
- D) Koncepcja obowiązująca tylko wtedy, gdy wykorzystywana jest sztuczna inteligencja
Wyjaśnienie: Moc to prawdopodobieństwo wykrycia efektu, który faktycznie istnieje (1 minus błąd typu II). Badania o małej mocy mogą nie uwzględniać prawdziwych efektów; Ponadto kilka znaczących wyników może wiązać się z przesadną wielkością efektu („przekleństwem zwycięzcy”) i wzrostem odsetka wyników fałszywie dodatnich. Dlatego przed analizą ważne jest obliczenie mocy/próbki.
13. Dlaczego ujawnienie w artykule wykorzystania sztucznej inteligencji jest etycznie konieczne?
- A) Dla przejrzystości i odpowiedzialności; ✔ czytelnicy i recenzenci mogą ocenić proces, a odpowiedzialność spoczywa na autorze
- B) Zastosowanie sztucznej inteligencji automatycznie unieważnia wyniki
- C) Żądane przez czasopisma wyłącznie w celach reklamowych
- D) Przeniesienie praw autorskich do wyjaśnienia na sztuczną inteligencję
Ujawnianie: przejrzystość jest konieczna, aby czytelnik i recenzenci mogli ocenić, w jaki sposób uzyskano wyniki; Wiele czasopism i instytucji wymaga obecnie ujawniania wykorzystania sztucznej inteligencji. Dodatkowo, ponieważ sztuczna inteligencja może powodować błędy/halucynacje, uczciwością jest stwierdzenie, że odpowiedzialność spoczywa na autorze i które kroki zostały skontrolowane.
14. Czego wymaga „ograniczenie wykluczenia” w metodzie zmiennej instrumentu (IV)?
- A) Narzędzie wpływa na wynik jedynie poprzez zmienną wewnętrzną, nie ma innego bezpośredniego sposobu ✔
- B) Instrument nie ma związku ze zmienną wynikową.
- C) Instrument nie jest powiązany ze zmienną endogeniczną.
- D) Średnia jest zawsze zmienną binarną (0/1).
Wyjaśnienie: Ograniczenie wykluczające wymaga, aby instrument wpływał na zmienną wynikową jedynie poprzez endogeniczną zmienną objaśniającą, a nie za pomocą jakichkolwiek innych bezpośrednich środków lub nieobserwowanych czynników. Założenia tego nie można w pełni przetestować na podstawie danych; Jest broniona na gruncie teoretycznym i instytucjonalnym. Sztuczna inteligencja może napisać kod IV, ale zadaniem badacza jest obrona ważności narzędzia.
15. Co oznacza problem „Ogrodu rozwidlających się ścieżek” w elastycznych analizach bez wstępnej rejestracji?
- A) Zbyt wiele rozsądnych wyborów analitycznych dokonanych na podstawie danych zwiększa odsetek wyników fałszywie dodatnich, nawet w sposób niezamierzony ✔
- B) Metody analizy muszą być pojedyncze i obowiązkowe
- C) Problem, który pojawia się tylko wtedy, gdy ma miejsce celowe oszustwo.
- D) Sytuacja, która zanika samoistnie w miarę wzrostu próbki
Wyjaśnienie: Po przejrzeniu danych badacz może dokonać wielu rozsądnych wyborów dotyczących użytej zmiennej, podgrupy, transformacji lub progu. Nawet jeśli nie ma pojedynczego „zamierzonego włamania typu p”, ta elastyczność zwiększa odsetek wyników fałszywie dodatnich, ponieważ istotny jest skutecznie wybierany z dużej liczby analiz. Rejestracja wstępna i stały plan analiz ograniczają tę elastyczność.