Pelnas:
- Gebėjimas aptikti pažeidimus, tokius kaip daugiakolineariškumas, heteroskedastiškumas ir autokoreliacija su diagnostiniais testais ir grafika su dirbtinio intelekto palaikymu
- Gebėjimas atskirti, ar kiekvienas pažeidimas iškraipo koeficientų įverčius ar standartines paklaidas, ir pasirinkti tinkamą pataisą (tiksli standartinė paklaida, transformacija, modelio peržiūra)
- Galimybė patikrinti, ar dirbtinio intelekto pasiūlyti pataisymai išsprendžia problemą, o ne ją slepia, ir ar diagnozė pagrįsta duomenų kūrimo proceso supratimu.
Skaityti regresijos išvestį lengva; Sunku juo pasitikėti. Kadangi koeficientai yra nešališki, standartinės paklaidos yra teisingos, o p reikšmės galioja, atsižvelgiant į tai, ar yra įvykdytos ankstesniame vienete pateiktos prielaidos. Šiame skyriuje apžvelgsime tris dažniausiai pasitaikančius pažeidimus: daugiakolineariškumą, heteroskedastiką ir autokoreliaciją. Kiekvienam atsakysime į tris klausimus: kaip diagnozuoti, kas sugenda (koeficientas ar standartinė klaida) ir kaip tai ištaisyti. Dirbtinis intelektas (AI) generuoja diagnostikos testavimo ir korekcijos kodą; bet jūs nuspręsite, kuris pažeidimas iš tikrųjų yra problema ir ar taisymas išsprendžia problemą.
Iš anksto išskirkime svarbiausią skirtumą: ar pažeidimas iškraipo koeficiento įvertinimą ar tik standartines klaidas? Šis skirtumas lemia sprendimą. Problema, iškreipianti koeficientą (pvz., egzogeniškumo pažeidimas), reikalauja permąstyti modelį; Problema, kuri tik iškreipia standartinę paklaidą (heteroskedastiškumas, autokoreliacija), dažnai išsprendžiama standartiniu klaidų taisymu. Dažna AI klaida yra taikyti techniką, kuri ištaiso standartinę klaidą ir paskelbia problemą „išspręsta“; kadangi pagrindinė struktūra vis tiek gali išlikti.
1 pažeidimas: daugiakolineariškumas
Kodėl? Du ar daugiau aiškinamųjų kintamųjų yra stipriai susiję vienas su kitu; pavyzdžiui, į modelį įtraukiant „bendrą patirtį“ ir „amžių“. Kadangi šie kintamieji turi beveik tą pačią informaciją, modeliui sunku juos atskirti.
Ką tai sulaužo? Koeficientų įverčiai išlieka nešališki, bet tampa nestabilūs: standartinės paklaidos padidėja, pasikliautinieji intervalai platėja, atskiri koeficientai gali pasirodyti nereikšmingi, o modelis gali būti reikšmingas bendrai (F testas). Nedidelis duomenų pasikeitimas žymiai pakeičia koeficientą.
Kaip tai diagnozuojama? VIF (Variance Inflation Factor): kiekvienam kintamajam jis matuoja, kiek tas kintamasis paaiškinamas kitais. Apytikslė riba, kai VIF > 5 (apie 10), reikalauja atsargumo. Be to, nagrinėjama koreliacijos matrica tarp aiškinamųjų kintamųjų.
Kaip pataisyti? Atsisakyti vieno iš koreliuojančių kintamųjų, juos sujungti (sudaryti indeksą) arba (jei teorija reikalauja) išlaikyti abu ir vengti interpretuoti atskirus koeficientus. Kuris kintamasis lieka, yra teorinis, o ne statistinis sprendimas – AI siūlo pašalinti, jūs pateikiate pagrindimą.
2 pažeidimas: Heteroskedastiškumas
Kodėl? Klaidos termino dispersija stebėjimuose nėra pastovi. Tipiškas pavyzdys: didėjant pajamoms, didėja ir išlaidų sklaida; Susidaro „piltuvo“ modelis, siauras esant mažoms pajamoms ir platus esant didelėms pajamoms.
Ką tai sulaužo? Koeficientų įverčiai vėlgi yra nešališki – tai svarbu. Iškraipomos standartinės klaidos: jos apskaičiuojamos neteisingai, todėl p reikšmės ir pasikliautinieji intervalai tampa nepatikimi. Taigi jūsų koeficientas yra teisingame centre, tačiau atsakymas į klausimą „kiek pasitiki savimi“ yra klaidingas.
Kaip tai diagnozuojama? Likučių sklaidos diagrama, palyginti su numatomomis reikšmėmis (ieškomas piltuvo modelis) ir formalūs testai: Breusch-Pagan testas, White testas. Maža p reikšmė sako „nėra pastovios dispersijos“.
Kaip pataisyti? Labiausiai paplitęs ir praktiškiausias sprendimas yra naudoti tvirtas standartines paklaidas (tvirtas / heteroskedastiškumo nuoseklumas, HC standartinės klaidos): tai nekeičia koeficiento, taiso standartinę paklaidą už pažeidimą. Alternatyva: priklausomo kintamojo (pvz., log) arba svertinio LCM transformavimas. Stiprios standartinės klaidos šiandien tapo beveik numatytosiomis empirinio darbo sąlygomis.
3 pažeidimas: autokoreliacija
Kodėl? Klaidos terminai nėra nepriklausomi vienas nuo kito; Tai dažniausiai pasitaiko laiko eilutėse: vieno laikotarpio paklaida turi įtakos kitam (pvz., likutis išlieka teigiamas periodais po šoko).
Ką tai sulaužo? Vėlgi, tai pirmiausia iškraipo standartines klaidas (dažnai jas nuvertina, sukurdama klaidingą reikšmę); Koeficientai išlieka nešališki LCC, bet praranda savo efektyvumą.
Kaip tai diagnozuojama? Durbin-Watson testas (pirmos eilės autokoreliacijai), Breuscho-Godfrey testas (bendresnis) ir likučių ir vėluojančių verčių diagramos.
Kaip pataisyti? Newey-West (HAC – atsparus autokoreliacijai ir heteroskedastiskumui) standartinės klaidos, modelio pridėjimas vėluojančių terminų arba perjungimas į atitinkamą laiko eilutės modelį (8 vienetas).
Atsargiai: Heteroskedastiškumas ir autokoreliacija iškreipia standartinę paklaidą, o ne koeficientą. Todėl prieš sakydami „koeficientas buvo reikšmingas“ įsitikinkite, kad standartinė paklaida apskaičiuota teisingai; Priešingu atveju prasmė gali būti iliuzija.
palyginimo diagrama
pažeidimas
Kas lūžta
Diagnozė
Bendras sprendimas
kelių saitų
Išpučia standartines paklaidas, daro koeficientą nestabilų
VIF, koreliacinė matrica
Atimkite / sujunkite kintamąjį (pagal teoriją)
heteroskedastiškumas
Standartinės klaidos (nešališkas koeficientas)
Breusch-Pagan, baltas, likutinis sklypas
Tvirta (HC) standartinė klaida, konvertavimas
Autokoreliacija
Standartinės klaidos (nešališkas koeficientas)
Durbin-Watson, Breusch-Godfrey
Newey-West (HAC), atidėtas terminas
Keturi nukopijuoti raginimai
1. Visas diagnostikos paketas:
Jūsų vaidmuo: regresijos diagnostikos asistentas. Noriu R kodo, nedalinu duomenų. Modelis: lm(išlaidos ~ pajamos + amžius + regionas, duomenys = duomenys). Užduotis: (1) Apskaičiuokite VIF, (2) Išbandykite heteroskedastikumą su Breusch-Pagan ir liekamojo įvertinimo diagrama, (3) Patikrinkite autokoreliaciją su Durbin-Watson. Komentarų eilutėje paaiškinkite, kokį pažeidimą matuoja kiekvienas testas ir kaip interpretuoti p reikšmę. Koregavimo PARAIŠKA; sukurti diagnozę.
2. Tvirta standartinė klaida:
Parašykite R kodą, kuris atkuria koeficientų lentelę su heteroskedastiškumo-tvirtumo (HC3) standartinėmis paklaidomis tam pačiam modeliui (sandwich + lmtest paketai). Sukurkite lentelę, kurioje greta rodomos klasikinės ir patikimos standartinės klaidos, kad galėčiau pamatyti skirtumą. Komentarų eilutėje pabrėžkite, kad koeficientai NETIKIA, keičiasi tik standartinės klaidos.
3. Kelių nuorodų peržiūra:
Pateikite man THINK sąrašą kintamųjų su dideliu VIF: kurie kintamieji teoriškai galėtų išmatuoti tą patį dalyką, kurie turi rimtų priežasčių juos išlaikyti. NENAUDOKITE automatinės kvalifikacijos; Priimsiu sprendimą remdamasis teorija. Taip pat paaiškinkite, kodėl gali būti neteisinga tiesiog pažvelgti į VIF ir priskirti kintamuosius.
4. Autokoreliacijos korekcija:
Mano laiko eilutės regresijoje Breuscho-Godfrey p-reikšmė buvo 0,001. Parašykite R kodą, kuris sukuria koeficientų lentelę su Newey-West (HAC) standartinėmis klaidomis ir paaiškinkite, kaip pasirinkti vėlavimą. Atkreipkite dėmesį, kad šis pataisymas neišsprendžia autokoreliacijos PRIEŽASTIES, jis tik pataiso išvadą.
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Ar yra problemų dėl mano regresijos? Jei taip, pataisykite.
Šis raginimas įjungia AI aklo „taisymo“ režimą: jis gali praleisti testus ir taikyti tiesioginę transformaciją arba kintamojo pašalinimą, neparodydamas, kuris pažeidimas iš tikrųjų egzistuoja ir ką jis sulaužė.
Galingas raginimas:
Jūsų vaidmuo: diagnostikos asistentas, o ne autokorektorius. Pirmas testas dėl TRIJŲ pažeidimų atskirai (daugiatiesiškumas, heteroskedastiškumas, autokoreliacija) ir kiekvienam: kuris testas, kaip nuskaityti rezultatą, ar jis pažeidžia KOEFICIENTAS ar STANDARTINĖ KLAIDA. Tada tik pasiūlykite pataisyti pažeidimą, kuris TIKRAI buvo aptiktas, ir paaiškinkite, kaip galiu patikrinti, ar taisymas išsprendė problemą.
Skirtumas: stipri valia verčia diagnozuoti prieš pataisymą ir reikalauja aiškaus skirtumo tarp „ką ji sulaužo“.
trys mini dėklai
1 atvejis – klaidinga reikšmė (heteroskedastiškumas). Vienas analitikas nustatė, kad pajamų koeficientas išlaidų ~ pajamų modelyje yra „reikšmingas“ esant p=0,01. Tačiau dabar jo diagramoje buvo ryškus piltuvo modelis. Kai buvo pritaikytos tvirtos standartinės paklaidos, p reikšmė padidėjo iki 0,09; prasmė prarandama. Pirmasis rezultatas buvo klaidingai apskaičiuotos standartinės paklaidos sukurta iliuzija. Pamoka: reikšmingumu negalima pasitikėti neištaisius standartinės klaidos.
2 atvejis – aklas kintamojo pašalinimas. Vienas studentas iš modelio išmetė „patirties“ kintamąjį, nes jo VIF buvo didelis; Koeficientai buvo „išvalyti“, tačiau modelio teorinė prasmė buvo iškreipta, nes patirtis buvo pagrindinis dominantis kintamasis. Teisingas būdas: atimkite amžių ir išsaugokite patirtį arba sujunkite abu. Pamoka: vien VIF slenkstis nėra pagrindas pašalinti; teorija nustato.
3 atvejis – autokoreliacijos paslėptas neapibrėžtumas. Laiko eilučių tyrime Durbin-Watson buvo ignoruojamas; koeficientas atrodė labai „tikslus“ (siauras pasikliautinasis intervalas). Kai buvo pritaikytos Newey-West standartinės klaidos, pasikliautinasis intervalas padvigubėjo ir politikos rekomendacija tapo daug konservatyvesnė. Pamoka: autokoreliacija gali neįvertinti neapibrėžtumo.
Dažnos klaidos
- Pažeidimas, iškreipiantis standartinę paklaidą, laikomas koeficiento problema. Heteroskedastiškumas ir autokoreliacija neiškreipia koeficiento; Neišsigąskite ir be reikalo perkurkite modelį, pirmiausia ištaisykite standartinę klaidą.
- Žvelgiant į VIF ir aklai priskiriant kintamuosius. Pašalinus teoriškai būtiną kintamąjį vien dėl to, kad VIF yra didelis, modelis tampa beprasmis.
- Nepatvirtina pataisos. Pritaikę tvirtą standartinę klaidą patikrinkite, ar pažeidimas iš tikrųjų pataiso išvadą; Nesakykite „aš pritaikiau, viskas padaryta“.
- Pataisyti be diagnozės. Taikant transformaciją/pašalinimą neišbandžius, kuris pažeidimas egzistuoja, galima „išspręsti“ problemą ten, kur jos nėra, ir paslėpti tą, kuri yra.
- Pataisymas, kodėl. Newey-West neišsprendžia autokoreliacijos priežasties; tai tik pataiso išvadą. Jei yra struktūrinių problemų, modelis turi būti pakeistas.
Patarimas: dėl kiekvieno pažeidimo paklauskite savęs „ar tai griauna koeficientą ar mano pasitikėjimą juo? Jei atsakymas yra „pasitikėjimas“, beveik visada sprendimas yra standartinis klaidų taisymas, o ne modelio atkūrimas.
Apibendrinant
Regresinė diagnostika yra būtina sąlyga norint pasitikėti rezultatu. Iš trijų dažniausiai pasitaikančių pažeidimų dėl daugiakolineariškumo koeficientas tampa nestabilus ir padidina standartinę paklaidą; Kita vertus, heteroskedastiškumas ir autokoreliacija palieka nešališką koeficientą ir tik iškreipia standartinę paklaidą. AI generuoja diagnostikos ir pataisymo kodą, bet jūs nusprendžiate, kuris pažeidimas yra tikroji problema, kuris variantas lieka teorinis ir ar pataisymas išsprendžia problemą. Nei panika, nei aklas korekcija nėra teisinga nepaaiškinus skirtumo tarp „kas lūžta“.
Taikymo užduotis
Nustatykite daugiamatę regresiją ir paprašykite AI kodo, kuris pateikia tik diagnozes (be pataisymų): VIF, Breusch-Pagan/White ir Durbin-Watson/Breusch-Godfrey. Kiekvieno bandymo metu interpretuokite rezultatą ir nurodykite, ar pažeidimas iškraipo koeficientą, ar standartinę paklaidą. Jei aptinkate tikrą pažeidimą (pvz., heteroskedastiškumą), taikykite patikimas standartines klaidas ir gretinkite klasikinius bei patikimus rezultatus; Parodykite, kad koeficientas nesikeičia, bet keičiasi standartinė paklaida. Vienoje pastraipoje nurodykite, kaip korekcija paveikė jūsų reikšmingumo rezultatą.
kontrolinis sąrašas
- [ ] Išbandžiau tris pažeidimus (daugiatiesiškumas, heteroskedastiškumas, autokoreliacija) atskirai.
- [ ] Prie kiekvieno pažeidimo atskyriau, ar jis iškreipia koeficientą, ar standartinę paklaidą.
- [ ] Kintamųjų eliminavimą daugiakolineariškume grindžiau teorija, o ne tik VIF.
- [ ] Naudojau standartinę paklaidą su atsparumu heteroskedastiškumui/autokoreliacijai (HC/HAC).
- [ ] Po pataisymo patikrinau ir patikrinau pažeidimo įtaką mano išvadai.
- [ ] Pranešu, kaip mano reikšmingumo rezultatą paveikė standartinis klaidų taisymas.