Njësia 5 / 11

Diagnostifikimi dhe shkeljet e regresionit: Kolineariteti, Heteroskedasticiteti, Autokorrelacioni

Fitimet:

  • Aftësia për të zbuluar shkelje të tilla si multikolineariteti, heteroskedastizmi dhe autokorrelacioni me teste diagnostikuese dhe grafikë me mbështetje të inteligjencës artificiale
  • Aftësia për të dalluar nëse çdo shkelje shtrembëron vlerësimet e koeficientëve ose gabimet standarde dhe të zgjidhni korrigjimin e duhur (gabim standard i fortë, transformim, rishikim i modelit)
  • Aftësia për të verifikuar që rregullimet e sugjeruara nga AI e zgjidhin problemin në vend që ta fshehin atë dhe se diagnoza bazohet në të kuptuarit e procesit që prodhon të dhënat

Leximi i rezultatit të një regresioni është i lehtë; Është e vështirë t'i besosh atij. Për shkak se koeficientët janë të paanshëm, gabimet standarde janë të sakta dhe vlerat p janë të vlefshme, në varësi të supozimeve që kemi prezantuar në njësinë e mëparshme janë përmbushur. Në këtë njësi, ne do të trajtojmë tre shkeljet më të zakonshme: multikolineariteti, heteroskedastizmi dhe autokorrelacioni. Ne do t'i përgjigjemi tre pyetjeve për secilën: si ta diagnostikojmë atë, çfarë prishet (koeficienti ose gabim standard) dhe si ta rregullojmë atë. Inteligjenca artificiale (AI) gjeneron kodin për testimin dhe korrigjimin diagnostik; por ju vendosni se cila shkelje është në të vërtetë problemi dhe nëse rregullimi e zgjidh problemin.

Le të bëjmë dallimin më kritik përpara: A e shtrembëron një shkelje vlerësimin e koeficientit apo thjesht gabimet standarde? Ky dallim përcakton zgjidhjen. Një problem që shtrembëron koeficientin (p.sh. shkelje e ekzogjenitetit) kërkon rimendimin e modelit; Një problem që shtrembëron vetëm gabimin standard (heteroscedasticiteti, autokorrelacioni) shpesh zgjidhet me korrigjim standard të gabimit. Një gabim i zakonshëm i AI është aplikimi i një teknike që korrigjon gabimin standard dhe më pas e deklaron problemin "të zgjidhur"; ndërsa struktura themelore mund të jetë ende atje.

Shkelja 1: Shumëkolineariteti

Pse? Dy ose më shumë variabla shpjegues janë të lidhur ngushtë me njëri-tjetrin; për shembull, vendosja e "viteve totale të përvojës" dhe "moshës" në model. Duke qenë se këto variabla përmbajnë pothuajse të njëjtin informacion, modeli e ka të vështirë t'i ndajë ato.

Çfarë prish? Vlerësimet e koeficientëve mbeten të paanshëm, por bëhen të paqëndrueshëm: gabimet standarde rriten, intervalet e besimit zgjerohen, koeficientët individualë mund të rezultojnë të parëndësishëm ndërsa modeli mund të jetë i rëndësishëm në përgjithësi (F-test). Një ndryshim i vogël i të dhënave e lëviz ndjeshëm koeficientin.

Si diagnostikohet? VIF (Variance Inflation Factor): për çdo variabël, mat se sa ai variabël shpjegohet nga të tjerët. Si një prag i përafërt, VIF > 5 (rreth 10) kërkon kujdes. Gjithashtu, shqyrtohet matrica e korrelacionit midis variablave shpjegues.

Si të rregulloni? Heqja e një prej variablave të ndërlidhur, kombinimi i tyre (bërja e një indeksi), ose (nëse teoria e kërkon) mbajtja e të dyjave dhe shmangia e interpretimit të koeficientëve individualë. Cila variabël qëndron është një vendim teorik, jo statistik - AI sugjeron eliminimin, ju jepni justifikimin.

Shkelja 2: Heteroskedasticiteti

Pse? Varianca e termit të gabimit nuk është konstante përgjatë vëzhgimeve. Shembull tipik: me rritjen e të ardhurave, rritet edhe shpërndarja rreth shpenzimeve; Formohet një model "gyp", i ngushtë me të ardhura të ulëta dhe i gjerë me të ardhura të larta.

Çfarë prish? Vlerësimet e koeficientëve janë përsëri të paanshëm - kjo është e rëndësishme. Ajo që shtrembërohet janë gabimet standarde: ato llogariten gabimisht, kështu që vlerat p dhe intervalet e besimit bëhen të pabesueshme. Pra, koeficienti juaj është në qendrën e duhur, por përgjigja e pyetjes "sa i sigurt jeni" është e gabuar.

Si diagnostikohet? Grafiku i shpërndarjes së mbetjeve kundrejt vlerave të parashikuara (kërkohet modeli i gypave) dhe testet formale: Testi Breusch-Pagan, Testi White. Vlera e vogël p thotë "pa variancë konstante".

Si të rregulloni? Zgjidhja më e zakonshme dhe praktike është përdorimi i gabimeve standarde të forta (të forta / heteroskedastike-konsistente, gabime standarde HC): nuk ndryshon koeficientin, korrigjon gabimin standard për shkelje. Alternativa: transformimi i ndryshores së varur (si log) ose LCM e ponderuar. Gabimet standarde të forta janë bërë pothuajse parazgjedhja në punën empirike sot.

Shkelja 3: Autokorrelacioni

Pse? Termat e gabimit nuk janë të pavarur nga njëri-tjetri; Është më i zakonshëm në seritë kohore: gabimi i një periudhe ndikon në tjetrën (p.sh. mbetja mbetet pozitive në periudhat pas një goditjeje).

Çfarë prish? Përsëri, ai kryesisht shtrembëron gabimet standarde (shpesh i nënvlerëson ato, duke krijuar një rëndësi të rreme); Koeficientët mbeten të paanshëm në LCC, por humbasin efektivitetin e tyre.

Si diagnostikohet? Testi Durbin-Watson (për autokorrelacionin e rendit të parë), testi Breusch-Godfrey (më i përgjithshëm) dhe parcelat e mbetjeve kundrejt vlerave të vonuara.

Si të rregulloni? Newey-West (HAC - rezistent ndaj autokorrelacionit dhe heteroskedasticitetit) gabime standarde, duke shtuar terma të vonuara në model, ose duke kaluar në modelin e duhur të serive kohore (njësia 8).

Kujdes: Heteroskedasticiteti dhe autokorrelacioni shtrembërojnë gabimin standard, jo koeficientin. Prandaj, para se të thoni "koeficienti ishte i rëndësishëm", sigurohuni që gabimi standard të jetë llogaritur saktë; Përndryshe kuptimi mund të jetë një iluzion.

grafik krahasimi

shkelje

Çfarë prishet

Diagnoza

Zgjidhje e zakonshme

shumë lidhje

Fryn gabimet standarde, e bën koeficientin të paqëndrueshëm

VIF, matrica e korrelacionit

Zbrit/kombinoje ndryshoren (sipas teorisë)

heteroskedasticiteti

Gabimet standarde (koeficienti i paanshëm)

Breusch-Pagan, White, parcela e mbetur

Gabim standard i fortë (HC), konvertim

Autokorrelacioni

Gabimet standarde (koeficienti i paanshëm)

Durbin-Watson, Breusch-Godfrey

Newey-West (HAC), afat i vonuar

Katër kërkesa të kopjueshme

1. Paketa e plotë diagnostikuese:

Roli juaj: asistent diagnostikues i regresionit. Unë dua kodin R, nuk i ndaj të dhënat. Modeli: lm (shpenzime ~ të ardhura + mosha + rajoni, të dhëna = të dhëna). Detyrë: (1) Llogaritni VIF, (2) Testoni heteroskedasticitetin me Breusch-Pagan dhe grafikun e vlerësimit të mbetur, (3) Testoni autokorrelacionin me Durbin-Watson. Shpjegoni në rreshtin e komenteve se çfarë shkelje mat çdo test dhe si të interpretoni vlerën p. APLIKACIONI korrigjues; prodhojnë diagnozë.

2. Gabim standard i fortë:

Shkruani kodin R që riprodhon tabelën e koeficientit me gabime standarde të qëndrueshme ndaj heteroskedasticitetit (HC3) për të njëjtin model (pako sanduiç + lmtest). Krijoni një tabelë që tregon gabimet standarde klasike dhe të forta krah për krah, në mënyrë që të shoh ndryshimin. Në rreshtin e komenteve theksoni se koeficientët NUK ndryshojnë, ndryshojnë vetëm gabimet standarde.

3. Rishikim me shumë lidhje:

Më jep një listë THINK të variablave me VIF të lartë: cilat variabla mund të masin teorikisht të njëjtën gjë, cilat prej tyre kanë një rast të fortë për t'i mbajtur ato. MOS kualifikohu automatikisht; Unë do ta marr vendimin bazuar në teori. Shpjegoni gjithashtu pse mund të jetë e gabuar thjesht të shikoni VIF dhe të caktoni variabla.

4. Korrigjimi i autokorrelacionit:

Në regresionin tim të serisë kohore, vlera p Breusch-Godfrey ishte 0.001. Shkruani kodin R që prodhon tabelën e koeficientit me gabime standarde Newey-West (HAC) dhe shpjegoni se si të zgjidhni vonesën. Vini re se ky korrigjim nuk e zgjidh SHKAQIN e autokorrelacionit, ai thjesht korrigjon përfundimin.

Prompt i dobët / Prompt i fortë

Njoftim i dobët:

A ka ndonjë problem me regresionin tim? Nëse po, rregullojeni.

Ky urdhër e vendos AI në një modalitet "rregullimi" të verbër: ai mund të kapërcejë testet dhe të aplikojë një transformim të drejtpërdrejtë ose eliminim të variablave, pa ju treguar se cila shkelje ekziston në të vërtetë dhe çfarë ka thyer.

Njoftim i fuqishëm:

Roli juaj: ndihmës diagnostikues, jo autokorrigjues. Testi i parë për TRE shkelje veç e veç (multikolineariteti, heteroskedastizmi, autokorrelacioni) dhe për secilën: cili test, si lexohet rezultati, a thyen KOEFICIENTIN apo GABIM STANDARD. Më pas sugjeroni vetëm një rregullim për shkeljen që u zbulua në fakt dhe shpjegoni se si mund të verifikoj që rregullimi e zgjidhi problemin.

Dallimi: vullneti i fortë detyron diagnozën përpara korrigjimit dhe kërkon dallim të qartë midis "ajo që prish".

tre mini kuti

Rasti 1 - Rëndësia e rreme (heteroskedasticiteti). Një analist gjeti se koeficienti i të ardhurave në modelin shpenzim ~ të ardhura ishte "i rëndësishëm" në p=0.01. Por tani kishte një model të veçantë gypi në grafikun e tij. Kur u aplikuan gabime të forta standarde, vlera p u rrit në 0.09; kuptimi humbet. Rezultati i parë ishte një iluzion i krijuar nga një gabim standard i llogaritur gabimisht. Mësimi: rëndësia nuk mund të besohet pa korrigjuar gabimin standard.

Rasti 2 - Eliminimi i variablave të verbër. Një student hoqi variablin "përvojë" nga modeli sepse VIF i tij ishte i lartë; Koeficientët u “pastruan” por kuptimi teorik i modelit u shtrembërua sepse përvoja ishte variabli kryesor i interesit. Mënyra e duhur: zbrisni moshën dhe mbani përvojën, ose kombinoni të dyja. Mësimi: Vetëm pragu VIF nuk është bazë për eliminim; teoria përcakton.

Rasti 3 - Pasiguria e fshehur nga autokorrelacioni. Në një studim të serive kohore, Durbin-Watson u injorua; koeficienti dukej shumë "i saktë" (interval i ngushtë besimi). Kur u aplikuan gabimet standarde të Newey-West, intervali i besimit u dyfishua dhe rekomandimi i politikës u bë shumë më konservator. Mësimi: autokorrelacioni mund të nënvlerësojë pasigurinë.

Gabimet e zakonshme

  • Gabimi i shkeljes që shtrembëron gabimin standard si problem koeficienti. Heteroskedasticiteti dhe autokorrelacioni nuk e shtrembërojnë koeficientin; Mos u frikësoni dhe rindërtoni modelin në mënyrë të panevojshme, korrigjoni së pari gabimin standard.
  • Duke parë VIF dhe duke caktuar verbërisht variabla. Heqja e një ndryshoreje teorikisht të nevojshme vetëm për shkak se VIF është e lartë e bën modelin të pakuptimtë.
  • Nuk verifikohet rregullimi. Pas aplikimit të gabimit të fortë standard, kontrolloni nëse shkelja e korrigjon përfundimin; Mos thuaj “e aplikova, u bë”.
  • Rregullimi pa diagnozë. Aplikimi i transformimit/eliminimit pa testuar se cila shkelje ekziston mund ta “zgjidhë” problemin aty ku nuk ekziston dhe të fshehë atë që e ka.
  • Vendosja e rregullimit në vend pse. Newey-West nuk zgjidh shkakun e autokorrelacionit; ai thjesht rregullon përfundimin. Nëse ka një problem strukturor, modeli duhet të ndryshohet.
Këshillë: Për çdo shkelje, pyesni veten "a po e shkatërron kjo koeficientin apo besimin tim në të?" Nëse përgjigja është "besimi", zgjidhja është pothuajse gjithmonë korrigjimi standard i gabimit, jo rindërtimi i modelit.

Në përmbledhje

Diagnostifikimi i regresionit është një parakusht për t'i besuar rezultatit. Nga tre shkeljet e zakonshme, multikolineariteti e bën koeficientin të paqëndrueshëm dhe rrit gabimin standard; Heteroskedasticiteti dhe autokorrelacioni, nga ana tjetër, e lënë koeficientin të paanshëm dhe vetëm shtrembërojnë gabimin standard. AI gjeneron kodin diagnostikues dhe rregullues, por ju vendosni se cila shkelje është problemi i vërtetë, cili variant mbetet teorik dhe nëse rregullimi e zgjidh problemin. As paniku dhe as korrigjimi i verbër nuk është i saktë pa sqaruar dallimin mes "çfarë po thyhet".

Detyra e aplikimit

Vendosni një regresion me shumë variacione dhe kërkoni nga AI një kod që prodhon vetëm diagnoza (pa korrigjime): VIF, Breusch-Pagan/White dhe Durbin-Watson/Breusch-Godfrey. Për çdo test, interpretoni rezultatin dhe tregoni nëse shkelja shtrembëron koeficientin apo gabimin standard. Për një shkelje reale që zbuloni (p.sh. heteroskedasticiteti), aplikoni gabime standarde të forta dhe vendosni njëra-tjetrën rezultatet klasike dhe të forta; Tregoni se koeficienti nuk ndryshon por gabimi standard ndryshon. Në një paragraf, raportoni se si rezultati i rëndësisë suaj u ndikua nga korrigjimi.

listë kontrolli

  • [ ] Kam testuar tre shkelje (multikolineariteti, heteroskedasticiteti, autokorrelacioni) veçmas.
  • [ ] Për çdo shkelje kam diferencuar nëse deformon koeficientin apo gabimin standard.
  • [ ] Unë e bazova eliminimin e variablave në multikolinearitet në teori, jo vetëm në VIF.
  • [ ] Kam përdorur gabim standard me qëndrueshmëri ndaj heteroskedasticitetit/autokorrelacionit (HC/HAC).
  • [ ] Pas korrigjimit, kontrollova dhe verifikova ndikimin e shkeljes në përfundimin tim.
  • [ ] Unë raportoj se si rezultati im i rëndësisë u ndikua nga korrigjimi standard i gabimit.