Bölüm 5 / 11

Regressiýa diagnostikasy we bozulmalar: Çyzyklylyk, Geteroscedastiklik, Awtokorrelýasiýa

Girdeji:

  • Köp ugurlylyk, heteroscedastiklik we anyklaýyş synaglary we emeli intellekt goldawy bilen grafika bilen awtokorrelýasiýa ýaly düzgünleri ýüze çykarmak ukyby;
  • Her düzgün bozulmanyň koeffisiýent bahalaryny ýa-da adaty ýalňyşlyklary ýoýýandygyny ýa-da degişli düzedişi saýlap bilmek ukyby (ygtybarly standart ýalňyşlyk, üýtgetme, modeliň täzeden seredilmegi)
  • AI tarapyndan teklip edilen düzedişleriň meseläni gizlemegiň ýerine çözýändigini we diagnozyň maglumatlary öndürýän prosese düşünmäge esaslanýandygyny barlamak ukyby;

Yza çekilişiň netijesini okamak aňsat; Oňa ynanmak kyn. Koeffisientler bitarap bolany üçin, adaty ýalňyşlyklar dogry we öňki bölümde girizen çaklamalarymyza baglylykda p-bahalar dogry. Bu bölümde iň köp ýaýran üç düzgüni: köp ugurlylyk, heterosedastiklik we awtokorrelýasiýa barada durup geçeris. Her biri üçin üç soraga jogap bereris: nädip diagnoz goýmaly, nämäni döwýär (koeffisiýent ýa-da adaty ýalňyşlyk) we ony nädip düzetmeli. Emeli intellekt (AI) anyklaýyş synagy we düzediş kody döredýär; ýöne haýsy düzgün bozulmanyň hakykatdanam problemadygyny we düzedişiň meseläni çözýändigini çözýärsiňiz.

Iň möhüm tapawudy öňe süreliň: Düzgün bozulma koeffisiýent bahasyny ýoýýarmy ýa-da diňe adaty ýalňyşlyklarmy? Bu tapawut çözgüdi kesgitleýär. Koeffisiýenti ýoýýan mesele (meselem, ekzogeniň bozulmagy) modeliň täzeden gözden geçirilmegini talap edýär; Diňe adaty ýalňyşlygy ýoýýan mesele (heterosedastiklik, awtokorrelýasiýa) köplenç adaty ýalňyşlary düzetmek arkaly çözülýär. AI-iň umumy ýalňyşlygy, adaty ýalňyşlygy düzedýän, soň bolsa meseläniň “çözülendigini” yglan etmek usulyny ulanmakdyr; esasy gurluşy henizem şol ýerde bolup biler.

Düzgün 1: Köp ugurlylyk

Näme üçin? Iki ýa-da has köp düşündiriş üýtgeýjisi biri-biri bilen berk baglanyşyklydyr; meselem, “umumy ýyllyk tejribe” we “ýaş” modelini goýmak. Bu üýtgeýjiler birmeňzeş maglumat alyp barýandygy sebäpli, model olary aýyrmakda kynçylyk çekýär.

Näme döwýär? Koeffisiýent bahalandyrmalar bitarap bolup galýar, ýöne durnuksyz bolýar: adaty ýalňyşlyklar çişirilýär, ynam aralyklary giňelýär, aýratyn koeffisiýentler ähmiýetsiz bolup biler, model umumy ähmiýete eýe bolup biler (F-test). Ujypsyzja maglumat koeffisiýenti ep-esli herekete getirýär.

Oňa nädip diagnoz goýulýar? VIF (Üýtgeýän inflýasiýa faktory): her üýtgeýji üçin bu üýtgeýjiniň beýlekiler tarapyndan näçeräk düşündirilýändigini ölçýär. Gödek çäk hökmünde VIF> 5 (takmynan 10) seresap bolmaly. Mundan başga-da, düşündiriş üýtgeýjileriniň arasyndaky korrelýasiýa matrisasy gözden geçirilýär.

Nädip düzetmeli? Korrelirlenen üýtgeýjileriň birini taşlamak, olary birleşdirmek (indeks düzmek) ýa-da (teoriýa zerur bolsa) ikisini saklamak we aýry-aýry koeffisiýentleri düşündirmekden gaça durmak. Haýsy üýtgeýjiniň galmagy, statistiki karar däl-de, teoretiki karar - AI ýok etmegi teklip edýär, delillendirýärsiňiz.

Düzgün 2: Geteroscedastiklik

Näme üçin? Erroralňyşlyk adalgasynyň üýtgemegi synlamalarda hemişelik däl. Adaty mysal: girdejiniň artmagy bilen çykdajylaryň ýaýramagy hem artýar; “Huni” nagşy emele gelýär, pes girdejili dar we ýokary girdejili.

Näme döwýär? Koeffisiýent bahalandyrmalar ýene-de bitarap - bu möhümdir. Ortedalňyşýan zat adaty ýalňyşlyklar: nädogry hasaplanýar, şonuň üçin p-bahalar we ynam aralyklary ygtybarsyz bolýar. Şeýlelik bilen koeffisiýentiňiz dogry merkezde, ýöne "özüňize nä derejede ynamly" diýen soraga jogap nädogry.

Oňa nädip diagnoz goýulýar? Galyndylaryň çaklanylýan bahasy (gözlenýän huni nagşy) we resmi synaglar: Breusch-Pagan synagy, Ak synag. Kiçijik p-bahasy "hemişelik üýtgeşiklik ýok" diýýär.

Nädip düzetmeli? Iň ýaýran we amaly çözgüt ygtybarly standart ýalňyşlyklary ulanmakdyr (ygtybarly / heteroskedastiklige laýyk, HC standart ýalňyşlyklar): koeffisiýenti üýtgetmeýär, düzgün bozmak üçin adaty ýalňyşlygy düzedýär. Alternatiw: garaşly üýtgeýjini (log ýaly) ýa-da agramly LCM-ni üýtgetmek. Ygtybarly standart ýalňyşlyklar häzirki döwürde empirik işde adaty diýen ýaly boldy.

Düzgün 3: Awtokorrelýasiýa

Näme üçin? Erroralňyşlyk şertleri biri-birine garaşly däldir; Wagt seriýasynda iň ýygy duş gelýär: bir döwrüň ýalňyşlygy beýlekisine täsir edýär (meselem, galyndy şokdan soňky döwürlerde oňyn bolup galýar).

Näme döwýär? Againene-de, ilkinji nobatda, adaty ýalňyşlyklary ýoýýar (köplenç ýalňyş many döredýär); Koeffisientler LCC-de bitarap galýarlar, ýöne netijeliligini ýitirýärler.

Oňa nädip diagnoz goýulýar? Durbin-Watson synagy (birinji tertipli awtokorrelýasiýa üçin), Breusch-Godfrey synagy (has umumy) we galan gymmatlyklar bilen galyndylaryň bölekleri.

Nädip düzetmeli? “Newey-West” (HAC - awtokorrelýasiýa we heteroskedastiklige çydamly) standart ýalňyşlyklar, modele galan terminleri goşmak ýa-da degişli wagt seriýasy modeline geçmek (8-nji bölüm).

Üns beriň: Geteroscedastiklik we awtokorrelýasiýa koeffisiýenti däl-de, adaty ýalňyşlygy ýoýýar. Şonuň üçin "koeffisiýent möhümdi" diýmezden ozal, adaty ýalňyşyň dogry hasaplanandygyna göz ýetiriň; Otherwiseogsam manylylyk bir hyýal bolup biler.

deňeşdirme diagrammasy

bozulmagy

Näme bozýar

Diagnoz

Umumy çözgüt

köp baglanyşyk

Adaty ýalňyşlyklary çişirýär, koeffisiýenti durnuksyz edýär

VIF, korrelýasiýa matrisasy

Üýtgeýjini aýyrmak / birleşdirmek (teoriýa boýunça)

heteroscedastiklik

Adaty ýalňyşlyklar (koeffisiýent bitarap)

Breusch-Pagan, Ak, galyndy sýu plotet

Ygtybarly (HC) standart ýalňyşlyk, öwrülişik

Awtokorrelýasiýa

Adaty ýalňyşlyklar (koeffisiýent bitarap)

Durbin-Watson, Breusch-Godfrey

Newi-West (HAC), möhleti gijikdirildi

Göçürip boljak dört teklip

1. Doly anyklaýyş bukjasy:

Siziň roluňyz: regressiýa anyklaýyş kömekçisi. R kody isleýärin, maglumatlary paýlaşamok. Model: lm (çykdajy ~ girdeji + ýaş + sebit, maglumatlar = maglumatlar). Wezipe: (1) VIF-i hasaplaň, (2) Breusch-Pagan we galyndy-çaklama meýilnamasy bilen heteroskedastikligi synap görüň, (3) Durbin-Watson bilen awtokorrelýasiýa synagyny geçiriň. Teswir setirinde her synagyň haýsy bozulma çärelerini we p-bahasyny nädip düşündirmelidigini düşündiriň. Düzediş amaly; diagnoz goýuň.

2. Ygtybarly standart ýalňyşlyk:

Şol bir model (sendwiç + lmtest paketleri) üçin heteroskedastiki berk (HC3) standart ýalňyşlyklar bilen koeffisiýent tablisasyny köpeldýän R koduny ýazyň. Tapawudyny görmek üçin nusgawy we ygtybarly standart ýalňyşlyklary görkezýän tablisany öndüriň. Teswir setirinde koeffisiýentleriň üýtgemeýändigini, diňe adaty ýalňyşlyklaryň bolýandygyny belläň.

3. Köp baglanyşyk syn:

Maňa ýokary VIF bilen üýtgeýänleriň PIKIR sanawyny beriň: haýsy üýtgeýjiler teoretiki taýdan şol bir zady ölçäp bilýär, haýsylaryny saklamak üçin güýçli ýagdaý bar. Awto-kwalifikasiýa etmäň; Men teoriýa esaslanyp karar bererin. Şeýle hem, diňe VIF-e seredip, üýtgeýänleri bellemegiň nädogry bolup biljekdigini düşündiriň.

4. Awtokorrelýasiýa düzedişi:

Wagt seriýamyň regressiýasynda Breusch-Godfrey p-bahasy 0,001 boldy. Newey-West (HAC) standart ýalňyşlyklary bilen koeffisiýent tablisasyny öndürýän R koduny ýazyň we yza galmagy nädip saýlamalydygyny düşündiriň. Bu düzedişiň awtokorrelýasiýa sebäbini çözmeýändigini, diňe bir düzedişi düzedýändigini ýadyňyzdan çykarmaň.

Gowşak haýyş / Güýçli haýyş

Gowşak haýyş:

Regressiýamda bir mesele barmy? Şeýle bolsa, düzediň.

Bu haýyş, AI-ni kör “düzeltmek” re inimine salýar: synaglardan geçip, haýsy bozulmanyň bardygyny we nämäni bozandygyny görkezmän, göni üýtgeşmeleri ýa-da üýtgeýän ýok etmegi ulanyp biler.

Güýçli haýyş:

Siziň roluňyz: awtokorrektor däl, anyklaýyş kömekçisi. ÜÇ düzgüni bozmak üçin ilkinji synag (köp ugurlylyk, heteroscedastiklik, awtokorrelýasiýa) we her biri üçin: haýsy synag, netijäni nädip okamalydygy, COEFFICIENT ýa-da STANDARD RAL .YŞLYGY bozýar. Soňra diňe ACTUALLY ýüze çykarylan düzgüni bozmagy teklip ediň we düzedişiň nädip düzedilendigini nädip barlap biljekdigimi düşündiriň.

Tapawut: güýçli düzedişden öň diagnozy mejbur eder we "nämäni bozýandygyny" anyk kesgitlemegi talap eder.

üç sany kiçi halat

1-nji hadysa - Galp ähmiýet (heteroscedastiklik). Bir analitik, çykdajy ~ girdeji modelindäki girdeji koeffisiýentini p = 0.01 derejesinde “möhüm” diýip tapdy. Nowöne indi onuň diagrammasynda üýtgeşik huni nagşy bardy. Ygtybarly standart ýalňyşlyklar ulanylanda p-bahasy 0.09-a çenli ýokarlandy; manylylygy ýitýär. Ilkinji netije, ýalňyş hasaplanan standart ýalňyşlyk bilen döredilen illýuziýa boldy. Sapak: adaty ýalňyşlygy düzetmezden ähmiýetine ynanyp bolmaz.

2-nji hadysa - Kör üýtgeýänleri ýok etmek. Bir okuwçy, "tejribe" üýtgeýjisini VIF ýokary bolany üçin modelden taşlady; Koeffisientler “arassalandy”, ýöne modeliň teoretiki manysy ýoýuldy, sebäbi tejribe gyzyklanmanyň esasy üýtgeýjisi boldy. Dogry ýol: ýaşy aýyryň we tejribe saklaň ýa-da ikisini birleşdiriň. Sapak: Diňe VIF bosagasy ýok etmek üçin esas däl; nazaryýet kesgitleýär.

3-nji hadysa - Awtokorrelýasiýa bilen gizlenýän näbellilik. Wagtlaýyn gözlegde Durbin-Watson hasaba alynmady; koeffisiýenti gaty "takyk" ýalydy (dar ynam aralygy). “Newey-West” standart ýalňyşlyklar ulanylanda, ynam aralygy iki esse artdy we syýasat maslahaty has konserwatiw boldy. Sapak: awtokorrelýasiýa näbellilige baha berip biler.

Adaty ýalňyşlyklar

  • Koeffisiýent meselesi hökmünde adaty ýalňyşlygy ýoýýan düzgüni ýalňyşdyrmak. Geteroscedastiklik we awtokorrelýasiýa koeffisiýenti ýoýmaýar; Aladalanmaň we modeli gereksiz täzeden gurmaň, ilki adaty ýalňyşlygy düzediň.
  • VIF-e seredip, üýtgeýjileri kör bellemek. Diňe VIF ýokary bolany üçin teoretiki taýdan zerur üýtgeýjini aýyrmak modeli manysyz edýär.
  • Düzediş barlanylmaýar Ygtybarly standart ýalňyşlyk ulanylandan soň, düzgün bozmanyň hakykatdanam düzedilendigini barlaň; "Men ulandym, gutardy" diýmäň.
  • Diagnoz goýmazdan düzediň. Haýsy düzgün bozulmanyň bardygyny barlamazdan üýtgetmek / ýok etmek, ýok ýerinde meseläni "çözüp" biler we bar bolan zady gizläp biler.
  • Näme üçin düzediş girizmek. Newi-West awtokorrelýasiýa sebäbini çözmeýär; diňe düşünjäni düzedýär. Gurluş meselesi bar bolsa, modeli üýtgetmeli.
Maslahat: Her bir düzgün bozma üçin özüňize soraň "bu koeffisiýenti ýok edýärmi ýa-da oňa bolan ynamymy?" Jogap “ynam” bolsa, çözgüt modeli täzeden gurman, hemişe diýen ýaly adaty ýalňyşlary düzetmekdir.

Gysgaça

Regressiýa diagnostikasy, netijä ynanmak üçin zerur şertdir. Köp ýaýran üç düzgün bozmanyň arasynda köp ugurlylyk koeffisiýenti durnuksyz edýär we adaty ýalňyşlygy ýokarlandyrýar; Geteroskedastiklik we awtokorrelýasiýa, beýleki tarapdan, koeffisiýenti bitarap goýýar we diňe adaty ýalňyşlygy ýoýýar. AI anyklaýyş we düzediş koduny döredýär, ýöne haýsy düzgün bozulmanyň hakyky mesele, haýsy warianty teoretiki bolup galýandygyny we düzedişiň bu meseläni çözýändigini çözýärsiňiz. Aljyraňňylyk ýa-da kör düzediş "bozýan zadyň" arasyndaky tapawudy anyklamazdan dogry däl.

Programma meselesi

Köpugurly regressiýa guruň we AI-den diňe diagnozlary döredýän (düzedişler ýok) kod soraň: VIF, Breusch-Pagan / White, we Durbin-Watson / Breusch-Godfrey. Her synag üçin netijäni düşündiriň we düzgün bozmagyň koeffisiýentini ýa-da adaty ýalňyşlygy ýoýýandygyny görkeziň. Hakyky düzgün bozmak üçin (meselem, heterosedastiklik) berk standart ýalňyşlyklary we klassiki we ygtybarly netijeleri ulanyň; Koeffisiýentiň üýtgemeýändigini, ýöne adaty ýalňyşlygyň üýtgändigini görkeziň. Bir abzasda, ähmiýetiň netijesiniň düzedişe nähili täsir edendigini habar beriň.

gözegçilik sanawy

  • [] Üç düzgüni (köp ugurlylyk, heteroskedastiklik, awtokorrelýasiýa) aýratynlykda barladym.
  • [] Her bir düzgün bozma üçin, koeffisiýenti ýoýýandygyny ýa-da adaty ýalňyşlygy tapawutlandyrdym.
  • [] Diňe VIF däl-de, teoriýa esaslanýan köp ugurly üýtgeýän ýok etmegi esaslandyrdym.
  • [] Geteroscedastiklige / awtokorrelýasiýa (HC / HAC) berkligi bilen standart ýalňyşlygy ulandym.
  • [] Düzedişden soň, düzgün bozmanyň meniň pikirime täsirini barladym we barladym.
  • [] Möhüm netijämiň adaty ýalňyş düzedişlere nähili täsir edendigini habar berýärin.