Hagnaður:
- Hæfni til að greina brot eins og fjöllínuleika, misskiptingu og sjálfsfylgni með greiningarprófum og grafík með gervigreindarstuðningi
- Geta til að greina hvort hvert brot skekkir stuðlamat eða staðlaða villur og velja viðeigandi leiðréttingu (sterk staðalvilla, umbreyting, endurskoðun líkans)
- Geta til að sannreyna að lagfæringarnar sem gervigreindin leggur til leysi vandamálið frekar en að fela það og að greiningin sé byggð á skilningi á ferlinu sem framleiðir gögnin
Auðvelt er að lesa úttak aðhvarfs; Það er erfitt að treysta honum. Vegna þess að stuðlarnir eru óhlutdrægir eru staðalvillurnar réttar og p-gildin gilda, allt eftir því að forsendurnar sem við kynntum í fyrri einingu eru uppfylltar. Í þessari einingu munum við fjalla um þrjú algengustu brotin: multicollinearity, heteroscedasticity og autocorrelation. Við munum svara þremur spurningum fyrir hvern: hvernig á að greina það, hvað það brýtur (stuðull eða staðalvilla) og hvernig á að laga það. Gervigreind (AI) býr til kóðann fyrir greiningarpróf og leiðréttingu; en þú ákveður hvaða brot er raunverulega vandamálið og hvort lagfæringin leysi vandamálið.
Við skulum gera mikilvægasta greinarmuninn fyrir framan: Skekkir brot stuðlamatið eða bara staðlaðar villur? Þessi aðgreining ræður lausninni. Vandamál sem skekkir stuðulinn (t.d. brot á framandi eiginleikum) krefst endurhugsunar á líkaninu; Vandamál sem aðeins skekkir staðlaða villuna (heteroscedasticity, autocorrelation) er oft leyst með staðlaðri villuleiðréttingu. Algeng mistök gervigreindar eru að beita tækni sem leiðréttir staðlaða villuna og lýsa síðan yfir að vandamálið sé „leyst“; en undirliggjandi uppbygging gæti enn verið til staðar.
Brot 1: Multicollinearity
Hvers vegna? Tvær eða fleiri skýringarbreytur eru mjög tengdar hver annarri; til dæmis að setja bæði "heildarára reynslu" og "aldur" inn í líkanið. Þar sem þessar breytur bera nánast sömu upplýsingar á líkanið í erfiðleikum með að aðgreina þær.
Hvað brýtur það? Stuðlaáætlanir haldast óhlutdrægar en verða óstöðugar: staðlaðar skekkjur verða uppblásnar, öryggisbil stækka, einstakir stuðlar geta reynst ómarktækir á meðan líkanið getur verið marktækt í heildina (F-próf). Lítil gagnabreyting færir stuðulinn verulega til.
Hvernig er það greint? VIF (Variance Inflation Factor): fyrir hverja breytu mælir það hversu mikið þessi breyta skýrist af hinum. Sem grófur þröskuldur, VIF > 5 (um 10) ábyrgist aðgát. Auk þess er fylgnifylki milli skýringarbreyta skoðað.
Hvernig á að laga? Að sleppa einni af fylgnibreytunum, sameina þær (gera vísitölu) eða (ef kenningin krefst) halda báðum og forðast að túlka einstaka stuðla. Hvaða breyta helst er fræðileg ákvörðun, ekki tölfræðileg - gervigreind bendir til brotthvarfs, þú gefur upp rökstuðninginn.
Brot 2: Heteroscedasticity
Hvers vegna? Dreifni villunnar er ekki stöðug yfir athuganir. Dæmigerð dæmi: eftir því sem tekjur aukast, eykst dreifingin í kringum eyðslu; Það myndast „trekt“ mynstur, þröngt við lágar tekjur og breitt við háar tekjur.
Hvað brýtur það? Stuðlamat er aftur óhlutdrægt - þetta er mikilvægt. Það sem brenglast eru staðlaðar villur: þær eru rangar reiknaðar, þannig að p-gildi og öryggisbil verða óáreiðanleg. Þannig að stuðullinn þinn er í hægri miðju, en svarið við spurningunni „hversu öruggur ertu“ er rangt.
Hvernig er það greint? Dreifingarmynd leifa á móti spáð gildum (leitt eftir trektamynstri) og formleg próf: Breusch-heiðinn próf, hvítt próf. Lítið p-gildi segir "engin stöðug dreifni".
Hvernig á að laga? Algengasta og hagnýta lausnin er að nota sterkar staðlaðar villur (sterkar / misjafnvægissamkvæmar, HC staðalvillur): það breytir ekki stuðlinum, það leiðréttir staðalvilluna fyrir brot. Valkostur: umbreyta háðu breytunni (eins og log) eða veginni LCM. Sterkar staðalvillur eru nánast sjálfgefnar í reynsluvinnu í dag.
Brot 3: Sjálffylgni
Hvers vegna? Villuhugtökin eru ekki óháð hvert öðru; Það er algengast í tímaröðum: skekkja eins tímabils hefur áhrif á það næsta (t.d. afgangurinn er jákvæður á tímabilum eftir áfall).
Hvað brýtur það? Aftur, það skekkir fyrst og fremst staðlaðar villur (oft vanmetið þær, skapar ranga þýðingu); Stuðlarnir eru áfram óhlutdrægir í LCC en missa virkni þeirra.
Hvernig er það greint? Durbin-Watson próf (fyrir fyrstu stigs sjálffylgni), Breusch-Godfrey próf (almennara) og samsæri yfir leifar á móti töfum gildum.
Hvernig á að laga? Newey-West (HAC — ónæmur fyrir sjálfsfylgni og misskilningi) staðalvillum, bætir töfum hugtökum við líkanið eða skiptir yfir í viðeigandi tímaraðarlíkan (eining 8).
Varúð: Heteroscedasticity og autocorrelation skekkir staðalvilluna, ekki stuðulinn. Þess vegna, áður en þú segir „stuðullinn var marktækur“, vertu viss um að staðalvillan sé rétt reiknuð; Annars getur merkingarsemi verið blekking.
samanburðartöflu
brot
Hvað brotnar
Greining
Algeng lausn
fjöltengla
Blásar upp staðlaðar villur, gerir stuðulinn óstöðugan
VIF, fylgnifylki
Draga/sameina breytu (eftir kenningu)
misleitni
Staðlaðar villur (stuðull óhlutdrægur)
Breusch-heiðinn, hvítur, afgangslóð
Sterk (HC) staðalvilla, umbreyting
Sjálffylgni
Staðlaðar villur (stuðull óhlutdrægur)
Durbin-Watson, Breusch-Godfrey
Newey-West (HAC), seinkun
Fjórar afritanlegar leiðbeiningar
1. Heill greiningarpakki:
Þitt hlutverk: Aðhvarfsgreiningaraðstoðarmaður. Ég vil R kóða, ég deili ekki gögnunum. Líkan: lm(útgjöld ~ tekjur + aldur + svæði, gögn = gögn). Verkefni: (1) Reiknaðu VIF, (2) Prófa misjafnvægi með Breusch-Pagan og leifarmatsriti, (3) Prófaðu sjálfsfylgni við Durbin-Watson. Útskýrðu í athugasemdarlínunni hvaða brot hvert próf mælir og hvernig á að túlka p-gildið. Leiðrétting UMSÓKN; framleiða greiningu.
2. Öflug staðalvilla:
Skrifaðu R kóða sem endurskapar stuðlatöfluna með heteroskedasticity-robust (HC3) staðalvillum fyrir sama líkan (samloka + lmtest pakkar). Búðu til töflu sem sýnir klassískar og sterkar staðalvillur hlið við hlið svo ég geti séð muninn. Leggðu áherslu á í athugasemdarlínunni að stuðlarnir breytast EKKI, það gera það bara staðlaðar villur.
3. Fjöltengla endurskoðun:
Gefðu mér HUGSA lista yfir breytur með hátt VIF: hvaða breytur gætu fræðilega mælt það sama, hverjar hafa sterk rök fyrir því að halda þeim. EKKI sjálfkrafa hæfa; Ég mun taka ákvörðun út frá kenningum. Útskýrðu líka hvers vegna það gæti verið rangt að skoða bara VIF og úthluta breytum.
4. Sjálffylgnileiðrétting:
Í tímaraðaaðhvarfinu mínu var Breusch-Godfrey p-gildið 0,001. Skrifaðu R kóða sem framleiðir stuðlatöfluna með Newey-West (HAC) staðalvillum og útskýrðu hvernig á að velja töf. Athugaðu að þessi leiðrétting leysir ekki orsök sjálffylgni, hún leiðréttir bara ályktunina.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Er vandamál með afturför mína? Ef svo er, lagaðu það.
Þessi hvetja setur gervigreindina í blindan „fix“ ham: það getur sleppt prófum og beitt beinni umbreytingu eða breytilegu brotthvarfi, án þess að sýna þér hvaða brot er í raun og veru til og hvað það braut.
Öflug tilvitnun:
Hlutverk þitt: greiningaraðstoðarmaður, ekki sjálfvirkur leiðréttingarmaður. Fyrsta próf fyrir ÞRJÚ brot sérstaklega (fjöllínuleiki, misleitni, sjálfsfylgni) og fyrir hvert: hvaða próf, hvernig á að lesa niðurstöðuna, rofnar það COEFFICIENT eða STANDARD ERROR. Stingdu síðan aðeins upp á lagfæringu fyrir brotið sem í raun var uppgötvað og útskýrðu hvernig ég get staðfest að lagfæringin lagaði vandamálið.
Mismunur: sterkur vilji knýr fram greiningu fyrir leiðréttingu og krefst skýran greinarmun á "það sem það brýtur".
þrjú smámál
Tilfelli 1 - Ósvikin þýðing (heteroscedasticity). Einn sérfræðingur fann að tekjustuðullinn í útgjalda~tekjulíkaninu væri „marktækur“ við p=0,01. En nú var sérstakt trektmynstur á töflunni hans. Þegar sterkum staðalvillum var beitt hækkaði p-gildið í 0,09; merkingarsemi glatast. Fyrsta niðurstaðan var blekking sem skapaðist vegna rangrar staðalvillu. Lexía: Ekki er hægt að treysta mikilvægi án þess að leiðrétta staðlaða villuna.
Tilvik 2 — Blind breytu brotthvarf. Einn nemandi sleppti „reynslu“ breytunni úr líkaninu vegna þess að VIF hans var hátt; Stuðlarnir voru „hreinsaðir upp“ en fræðileg merking líkansins brengluð vegna þess að reynslan var helsta áhugabreytan. Rétta leiðin: Dragðu frá aldri og haltu reynslunni, eða sameinaðu þetta tvennt. Lexía: VIF þröskuldurinn einn og sér er ekki ástæða til brotthvarfs; kenning ræður.
Tilvik 3 — Óvissa falin með sjálffylgni. Í tímaraðarrannsókn var Durbin-Watson hunsuð; stuðullinn virtist mjög "nákvæmur" (þröngt öryggisbil). Þegar Newey-West staðalvillum var beitt tvöfaldaðist öryggisbilið og stefnuráðin urðu mun íhaldssamari. Lærdómur: sjálffylgni getur vanmetið óvissu.
Algeng mistök
- Að misskilja brotið sem skekkir staðalvilluna sem stuðlavandamál. Heteroscedasticity og autocorrelation skekkir ekki stuðulinn; Ekki örvænta og endurbyggja líkanið að óþörfu, leiðréttu staðlaða villuna fyrst.
- Skoða VIF og úthluta breytum í blindni. Að fjarlægja fræðilega nauðsynlega breytu bara vegna þess að VIF er hátt gerir líkanið tilgangslaust.
- Ekki staðfesta lagfæringuna. Eftir að hafa beitt sterkri staðalvillu skaltu athuga hvort brotið leiðrétti í raun ályktunina; Ekki segja "ég beitti því, það er búið".
- Laga án greiningar. Að beita umbreytingu/útrýmingu án þess að prófa hvaða brot er til staðar getur "leyst" vandamálið þar sem það er ekki til og falið það sem gerir það.
- Að setja lagfæringuna á sinn stað hvers vegna. Newey-West leysir ekki orsök sjálfsfylgni; það lagar bara ályktunina. Ef það er skipulagsvandamál verður að breyta líkaninu.
Ábending: Fyrir hvert brot skaltu spyrja sjálfan þig "er þetta að eyðileggja stuðulinn eða traust mitt á honum?" Ef svarið er „traust“ er lausnin næstum alltaf venjuleg villuleiðrétting, ekki að endurbyggja líkanið.
Í stuttu máli
Aðhvarfsgreining er forsenda þess að hægt sé að treysta framleiðslunni. Af þremur algengum brotum gerir fjöllínuleiki stuðulinn óstöðugan og eykur stöðluðu villuna; Heteroskedasticity og autocorrelation, hins vegar, skilja stuðulinn eftir óhlutdrægan og skekkir aðeins staðalvilluna. Gervigreind býr til greiningar- og lagfæringarkóðann, en þú ákveður hvaða brot er raunverulega vandamálið, hvaða afbrigði er áfram fræðilegt og hvort lagfæringin leysi vandamálið. Hvorki læti né blind leiðrétting er rétt án þess að skýra skilin á milli „það sem er að brjóta“.
Umsóknarverkefni
Settu upp fjölþátta aðhvarf og biddu gervigreindina um kóða sem framleiðir aðeins greiningar (engar leiðréttingar): VIF, Breusch-Pagan/White og Durbin-Watson/Breusch-Godfrey. Fyrir hvert próf skal túlka niðurstöðuna og gefa til kynna hvort brotið skekkir stuðulinn eða staðalvilluna. Fyrir raunverulegt brot sem þú finnur (t.d. misskiptingu), notaðu sterkar staðlaðar villur og stilltu klassískum og sterkum niðurstöðum saman; Sýndu að stuðullinn breytist ekki en staðalvillan breytist. Í einni málsgrein, tilkynntu hvernig marktæk niðurstaða þín hafði áhrif á leiðréttinguna.
gátlisti
- [ ] Ég prófaði þrjú brot (multicollinearity, heteroskedasticity, autocorrelation) sérstaklega.
- [ ] Fyrir hvert brot gerði ég greinarmun á því hvort það skekkir stuðulinn eða staðalvilluna.
- [ ] Ég byggði breytueyðingu í fjöllínuleika á kenningum, ekki bara VIF.
- [ ] Ég notaði staðlaða villu með sterkleika gagnvart heteroscedasticity/autocorrelation (HC/HAC).
- [ ] Eftir leiðréttingu athugaði ég og sannreyndi áhrif brotsins á ályktun mína.
- [ ] Ég tilkynni hvernig marktektarniðurstaða mín hafði áhrif á staðlaða villuleiðréttingu.