ලාභ:
- ශුන්ය කල්පිතය, p-අගය, විශ්වාස අන්තරය සහ සංඛ්යාන බලය නිවැරදිව නිර්වචනය කිරීමේ හැකියාව සහ පරීක්ෂණ තෝරාගැනීමේදී සහ අර්ථ නිරූපණය කිරීමේදී කෘතිම බුද්ධිය භාවිතා කිරීම.
- p-අගය නොවන දේ වෙන්කර හඳුනා ගැනීමේ හැකියාව (ආචරණ ප්රමාණය නොවේ, නිරවද්යතාවයේ සම්භාවිතාව නොවේ) සහ බහු සංසන්දන නිවැරදි කිරීම් අවශ්ය වන්නේ මන්දැයි තේරුම් ගැනීම
- අර්ථවත් බව ද්රව්යමය බව ව්යාකූල කරන කෘත්රිම බුද්ධිය විසින් කරන ලද අදහස් හඳුනාගෙන ඒවා ප්රමාණයෙන් හා අවිනිශ්චිතතාවයෙන් වාර්තා කිරීමේ හැකියාව
සංඛ්යාලේඛනවල වැඩිපුරම භාවිතා වන සහ වැරදි ලෙස වටහා ගත් මෙවලම වන්නේ උපකල්පන පරීක්ෂාවයි. මූලික අදහස සරලයි: අපට හිමිකම් පෑමක් ඇත (උදා: "මෙම කණ්ඩායම් දෙකේ මධ්යන්යය වෙනස්") සහ එහි ප්රතිවිරුද්ධ, ශුන්ය උපකල්පනයක් (H0 - "ඇත්ත වශයෙන්ම වෙනසක් නැත"). දත්ත ශුන්ය උපකල්පනය සමඟ කෙතරම් හොඳින් එකඟ වේද යන්න පරීක්ෂණයෙන් මනිනු ලැබේ. මෙම ඒකකය තුළ අපි කෘත්රිම බුද්ධිය (AI) පරීක්ෂණ තේරීම සහ අර්ථ නිරූපණය පහසු කරන්නේ කෙසේදැයි බලමු, නමුත් p-අගය වටා ඇති අන්තරායන් එතරම් සුලභ හා භයානක වන්නේ මන්දැයි බලමු. අපි මුල සිටම පටන් ගනිමු: AI විසින් ලිවිය යුතු පරීක්ෂණ වාක්ය ඛණ්ඩය දනී; නමුත් පරීක්ෂණයේ උපකල්පනය තෘප්තිමත්ද යන්න සහ ප්රතිඵලය සැබවින්ම අදහස් කරන්නේ කුමක්ද යන්න අර්ථ නිරූපණය කිරීම ඔබේ කාර්යයයි.
ඇත්තටම p-අගය යනු කුමක්ද?
p-අගය යනු ශුන්ය කල්පිතය සත්ය වූ විට (එනම්, ඇත්ත වශයෙන්ම කිසිදු බලපෑමක් නොමැති) ඔබ නිරීක්ෂණය කරන ප්රතිඵලය හෝ වඩාත් ආන්තික ප්රතිඵලයක් අහම්බෙන් සිදුවීමේ සම්භාවිතාවයි. කුඩා p-අගය (0.05 යනු සම්ප්රදායික එළිපත්ත) යන්නෙන් අදහස් වන්නේ "ඇත්ත වශයෙන්ම කිසිදු බලපෑමක් නොමැති නම් එවැනි දත්ත දැකීම පුදුමයට කරුණක්" යන්නයි; මෙය ශුන්ය කල්පිතයට එරෙහි සාක්ෂියක් ලෙස සැලකේ.
දැන් අපි p-අගය නොවන්නේ කුමක්ද යන්න පැහැදිලි කරමු - AI බොහෝ විට ව්යාකූල කරයි:
- p-අගය යනු ශුන්ය කල්පිතය සත්ය වීමේ සම්භාවිතාව නොවේ. p=0.03 යන්නෙන් අදහස් වන්නේ "කිසිදු බලපෑමක් නොමැති වීමේ 3% සම්භාවිතාවක් ඇත" යන්න නොවේ.
- p-අගය මගින් බලපෑමේ විශාලත්වය නොපෙන්වයි. ඉතා කුඩා බලපෑමක් විශාල නියැදියක කුඩා p-අගය ලබා ගත හැක.
- සොයා ගැනීම වැදගත් හෝ සැබෑ බව p-අගය ඔප්පු නොකරයි. “සැලකිය යුතු” යනු සංඛ්යානමය යෙදුමකි, “සැලකිය යුතු” යනු විනිශ්චයකි.
- p>0.05 යනු "කිසිදු බලපෑමක්" නොවේ; එහි තේරුම "මෙම දත්ත සමඟ අපට බලපෑම පෙන්විය නොහැකි විය." සාක්ෂි නොමැතිකම නොපැමිණීමේ සාක්ෂියක් නොවේ.
අවවාදයයි: වඩාත් සුලභ AI පරිවර්ථන දෝෂය වන්නේ "සැලකිය යුතු" යන වචනය "සැලකිය යුතු/ශක්තිමත්/ප්රධාන බලපෑම" ලෙස ඉදිරිපත් කිරීමයි. සංඛ්යානමය වැදගත්කම සහ ප්රායෝගික වැදගත්කම යනු වෙනස් කරුණු දෙකකි; සෑම විටම දෙක වෙන වෙනම වාර්තා කරන්න.
විශ්වාස අන්තරය සහ බලපෑම් ප්රමාණය: පොහොසත් තොරතුරු
තනි p-අගය වෙනුවට, විශ්වාස අන්තරයක් වඩාත් තොරතුරු සපයයි: එය ඔබේ ඇස්තමේන්තුව සඳහා පිළිගත හැකි අගයන් ලබා දෙයි. "Effect 1,200, 95% confidence interval [300, 2,100]" යන වාක්යය දිශාව, විශාලත්වය සහ අවිනිශ්චිත බව යන දෙකම පෙන්නුම් කරයි; "p<0.05" කියන්නේ "ශුන්යයට ඈත" කියා පමණි. නවීන සංඛ්යානමය භාවිතය p-අගය භාවිතා කරන්නේ තනිවම නොවේ; බලපෑම් ප්රමාණය + විශ්වාස අන්තරය + p-අගය යන ත්රිත්වය සමඟ වාර්තා කිරීම නිර්දේශ කරයි.
සංඛ්යාන බලය සහ නියැදිය
සංඛ්යානමය බලය යනු සත්ය වශයෙන්ම පවතින බලපෑමක් හඳුනාගැනීමේ සම්භාවිතාවයි (II වර්ගයේ දෝෂයේ සම්භාවිතාව 1 අඩු කිරීම, එනම් "සැබෑ බලපෑම මගහැරීම"). අඩු බලැති අධ්යයනයක් අවදානම් දෙකකට ගොදුරු වේ: (1) එය සත්ය බලපෑම් මග හැරේ (ව්යාජ සෘණාත්මක); (2) සැලකිය යුතු ප්රතිඵල කිහිපයක් පුම්බන ලද විශාලත්වයන් ගෙන යයි - ඊනියා ජයග්රාහකයාගේ ශාපය, මන්ද උද්ධමනය වූ අනාවැකි පමණක් සීමාව ඉක්මවා යා හැකි බැවිනි. එබැවින් විශ්ලේෂණයට පෙර බලය/නියැදිය ගණනය කිරීම හොඳ පුරුද්දකි. AI මෙම ගිණුම සඳහා කේතය ජනනය කරයි; ඔබ න්යාය සමඟ ඉලක්ක ආචරණ ප්රමාණය තීරණය කරයි.
බහු සංසන්දන ගැටළුව
පරීක්ෂණයක් කරන විට, 0.05 ක සීමාවක් යනු "5% ව්යාජ ධනාත්මක අවදානම" යන්නයි. නමුත් ඔබ පරීක්ෂණ 20ක් කරන්නේ නම්, සාමාන්යයෙන් එක් අයෙකුට p<0.05 ලබා දීමට බලාපොරොත්තු වනු ඇත, ඒවා සියල්ලම සැබවින්ම අකාර්යක්ෂම වුවද. මෙය බහු සංසන්දන ගැටලුව ලෙස හැඳින්වේ. විචල්ය, උප සමූහ හෝ ප්රතිඵල විචල්ය විශාල සංඛ්යාවක් පරීක්ෂා කරන විට ව්යාජ ධන සම්භාවිතාව වේගයෙන් වැඩි වේ. විසඳුම වන්නේ එළිපත්ත නිවැරදි කිරීමයි: Bonferroni (පරීක්ෂණ ගණන අනුව එළිපත්ත බෙදීම - දැඩි), Holm හෝ Benjamini-Hochberg ක්රම මගින් ව්යාජ සොයාගැනීම් අනුපාතය (FDR) පාලනය කරයි. AI හට තත්පර කිහිපයකින් පරීක්ෂණ දුසිම් ගනනක් නිපදවිය හැකි බැවින්, AI වයසේදී මෙම අවදානම තවත් වැඩි වේ - මෙය මීළඟ ඒකකයේ ඍජු විෂයය (p-hacking).
සංසන්දනාත්මක වගුව: p-අගය පවසන දේ සහ එය නොකියන දේ
ප්රකාශනය
ඒක ඇත්තක්ද?
විස්තරය
"p=0.02, බලපෑමක් නොමැති වීමේ සම්භාවිතාව 2%"
වැරදියි
p යනු H0 හි සම්භාවිතාව නොවේ
"p<0.05, බලපෑම විශාලයි"
වැරදියි
p ප්රමාණය පෙන්නුම් නොකරයි
"p=0.20, බලපෑමක් නැත"
වැරදියි
පෙන්වීමට නොහැකි වීම නොමැතිකම නොවේ
"p<0.05, H0 ට එරෙහිව සාක්ෂි තිබේ"
ඇත්ත
සුපරීක්ෂාකාරී සහ කාරණය මත
"බලපෑම 1.200 [300;2.100], p=0.01"
හොඳම
ප්රමාණය + අවිනිශ්චිතතාව + සාක්ෂි
පිටපත් කළ හැකි විමසීම් හතරක්
1. නිවැරදි පරීක්ෂණය තෝරා ගැනීම:
ඔබේ කාර්යභාරය: සංඛ්යාන පරීක්ෂණ සහකාර. මට ස්වාධීන කණ්ඩායම් දෙකක මධ්යන්යය (අඛණ්ඩ විචල්ය) සංසන්දනය කිරීමට අවශ්යයි. මට දෙන්න: කුමන පරීක්ෂණය සුදුසුද (එහි උපකල්පන සමඟ: සාමාන්යභාවය, විචල්යයේ සමානාත්මතාවය), උපකල්පනය සපුරා නොමැති නම් විකල්පය (උදා: වෙල්ච්, මෑන්-විට්නි) සහ R කේතය. මම ප්රතිඵලය ක්රියාත්මක කර උපකල්පන පරීක්ෂා කරන්නෙමි.
2. p-අගය නිවැරදිව වාර්තා කිරීම:
පහත පරීක්ෂණ ප්රතිදානය වාර්තා කරන්න, නමුත් රීති:- p-අගය "H0 හි සම්භාවිතාව" හෝ "ඵල ප්රමාණය" ලෙස ඉදිරිපත් නොකරන්න,- බලපෑම් ප්රමාණය සහ 95% විශ්වාසනීය පරතරය ඇතුළත් කිරීමට වග බලා ගන්න,- "සැලකිය යුතු" සහ "සැලකිය යුතු" වෙන වෙනම ලියන්න,- p>0.05 නම්, අපට "කිසිදු බලපෑමක් පෙන්විය නොහැක" යැයි නොකියන්න," "කියන්න. ප්රතිදානය: [පේස්ට්]
3. බලය/නියැදි ගණනය:
මම අත්හදා බැලීමක් සැලසුම් කරමි: කණ්ඩායම් දෙකක්, අපේක්ෂිත ප්රයෝග ප්රමාණය (කොහෙන්ගේ d) ~0.4, බලය 0.80, ඇල්ෆා 0.05. අවශ්ය සාම්පල ප්රමාණය (pwr පැකේජය) ගණනය කරන R කේතය ලියන්න සහ අඩු බලැති අධ්යයනයක (ජයග්රාහකයාගේ ශාපය) අවදානම පැහැදිලි කරන්න.
4. බහු සංසන්දන නිවැරදි කිරීම:
මම වෙනම උපකල්පන පරීක්ෂණ 15ක් කර ඇති අතර මට p-අගය තිබේ. Bonferroni සහ Benjamin-Hochberg (FDR) නිවැරදි කිරීම් අදාළ වන R කේතය ලියන්න, ක්රම දෙක අතර වෙනස පැහැදිලි කරන්න, සහ මම හිස් p<0.05 විශ්වාස නොකළ යුත්තේ මන්දැයි එක් වාක්යයකින් සාරාංශ කරන්න.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල ක්ෂණික:
මෙම පරීක්ෂණයේ ප්රතිඵලය අර්ථවත්ද? ප්රතිඵලය ගැන අදහස් දක්වන්න.
මෙම හිමිකම් පෑම AI “අර්ථවත්/අර්ථවත් නොවන” ද්විමය තුළට හසුකර ගනී; බොහෝ විට "ඔව්, එය සැලකිය යුතු ය, බලපෑම ප්රබලයි" වැනි වැදගත්කම සමඟ විශාලත්වය ව්යාකූල කරන වාක්යයක් නිපදවයි.
බලවත් විමසුම:
ඔබේ කාර්යභාරය: අවධානයෙන් සිටින සංඛ්යාන සහකාර. ප්රතිඵලය අර්ථකථනය කරන්න, නමුත්: (1) ප්රයෝග ප්රමාණය + 95% විශ්වාස අන්තරය + p-අගය එකට දෙන්න, (2) වැදගත්කමෙන් වෙනම වැදගත්කම, (3) p>0.05 "පෙන්විය නොහැක" තුළ, (4) මම කොපමණ පරීක්ෂණ කළාදැයි අසන්න; එකකට වඩා වැඩි නම්, බහු සංසන්දන නිවැරදි කිරීම් යෝජනා කරන්න, (5) පරීක්ෂණයේ උපකල්පන පරීක්ෂා කළ යුතු බව මතක් කරන්න.
වෙනස: ශක්තිමත් ප්රමාදය පොහොසත් වාර්තාකරණය බලාත්මක කරන අතර p-අගය උගුල් වලින් ආරක්ෂා කරයි.
කුඩා නඩු තුනක්
නඩුව 1 - විශාල සාම්පලයේ නොසැලකිය යුතු "වැදගත්කම". එක් විශ්ලේෂකයෙක් 500,000 නිරීක්ෂණ සහිත දත්තවල p<0.001 හි "ඉතා වැදගත්" කණ්ඩායම් දෙක අතර මධ්යන්ය වෙනස සොයා ගත්තේය. නමුත් වෙනස ලකුණු 0.3 ක් (100 න්) පමණක් වූ අතර එය ප්රායෝගිකව අර්ථ විරහිත විය. විශාල නියැදිය කුඩා වෙනස පවා "සැලකිය යුතු" බවට පත් කළේය. බලපෑමේ ප්රමාණය වාර්තා කළ විට, සොයා ගැනීම නොවැදගත් බව සොයා ගන්නා ලදී. පාඩම: වැදගත්කම විශාලත්වය නොවේ; n විශාල නම්, සෑම වෙනසක්ම වැදගත් වේ.
නඩුව 2 - බහු පරීක්ෂණ මිත්යාව. එක් කණ්ඩායමක් ප්රතිඵල විචල්ය 22 ක් පරීක්ෂා කළහ; ඒවායින් එකක් p=0.04 පෙන්වූ අතර "අපි බලපෑම සොයාගත්තා" ලෙස නිවේදනය කරන ලදී. Bonferroni නිවැරදි කිරීම සමඟ, සීමාව 0.05/22 = 0.0023 දක්වා අඩු විය; 0.04 මෙම සීමාව පසු කර නැත. අත්හදා බැලීම් 22 න් එකම "අර්ථවත්" ප්රතිඵලය අහම්බෙන් විය. පාඩම: ගොඩක් පරීක්ෂා කරන විට, නිවැරදි කිරීම අවශ්ය වේ.
3 වන අවස්ථාව - දුර්වල බලය සහ ජයග්රාහකයාගේ ශාපය. කුඩා නියමු අධ්යයනයකින් (එක් කණ්ඩායමකට n=15) ඉතා විශාල (d=0.9) සහ සැලකිය යුතු බලපෑමක් ඇති විය. විශාල අනුකරණ අධ්යයනයක් මගින් බලපෑම d = 0.2 දක්වා අඩු කරන ලදී. කුඩා නියැදිය සීමාව ඉක්මවා යාමට අධි තක්සේරුවකට පමණක් ඉඩ දී ඇත. පාඩම: අඩු බලයේ දී සැලකිය යුතු බලපෑම් ප්රමාණයන් විශ්වාස කළ නොහැක.
පොදු වැරදි
- වැදගත්කම/විශාලත්වය සමඟ අර්ථවත් බව ව්යාකූල කිරීම. p කුඩා වූ පමණින් බලපෑම විශාල නොවේ; බලපෑම ප්රමාණය වෙන වෙනම වාර්තා කරන්න.
- H0 හි සම්භාවිතාව සඳහා p-අගය වැරදියි. p යනු "කිසිදු බලපෑමක් නොමැති වීමේ සම්භාවිතාව" නොවේ; සංකල්පමය වශයෙන් වෙනස් වේ.
- "කිසිදු බලපෑමක්" ලෙස p>0.05 කියවීම. පෙන්වීමට අසමත් වීම නොපැමිණීමේ සාක්ෂියක් නොවේ; අවිනිශ්චිත බව සඳහන් කරන්න.
- බහු පරීක්ෂණ සඳහා නිවැරදි කිරීම නොවේ. බොහෝ පරීක්ෂණ ව්යාජ ධනාත්මක නිෂ්පාදනය කරයි; Bonferroni/FDR යොදන්න.
- බලය නොසලකා හැරීම. කුඩා සාම්පලයේ සැලකිය යුතු බලපෑම අතිශයෝක්තියට නංවා ඇත; විශ්ලේෂණයට පෙර බලය ගණනය කරන්න.
ඉඟිය: ප්රතිඵලයක් “සැලකිය යුතු” ලෙස ලිවීමට පෙර ප්රශ්න දෙකක් අසන්න: “ප්රයෝගය ප්රායෝගිකව වැදගත්ද (විශාලත්වය)?” සහ "මෙම ප්රතිඵලය සොයා ගැනීමට පෙර මම කොපමණ පරීක්ෂණ කළාද?" දෙවන ප්රශ්නය නම් අවංකභාවය පිළිබඳ ලිට්මස් පරීක්ෂණයයි.
සාරාංශයකින්
උපකල්පන පරීක්ෂාව සහ p-අගය බලවත් නමුත් වරදවා වටහාගත් මෙවලම් වේ. p-අගය යනු ශුන්ය කල්පිතය සත්ය වූ විට දත්ත බැලීමේ සම්භාවිතාවයි; H0 හි සම්භාවිතාව යනු බලපෑමේ විශාලත්වය හෝ සොයාගැනීමේ වැදගත්කම නොවේ. බලපෑමේ ප්රමාණය සහ විශ්වාස අන්තරය සමඟ සෑම විටම වැදගත්කම වාර්තා කරන්න; p>0.05 "කිසිදු බලපෑමක්" ලෙස කියවන්න එපා; ඔබ බොහෝ පරීක්ෂණ සිදු කර ඇත්නම් බහු සංසන්දන නිවැරදි කිරීම් යොදන්න; අඩු බලගතු අධ්යයනවලින් අතිශයෝක්තියෙන් යුත් බලපෑම් ඇතිවීමේ අවදානම ගැන දැනුවත් වන්න. AI පරීක්ෂණ කේතය සහ සැලැස්ම නිෂ්පාදනය කරයි; අර්ථවත් බව සහ භෞතිකත්වය අතර වෙනස හඳුනා ගැනීම සහ උපකල්පන පරීක්ෂා කිරීම ඔබේ වගකීමකි.
යෙදුම් කාර්යය
දත්ත කට්ටලයක කණ්ඩායම් දෙකක් අතර මාධ්යයන් සංසන්දනය කරන්න. සුදුසු පරීක්ෂණය (එහි උපකල්පන සමඟ) සහ කේතය සඳහා AI ගෙන් විමසන්න, එය ධාවනය කර උපකල්පන පරීක්ෂා කරන්න. ප්රතිඵලය කොටස් තුනකින් වාර්තා කරන්න: ප්රයෝග ප්රමාණය, 95% විශ්වාසනීය පරතරය, p-අගය. එවිට ඔබට එකම දත්ත මත කොපමණ විවිධ සැසඳීම් කළ හැකිදැයි සිතා බලන්න; ඔබ පරීක්ෂණ කිහිපයක් පවත්වා ඇත්නම්, Bonferroni හෝ FDR නිවැරදි කිරීම් යොදන්න සහ ප්රතිඵලය තවමත් තිබේ නම් වාර්තා කරන්න. අවසාන වශයෙන්, ඔබේ විශ්ලේෂණය සඳහා දළ බල තක්සේරුවක් ලියන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම එහි උපකල්පන සමඟ පරීක්ෂණය තෝරාගෙන උපකල්පන පරීක්ෂා කළෙමි.
- [ ] මම ප්රතිඵලය ප්රයෝග ප්රමාණය + විශ්වාස අන්තරය + p-අගය ලෙස වාර්තා කළෙමි.
- [ ] මම "වැදගත්" සහ "වැදගත්" වෙන් වෙන්ව තබා ගත්තෙමි; මම හිතුවේ නැහැ p කියන්නේ H0 වල සම්භාවිතාව කියලා.
- [ ] මම p>0.05 ලිව්වේ "කිසිදු බලපෑමක්" යන්නට වඩා "අපට එය පෙන්වීමට නොහැකි විය" ලෙසයි.
- [ ] මම බහුවිධ පරීක්ෂණ පැවැත්වූයේ නම් මම බහු සංසන්දන නිවැරදි කිරීම් යෙදුවෙමි.
- [] මම නියැදි බලය ඇගයීමට ලක් කළෙමි; අඩු බලයේ බලපෑමේ ප්රමාණය ගැන මම කල්පනාකාරී විය.