પી-હેકિંગ, હાર્કિંગ અને આંકડાકીય અખંડિતતા: આર્ટિફિશિયલ ઇન્ટેલિજન્સના યુગમાં મુશ્કેલીઓ

નફો:

• સમજો કે પી-હેકિંગ, હાર્કિંગ, પસંદગીયુક્ત રિપોર્ટિંગ અને ફોર્કિંગ પાથના બગીચા ખોટા તારણો ઉત્પન્ન કરે છે અને જુઓ કે કેવી રીતે કૃત્રિમ બુદ્ધિ આ ફાંસોને વેગ આપી શકે છે.
• પૂર્વ-નોંધણી, વિશ્લેષણ યોજના, બહુવિધ સરખામણી શિસ્ત અને આર્ટિફિશિયલ ઇન્ટેલિજન્સ સપોર્ટ સાથે સંવેદનશીલતા વિશ્લેષણ જેવા સંરક્ષણ સ્થાપિત કરવાની ક્ષમતા
• પ્રામાણિક વિનંતી ડિઝાઇનને આંતરિક બનાવવા માટે સક્ષમ બનવું જે કૃત્રિમ બુદ્ધિમત્તાને 'અર્થપૂર્ણ પરિણામ શોધો' પ્રકારની વિનંતીઓને નકારવામાં સક્ષમ બનાવશે અને અંતિમ જવાબદારી સંશોધકની છે.

અગાઉના એકમમાં આપણે જોયું કે p-વેલ્યુ શું છે અને શું નથી. આ એકમમાં આપણે એક ઘાટા વિષય પર ધ્યાન આપીશું, વ્યવસ્થિત ફાંસો જે આંકડાકીય અખંડિતતાને જોખમમાં મૂકે છે. આમાંના મોટા ભાગના ઈરાદાપૂર્વક છેતરપિંડી નથી; આ કપટી મિકેનિઝમ્સ છે કે જે સારા હેતુવાળા સંશોધકો પણ તેને સમજ્યા વિના આવે છે. અને આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) આ મુશ્કેલીઓને સરળ અને ઝડપી બંને બનાવે છે, કારણ કે તે સેકન્ડોમાં ડઝનેક વિશ્લેષણ ચલાવવાનું શક્ય બનાવે છે. આ એકમનો ઉદ્દેશ્ય એવી શિસ્ત સ્થાપિત કરવાનો છે જે AI ને "અર્થપૂર્ણ પરિણામ શોધવાનું મશીન" માંથી પ્રમાણિક સહાયકમાં પરિવર્તિત કરશે.

મૂળભૂત મુશ્કેલીઓ

p-hacking (p-value hunting): જ્યાં સુધી નોંધપાત્ર પરિણામ (p<0.05) ન મળે ત્યાં સુધી તે અલગ અલગ રીતે વિશ્લેષણનો પ્રયાસ કરે છે. ચલો ઉમેરવા અને દૂર કરવા, પેટા નમૂનાઓ પસંદ કરવા, આઉટલાયર્સની વ્યાખ્યા બદલવી, વિવિધ રૂપાંતરણનો પ્રયાસ કરવો, વિવિધ પરિણામ ચલોનો ઉપયોગ કરવો, જ્યારે તે અર્થપૂર્ણ બને ત્યારે ડેટા સંગ્રહ બંધ કરવો... દરેક પ્રયાસ નવી "તક" આપે છે; જો તમે પૂરતો પ્રયાસ કરો છો, તો તેમાંથી એક અર્થપૂર્ણ બનશે, પછી ભલે તેની વાસ્તવમાં કોઈ અસર ન થાય. પરિણામ: બનાવટી તારણો કે જે પ્રકાશિત કરવામાં આવ્યા હતા પરંતુ પુનઃઉત્પાદન ન કરી શકાય.

હાર્કિંગ (પરિણામો જાણ્યા પછી પૂર્વધારણા): પરિણામો જોયા પછી એક પૂર્વધારણા બનાવવી અને તેને "મેં શરૂઆતથી આની જેમ આગાહી કરી હતી" તરીકે રજૂ કરવી. તમે ડેટા જુઓ અને સૌથી આકર્ષક સંબંધ શોધો, પછી પેપર લખો જાણે તે પૂર્વધારણાને ચકાસવા માટે રચાયેલ હોય. આ શોધને પુષ્ટિ સમાન બનાવીને વાચકને ગેરમાર્ગે દોરે છે.

પસંદગીયુક્ત રિપોર્ટિંગ (ચેરી-પીકિંગ): ડઝનેક વિશ્લેષણમાંથી માત્ર "સારા"ની જ જાણ કરવી અને બાકીનાને શાંતિપૂર્વક દફનાવી દેવા. આને "ફાઇલ ડ્રોઅર પ્રોબ્લેમ" તરીકે પણ ઓળખવામાં આવે છે: અર્થહીન પરિણામો ડ્રોઅરમાં રહે છે, જે સાહિત્યને વ્યવસ્થિત રીતે પક્ષપાતી બનાવે છે.

ગાર્ડન ઓફ ફોર્કિંગ પાથ: એન્ડ્રુ ગેલમેનનો શબ્દ. એક પણ ઇરાદાપૂર્વકના પી-હેકિંગ વિના પણ, સંશોધક ડેટાના આધારે ઘણી વાજબી પસંદગીઓ કરે છે (કયા ચલ, કયા થ્રેશોલ્ડ, કયા પેટાજૂથ, કયા પરિવર્તન). સ્વતંત્રતાની આ તપાસની ડિગ્રીઓ એટલી અસંખ્ય છે કે તમે કોઈ પણ ખરાબ ઈરાદા વિના પણ ઘણા બધા વિશ્લેષણમાંથી અર્થપૂર્ણ પસંદ કરી રહ્યાં છો. પરિણામ ફરીથી વધતા ખોટા હકારાત્મક દર છે.

સાવધાન: આમાંના મોટા ભાગના ફાંસો ઇરાદાપૂર્વકની યુક્તિઓ નથી. દેખીતી રીતે નિર્દોષ પગલાઓનો સરવાળો જેમ કે "મેં હમણાં જ થોડા વધુ મોડલ્સ અજમાવ્યા", "જ્યારે મેં આઉટલીયર દૂર કર્યું ત્યારે તે વધુ સ્વચ્છ હતું", "આ પેટાજૂથમાં અસર વધુ સ્પષ્ટ છે" એક બનાવટી શોધ પેદા કરી શકે છે. પ્રામાણિકતા પદ્ધતિની બાબત છે, ઇરાદાની નહીં.

AI શા માટે આ જાળને મોટું કરે છે?

હાથથી 3 મોડલ અજમાવવામાં સમય લાગે છે; YZ મિનિટમાં 50 મોડલ વેરિઅન્ટ્સ, 10 વિવિધ રૂપાંતરણો, 8 પેટાજૂથોનું ઉત્પાદન કરે છે. આ શક્તિ પ્રામાણિક યોજના વિના વિનાશક છે: "આ ડેટામાં અર્થપૂર્ણ સંબંધ શોધો" અથવા "આ પૂર્વધારણાને સમર્થન આપતું મોડેલ બનાવો" જેવી વિનંતી એઆઈને સીધા જ પી-હેકિંગ એન્જિનમાં ફેરવે છે. AI પણ મદદરૂપ બનવા માંગે છે; "અર્થપૂર્ણ" પરિણામ શોધવાનું વલણ ધરાવે છે જે તમને સંતુષ્ટ કરશે. એટલા માટે તમારી પ્રોમ્પ્ટ ડિઝાઇન પ્રામાણિકતાની સંરક્ષણની પ્રથમ લાઇન છે.

સંરક્ષણ: વ્યવસાયનો વાજબી અભ્યાસક્રમ

1. પૂર્વ-નોંધણી: તેનો અર્થ એ છે કે વિશ્લેષણ કરતા પહેલા તમારી પૂર્વધારણા, ચલો, મોડેલ અને પરીક્ષણો લેખિતમાં (સંભવતઃ ટાઇમ-સ્ટેમ્પ્ડ પ્લેટફોર્મ પર) રેકોર્ડ કરો. આમ, શોધને પુષ્ટિથી અલગ કરવામાં આવે છે; તમે પછીથી જે કંઈપણ બદલો છો તેને "એક્સપ્લોરર" તરીકે ટૅગ કરવામાં આવે છે.

2. વિશ્લેષણ યોજના: જો તમે પ્રી-રેકોર્ડ ન કરી શકો તો પણ, ડેટામાં ડાઇવિંગ કરતા પહેલા વિશ્લેષણ યોજના લખો: પ્રાથમિક પૂર્વધારણા, પ્રાથમિક પરિણામ ચલ, મુખ્ય મોડેલ. શરૂઆતથી "મુખ્ય વિશ્લેષણ" અને "વધારાના/શોધક વિશ્લેષણ" વચ્ચેનો તફાવત સ્થાપિત કરો અને તેને અહેવાલમાં જાળવી રાખો.

3. દરેક વસ્તુની જાણ કરો: તમે જે મોડલ્સનો પ્રયાસ કર્યો છે તેને છુપાવશો નહીં. "સંવેદનશીલતા વિશ્લેષણ" (મજબૂતતા તપાસ) વિભાગમાં, બતાવો કે કેવી રીતે વિવિધ વિશિષ્ટતાઓ પરિણામમાં ફેરફાર કરે છે. તારણો માત્ર ત્યારે જ મજબૂત છે જો તે ઘણી બુદ્ધિગમ્ય પસંદગીઓ હેઠળ ધરાવે છે.

4. બહુવિધ સરખામણી શિસ્ત: જો તમે ઘણા બધા પરીક્ષણો કર્યા હોય, તો તેને સુધારો (એકમ 6). પ્રશ્નનો જવાબ આપો "મેં કેટલા પરીક્ષણો કર્યા છે?" પ્રામાણિકપણે

5. સંવેદનશીલતા પૃથ્થકરણ: એક અલગ નમૂના, અલગ નિયંત્રણ સમૂહ અને વિવિધ રૂપાંતરણ સાથે તમારી મુખ્ય શોધનું પુનરાવર્તન કરો. જો પરિણામ બદલાય છે, તો તેને છુપાવશો નહીં, તેની જાણ કરો.

સરખામણી ચાર્ટ: પ્રમાણિક વિ. ટ્રેપ

અરજી

છટકું આકાર

પ્રમાણિક સમકક્ષ

મોડલ પસંદગી

તેનો અર્થ ન થાય ત્યાં સુધી પ્રયાસ કરવો (પી-હેકિંગ)

પૂર્વ આયોજિત માસ્ટર મોડલ

પૂર્વધારણા

હકીકત પછી ફિટિંગ (હાર્કિંગ)

પ્રી-રેકોર્ડ, ડેટા પહેલા

રિપોર્ટિંગ

માત્ર સુંદર જ બતાવશો નહીં

તમામ વિશિષ્ટતાઓ + સંવેદનશીલતા

પેટાજૂથ

સૌથી આકર્ષક પસંદ કરી રહ્યા છીએ

પૂર્વવ્યાખ્યાયિત, સુધારી શકાય તેવું

માહિતી સંગ્રહ

જ્યારે તેનો અર્થ થાય ત્યારે રોકો

પૂર્વનિર્ધારિત નમૂના

ચાર નકલ કરી શકાય તેવા સંકેતો

1. પ્રમાણિક દાવાની ફ્રેમવર્ક:

તમારી ભૂમિકા: પ્રમાણિક આંકડા સહાયક. મારું ધ્યેય અર્થપૂર્ણ પરિણામ શોધવાનું નથી, પરંતુ યોગ્ય પરિણામ શોધવાનું છે. નિયમો:- મને "જ્યાં સુધી તે સમજાય નહીં ત્યાં સુધી મોડલ અજમાવી જુઓ" પ્રકારનાં સૂચનો આપશો નહીં, - જો તમે બહુવિધ સ્પષ્ટીકરણો સૂચવો છો તો મને કહો કે તે બધાની જાણ કરવાની જરૂર છે, - પી-હેકિંગ તરફ દોરી શકે તેવા કોઈપણ પગલાં વિશે મને ચેતવણી આપો. પહેલા મારા મુખ્ય મોડેલને સ્પષ્ટ કરવામાં મને મદદ કરો, પુષ્ટિકરણથી અલગ શોધ.

2. વિશ્લેષણ યોજના ડ્રાફ્ટ:

મને અભ્યાસ માટે પ્રારંભિક વિશ્લેષણ યોજનાનો મુસદ્દો તૈયાર કરવામાં સહાય કરો: પ્રાથમિક પૂર્વધારણા, પ્રાથમિક પરિણામ ચલ, મુખ્ય મોડેલ સ્પષ્ટીકરણ, પૂર્વવ્યાખ્યાયિત પેટાજૂથો, બહુવિધ સરખામણી વ્યૂહરચના. અલગ મથાળાઓમાં "શોધક" અને "પુષ્ટિકારી" વિશ્લેષણ મૂકો. ડેટા જોયા વિના મને આ ભરવાનું યાદ કરાવો.

3. સંવેદનશીલતા વિશ્લેષણ:

મારી મુખ્ય શોધ એ છે કે સંવેદનશીલતા વિશ્લેષણ કોડ (R) લખવાનું મારું ધ્યેય છે કે પરિણામ કેટલું નક્કર છે તે જોવાનું છે, શ્રેષ્ઠને પસંદ કરવાનું નહીં; બધા પરિણામો બતાવો.

4. સ્વ-નિરીક્ષણ:

હું મારી વિશ્લેષણ પ્રક્રિયા સમજાવીશ; મને પી-હેકિંગ / હાર્કિંગ / પસંદગીયુક્ત રિપોર્ટિંગ માટે એક ચેકલિસ્ટ આપો અને મારા કયા પગલાં જોખમી છે તે ચિહ્નિત કરો. મને પાછા પૂછો કે મેં કેટલા મૉડલ/પરીક્ષણો અજમાવ્યાં છે અને કયાની જાણ કરવાની હું યોજના કરું છું.

નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ

નબળા પ્રોમ્પ્ટ:

આ ડેટામાં કયા ચલો નોંધપાત્ર સંબંધો દર્શાવે છે, શ્રેષ્ઠ મોડેલ શોધો.

આ પ્રોમ્પ્ટ સીધી પી-હેકિંગ સૂચના છે: AI ડઝનેક સંયોજનોનો પ્રયાસ કરે છે અને "સૌથી વધુ અર્થપૂર્ણ" હોય તે રજૂ કરે છે. પરિણામ લગભગ ચોક્કસપણે એક બનાવટી શોધ છે જેની નકલ કરી શકાતી નથી.

શક્તિશાળી પ્રોમ્પ્ટ:

તમારી ભૂમિકા: પ્રમાણિક સહાયક. મેં પૂર્વનિર્ધારિત કરેલ મુખ્ય મોડેલ છે: Y ~ X + નિયંત્રણો. કોડ લખો જે આ મોડેલની આગાહી કરે છે. બીજા "વધુ અર્થપૂર્ણ" મોડેલની શોધ કરશો નહીં. સંવેદનશીલતા વિશ્લેષણ પણ સૂચવો જેથી હું પરિણામની મજબૂતતા જોઈ શકું, પરંતુ જાણું છું કે હું બધા પરિણામોની જાણ કરીશ, શ્રેષ્ઠને પસંદ નહીં કરું. મને કોઈપણ સંશોધનાત્મક તારણો 'પુષ્ટિ' તરીકે લખવા ન દો.

તફાવત: મજબૂત ઇચ્છા મુખ્ય મોડેલને ઠીક કરે છે, શોધને પ્રતિબંધિત કરે છે અને તમામ પરિણામોની જાણ કરવાની જરૂર છે.

ત્રણ નાના કેસો

કેસ 1 — પેટાજૂથ શિકાર. એક સંશોધકને એકંદર નમૂનામાં કોઈ અસર જોવા મળી નથી; તેણે AI ને પૂછ્યું "તે કયા સબગ્રુપમાં નોંધપાત્ર છે?" YZ એ વય, લિંગ અને પ્રદેશના સંયોજનોને સ્કેન કર્યા અને "35-44 વર્ષની વયની શહેરી મહિલાઓમાં p = 0.03" મળી. લેખ આ પેટાજૂથ પર આધારિત હતો. તેની પ્રતિકૃતિની કોઈ અસર જોવા મળી નથી: આ ડઝનેક પેટાજૂથોની તકનું પરિણામ હતું. પાઠ: ડેટા હાર્કિંગ છે પછી પસંદ કરેલ પેટાજૂથ, પુષ્ટિ કરતું નથી.

કેસ 2 - રૂપાંતર શિકાર. વિદ્યાર્થી સ્તરના સ્વરૂપમાં જે સંબંધ અર્થહીન નીકળે છે; લોગ, વર્ગમૂળ, ચોરસ અને લેગ સ્વરૂપોમાં તેનો પ્રયાસ કર્યો; તેને લોગ-લોગ ફોર્મમાં p=0.048 મળ્યો અને તેણે માત્ર તેની જાણ કરી. સદભાગ્યે, 5માંથી એક સ્વરૂપે અજમાવ્યું તે થ્રેશોલ્ડને પાર કરી ગયું. સાચી રીત હતી: સિદ્ધાંત સાથે ફોર્મને પૂર્વ-પસંદ કરવું અને સંવેદનશીલતા કોષ્ટકમાં તમામ સ્વરૂપોનું પરિણામ દર્શાવવું. પાઠ: પસંદગીયુક્ત અહેવાલ ખોટા મહત્વ પેદા કરે છે.

કેસ 3 — કેવી રીતે પ્રમાણિક ફ્રેમિંગ કામ કરે છે. પૃથ્થકરણ પહેલાં એક ટીમ પૂર્વ નોંધણી: સિંગલ પ્રાથમિક પૂર્વધારણા, એક મુખ્ય મોડેલ, બે પૂર્વવ્યાખ્યાયિત પેટાજૂથો, બોનફેરોનિ કરેક્શન. મુખ્ય અસર નોંધપાત્ર ન હતી, પરંતુ ટીમે પ્રામાણિકપણે તેની જાણ કરી; શોધકર્તા વ્યક્તિએ એક શોધને "ભવિષ્યમાં પરીક્ષણ કરવાની જરૂર છે" તરીકે ફ્લેગ કર્યું. અભ્યાસ પુનઃઉત્પાદનક્ષમ અને વિશ્વસનીય હતો. પાઠ: પ્રમાણિક આયોજન "નિષ્ફળ" પરિણામને પણ સાર્થક બનાવે છે.

સામાન્ય ભૂલો

• AI ને "અર્થપૂર્ણ પરિણામો શોધવા" માટે કહેવું. આ સીધું પી-હેકિંગ છે; AI ને પ્રમાણિક ફ્રેમમાં મૂકો, ચોકસાઈ માટે પૂછો, પરિણામો નહીં.
• શોધને પુષ્ટિ તરીકે રજૂ કરવી (હાર્કિંગ). ડેટા પછી સ્થાપિત પૂર્વધારણાને "મેં શરૂઆતથી જ આગાહી કરી હતી" એમ લખવું ભ્રામક છે; સંશોધનાત્મક શોધને લેબલ આપો.
• માત્ર સારા પરિણામોની જાણ કરવી. પરીક્ષણ કરેલ તમામ વિશિષ્ટતાઓ બતાવો; લાગણીનું વિશ્લેષણ છુપાવવાથી અખંડિતતા સાથે સમાધાન થાય છે.
• પેટાજૂથ/રૂપાંતરણ સ્ક્રીનીંગ. ડઝનેક પેટાજૂથો અથવા રૂપાંતરણોમાંથી સૌથી નોંધપાત્ર પસંદ કરવાથી બનાવટી તારણો ઉત્પન્ન થાય છે; અગાઉથી ઓળખો અને ઠીક કરો.
• તમે કેટલા પરીક્ષણો કર્યા છે તે ભૂલી જાવ. પ્રયત્નોની કુલ સંખ્યાનો ટ્રૅક રાખો; આ સંખ્યાને જાણ્યા વિના કોઈપણ પી-વેલ્યુનું પ્રમાણિકપણે અર્થઘટન કરી શકાતું નથી.

ટીપ: શોધ લખતા પહેલા, તમારી જાતને પૂછો: "જ્યાં સુધી મને આ પરિણામ ન મળ્યું ત્યાં સુધી મેં ચુપચાપ કેટલી રીતો અજમાવી, અને શું હું તે બધાની જાણ કરી રહ્યો છું?" જો કેટલાક નિબંધો ડ્રોઅરમાં રહે છે, તો તમારો રિપોર્ટ તેના કરતા વધુ મજબૂત લાગે છે.

સારાંશમાં

પી-હેકિંગ, હાર્કિંગ, પસંદગીયુક્ત રિપોર્ટિંગ અને ફોર્કિંગ પાથનો બગીચો; ઘણા એવા ફાંસો છે જે અજાણતા કામ કરે છે પરંતુ બનાવટી, અપ્રજનન તારણો ઉત્પન્ન કરે છે. AI આ મુશ્કેલીઓને વેગ આપે છે કારણ કે તે તરત જ ડઝનેક વિશ્લેષણ અજમાવી શકે છે; "અર્થપૂર્ણ પરિણામો શોધો" પ્રકારની વિનંતીઓ એઆઈને પી-હેકિંગ એન્જિનમાં ફેરવે છે. સંરક્ષણ; પૂર્વ-નોંધણી અને વિશ્લેષણ યોજના સાથે પુષ્ટિકરણથી શોધને અલગ કરવી, તમામ વિશિષ્ટતાઓ અને સંવેદનશીલતા વિશ્લેષણની જાણ કરવી, બહુવિધ સરખામણીઓ સુધારવી અને AI ને પ્રમાણિક માળખામાં મૂકવું જે "સાચા પરિણામ" ની માંગ કરે છે. અંતિમ જવાબદારી હંમેશા સંશોધકની રહે છે.

એપ્લિકેશન કાર્ય

સંશોધન પ્રશ્ન પસંદ કરો અને ડેટાને જોતા પહેલા સંક્ષિપ્ત વિશ્લેષણ યોજના લખો: પ્રાથમિક પૂર્વધારણા, મુખ્ય મોડેલ, પ્રાથમિક પરિણામ ચલ, પૂર્વવ્યાખ્યાયિત પેટાજૂથો, બહુવિધ સરખામણી વ્યૂહરચના. પછી મુખ્ય મોડેલનો અંદાજ કાઢો. પછી સંવેદનશીલતા વિશ્લેષણ કરો (વિવિધ નિયંત્રણો, આઉટલીયર શામેલ/બાકાત, અલગ ફંક્શન ફોર્મ) અને બધા પરિણામો એક જ કોષ્ટકમાં બતાવો. એક ફકરામાં, મૂલ્યાંકન કરો કે કયા પગલાં પી-હેકિંગનું જોખમ ઊભું કરે છે અને તમારું પ્રમાણિક માળખું તેમને કેવી રીતે મર્યાદિત કરે છે.

ચેકલિસ્ટ

• [ ] ડેટામાં ડાઇવિંગ કરતા પહેલા મેં વિશ્લેષણ યોજના/માસ્ટર મોડલ લખ્યું હતું.
• [] મેં અન્વેષણાત્મક અને પુષ્ટિત્મક વિશ્લેષણોને અલગથી લેબલ કર્યા છે; હું હાર્કિંગ ન હતો.
• [ ] મેં પ્રયત્ન કરેલ તમામ વિશિષ્ટતાઓની જાણ કરી છે; મેં માત્ર સુંદરને જ પસંદ નથી કર્યું.
• [ ] મેં પેટાજૂથો અને રૂપાંતરણોને અગાઉથી વ્યાખ્યાયિત કર્યા હતા, મેં તેમને ડેટા પછી સ્કેન કર્યા નથી.
• [ ] મેં કેટલી કસોટીઓ ચલાવી તેનો મેં ટ્રેક રાખ્યો અને જરૂરી સુધારા લાગુ કર્યા.
• [ ] મેં AI નો ઉપયોગ “સત્ય શોધો” ના સંદર્ભમાં “તેને અર્થપૂર્ણ શોધો” ને બદલે કર્યો; મેં જવાબદારી લીધી.