ਲਾਭ:
- ਨਲ ਪਰਿਕਲਪਨਾ, ਪੀ-ਮੁੱਲ, ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲ ਅਤੇ ਅੰਕੜਾ ਸ਼ਕਤੀ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਅਤੇ ਟੈਸਟ ਦੀ ਚੋਣ ਅਤੇ ਵਿਆਖਿਆ ਵਿੱਚ ਨਕਲੀ ਬੁੱਧੀ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਸਮਰੱਥਾ।
- ਪੀ-ਮੁੱਲ (ਪ੍ਰਭਾਵ ਦਾ ਆਕਾਰ ਨਹੀਂ, ਸ਼ੁੱਧਤਾ ਦੀ ਸੰਭਾਵਨਾ ਨਹੀਂ) ਅਤੇ ਇਹ ਸਮਝਣ ਦੀ ਯੋਗਤਾ ਕਿ ਕੀ ਹੈ ਅਤੇ ਕੀ ਨਹੀਂ ਹੈ ਅਤੇ ਇਹ ਸਮਝਣਾ ਕਿ ਕਈ ਤੁਲਨਾਤਮਕ ਸੁਧਾਰ ਕਿਉਂ ਜ਼ਰੂਰੀ ਹਨ
- ਨਕਲੀ ਬੁੱਧੀ ਦੁਆਰਾ ਕੀਤੀਆਂ ਟਿੱਪਣੀਆਂ ਨੂੰ ਪਛਾਣਨ ਦੀ ਸਮਰੱਥਾ ਜੋ ਸਾਰਥਕਤਾ ਨੂੰ ਭੌਤਿਕਤਾ ਨਾਲ ਉਲਝਾ ਦਿੰਦੀ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਪ੍ਰਭਾਵ ਦੇ ਆਕਾਰ ਅਤੇ ਅਨਿਸ਼ਚਿਤਤਾ ਨਾਲ ਰਿਪੋਰਟ ਕਰਦੀ ਹੈ
ਅੰਕੜਿਆਂ ਦਾ ਸਭ ਤੋਂ ਵੱਧ ਵਰਤਿਆ ਅਤੇ ਸਭ ਤੋਂ ਵੱਧ ਗਲਤ ਸਮਝਿਆ ਜਾਣ ਵਾਲਾ ਟੂਲ ਪਰਿਕਲਪਨਾ ਟੈਸਟਿੰਗ ਹੈ। ਮੂਲ ਵਿਚਾਰ ਸਧਾਰਨ ਹੈ: ਸਾਡੇ ਕੋਲ ਇੱਕ ਦਾਅਵਾ ਹੈ (ਜਿਵੇਂ ਕਿ "ਇਨ੍ਹਾਂ ਦੋ ਸਮੂਹਾਂ ਦਾ ਮਤਲਬ ਵੱਖਰਾ ਹੈ") ਅਤੇ ਇਸਦੇ ਉਲਟ, ਇੱਕ ਨਲ ਪਰਿਕਲਪਨਾ (H0 - "ਅਸਲ ਵਿੱਚ ਕੋਈ ਅੰਤਰ ਨਹੀਂ ਹੈ")। ਟੈਸਟ ਮਾਪਦਾ ਹੈ ਕਿ ਡੇਟਾ ਨਲ ਪਰਿਕਲਪਨਾ ਨਾਲ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਹਿਮਤ ਹੈ। ਇਸ ਯੂਨਿਟ ਵਿੱਚ ਅਸੀਂ ਦੇਖਾਂਗੇ ਕਿ ਆਰਟੀਫਿਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ (AI) ਟੈਸਟ ਦੀ ਚੋਣ ਅਤੇ ਵਿਆਖਿਆ ਨੂੰ ਕਿਵੇਂ ਆਸਾਨ ਬਣਾ ਰਹੀ ਹੈ, ਪਰ ਪੀ-ਵੈਲਯੂ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਦੀਆਂ ਕਮੀਆਂ ਇੰਨੀਆਂ ਆਮ ਅਤੇ ਖਤਰਨਾਕ ਕਿਉਂ ਹਨ। ਆਓ ਸ਼ੁਰੂ ਤੋਂ ਸ਼ੁਰੂ ਕਰੀਏ: AI ਜਾਣਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਟੈਸਟ ਸੰਟੈਕਸ ਲਿਖਣਾ ਹੈ; ਪਰ ਇਹ ਵਿਆਖਿਆ ਕਰਨਾ ਤੁਹਾਡਾ ਕੰਮ ਹੈ ਕਿ ਕੀ ਟੈਸਟ ਦੀ ਧਾਰਨਾ ਸੰਤੁਸ਼ਟ ਹੈ ਅਤੇ ਨਤੀਜੇ ਦਾ ਅਸਲ ਵਿੱਚ ਕੀ ਅਰਥ ਹੈ।
ਅਸਲ ਵਿੱਚ ਪੀ-ਮੁੱਲ ਕੀ ਹੈ?
p-ਮੁੱਲ ਉਹ ਸੰਭਾਵਨਾ ਹੈ ਜਿਸ ਦਾ ਨਤੀਜਾ ਤੁਸੀਂ ਦੇਖਦੇ ਹੋ, ਜਾਂ ਇੱਕ ਹੋਰ ਅਤਿਅੰਤ ਨਤੀਜਾ, ਸੰਜੋਗ ਨਾਲ ਵਾਪਰਦਾ ਹੈ ਜਦੋਂ ਨਲ ਪਰਿਕਲਪਨਾ ਸੱਚ ਹੁੰਦੀ ਹੈ (ਅਰਥਾਤ, ਅਸਲ ਵਿੱਚ ਕੋਈ ਪ੍ਰਭਾਵ ਨਹੀਂ ਹੁੰਦਾ)। ਇੱਕ ਛੋਟਾ ਪੀ-ਮੁੱਲ (0.05 ਪਰੰਪਰਾਗਤ ਥ੍ਰੈਸ਼ਹੋਲਡ ਹੈ) ਦਾ ਮਤਲਬ ਹੈ "ਅਜਿਹੇ ਡੇਟਾ ਨੂੰ ਦੇਖਣਾ ਹੈਰਾਨੀਜਨਕ ਹੋਵੇਗਾ ਜੇਕਰ ਅਸਲ ਵਿੱਚ ਕੋਈ ਪ੍ਰਭਾਵ ਨਹੀਂ ਸੀ"; ਇਸ ਨੂੰ ਨਲ ਪਰਿਕਲਪਨਾ ਦੇ ਵਿਰੁੱਧ ਸਬੂਤ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ।
ਹੁਣ ਆਓ ਸਪੱਸ਼ਟ ਕਰੀਏ ਕਿ ਪੀ-ਮੁੱਲ ਕੀ ਨਹੀਂ ਹੈ - ਜੋ ਕਿ AI ਅਕਸਰ ਉਲਝਣ ਵਿੱਚ ਹੈ:
- p-ਮੁੱਲ ਇਹ ਸੰਭਾਵਨਾ ਨਹੀਂ ਹੈ ਕਿ ਨਲ ਪਰਿਕਲਪਨਾ ਸੱਚ ਹੈ। p=0.03 ਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਹੈ ਕਿ "ਕੋਈ ਪ੍ਰਭਾਵ ਦੀ 3% ਸੰਭਾਵਨਾ ਨਹੀਂ ਹੈ"।
- ਪੀ-ਮੁੱਲ ਪ੍ਰਭਾਵ ਦੇ ਆਕਾਰ ਨੂੰ ਦਰਸਾਉਂਦਾ ਨਹੀਂ ਹੈ। ਇੱਕ ਬਹੁਤ ਛੋਟਾ ਪ੍ਰਭਾਵ ਇੱਕ ਵੱਡੇ ਨਮੂਨੇ ਵਿੱਚ ਇੱਕ ਛੋਟਾ p-ਮੁੱਲ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ।
- ਪੀ-ਮੁੱਲ ਇਹ ਸਾਬਤ ਨਹੀਂ ਕਰਦਾ ਕਿ ਖੋਜ ਮਹੱਤਵਪੂਰਨ ਜਾਂ ਅਸਲੀ ਹੈ। "ਮਹੱਤਵਪੂਰਨ" ਇੱਕ ਅੰਕੜਾ ਸ਼ਬਦ ਹੈ, "ਮਹੱਤਵਪੂਰਨ" ਇੱਕ ਨਿਰਣਾ ਹੈ।
- p>0.05 ਦਾ ਮਤਲਬ "ਕੋਈ ਪ੍ਰਭਾਵ ਨਹੀਂ" ਨਹੀਂ ਹੈ; ਇਸਦਾ ਅਰਥ ਹੈ "ਅਸੀਂ ਇਸ ਡੇਟਾ ਨਾਲ ਪ੍ਰਭਾਵ ਨਹੀਂ ਦਿਖਾ ਸਕੇ।" ਸਬੂਤ ਦੀ ਅਣਹੋਂਦ ਗੈਰਹਾਜ਼ਰੀ ਦਾ ਸਬੂਤ ਨਹੀਂ ਹੈ।
ਸਾਵਧਾਨ: ਸਭ ਤੋਂ ਆਮ AI ਵਿਆਖਿਆ ਗਲਤੀ "ਮਹੱਤਵਪੂਰਨ" ਸ਼ਬਦ ਨੂੰ "ਮਹੱਤਵਪੂਰਨ/ਮਜ਼ਬੂਤ/ਪ੍ਰਮੁੱਖ ਪ੍ਰਭਾਵ" ਵਜੋਂ ਪੇਸ਼ ਕਰ ਰਹੀ ਹੈ। ਅੰਕੜਾਤਮਕ ਮਹੱਤਤਾ ਅਤੇ ਵਿਹਾਰਕ ਮਹੱਤਤਾ ਦੋ ਵੱਖ-ਵੱਖ ਚੀਜ਼ਾਂ ਹਨ; ਹਮੇਸ਼ਾ ਦੋਨਾਂ ਦੀ ਅਲੱਗ-ਅਲੱਗ ਰਿਪੋਰਟ ਕਰੋ।
ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲ ਅਤੇ ਪ੍ਰਭਾਵ ਦਾ ਆਕਾਰ: ਅਮੀਰ ਜਾਣਕਾਰੀ
ਇੱਕ ਸਿੰਗਲ ਪੀ-ਮੁੱਲ ਦੀ ਬਜਾਏ, ਇੱਕ ਭਰੋਸੇ ਦਾ ਅੰਤਰਾਲ ਬਹੁਤ ਜ਼ਿਆਦਾ ਜਾਣਕਾਰੀ ਭਰਪੂਰ ਹੈ: ਇਹ ਤੁਹਾਡੇ ਅਨੁਮਾਨ ਲਈ ਮੁੱਲਾਂ ਦੀ ਪ੍ਰਸ਼ੰਸਾਯੋਗ ਰੇਂਜ ਦਿੰਦਾ ਹੈ। ਵਾਕ "ਪ੍ਰਭਾਵ 1,200, 95% ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲ [300, 2,100]" ਦਿਸ਼ਾ, ਵਿਸ਼ਾਲਤਾ ਅਤੇ ਅਨਿਸ਼ਚਿਤਤਾ ਦੋਵਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ; "p<0.05" ਸਿਰਫ਼ "ਜ਼ੀਰੋ ਤੋਂ ਦੂਰ" ਕਹਿੰਦਾ ਹੈ। ਆਧੁਨਿਕ ਅੰਕੜਾ ਅਭਿਆਸ ਪੀ-ਮੁੱਲ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਇਕੱਲੇ ਨਹੀਂ; ਪ੍ਰਭਾਵ ਆਕਾਰ + ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲ + p-ਮੁੱਲ ਦੀ ਤਿਕੜੀ ਨਾਲ ਰਿਪੋਰਟ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹੈ।
ਅੰਕੜਾ ਸ਼ਕਤੀ ਅਤੇ ਨਮੂਨਾ
ਅੰਕੜਾ ਸ਼ਕਤੀ ਇੱਕ ਪ੍ਰਭਾਵ ਦਾ ਪਤਾ ਲਗਾਉਣ ਦੀ ਸੰਭਾਵਨਾ ਹੈ ਜੋ ਅਸਲ ਵਿੱਚ ਮੌਜੂਦ ਹੈ (1 ਘਟਾਓ ਕਿਸਮ II ਗਲਤੀ ਦੀ ਸੰਭਾਵਨਾ, ਅਰਥਾਤ "ਅਸਲ ਪ੍ਰਭਾਵ ਗੁਆਉਣਾ")। ਇੱਕ ਘੱਟ ਸ਼ਕਤੀ ਵਾਲਾ ਅਧਿਐਨ ਦੋ ਜੋਖਮਾਂ ਲਈ ਸੰਵੇਦਨਸ਼ੀਲ ਹੁੰਦਾ ਹੈ: (1) ਇਹ ਸਹੀ ਪ੍ਰਭਾਵਾਂ ਤੋਂ ਖੁੰਝ ਜਾਂਦਾ ਹੈ (ਗਲਤ ਨਕਾਰਾਤਮਕ); (2) ਥੋੜ੍ਹੇ ਜਿਹੇ ਨਤੀਜੇ ਜੋ ਮਹੱਤਵਪੂਰਨ ਸਿੱਧ ਹੋਏ ਮਾਪਾਂ ਨੂੰ ਲੈ ਕੇ ਜਾਂਦੇ ਹਨ - ਅਖੌਤੀ ਵਿਜੇਤਾ ਦਾ ਸਰਾਪ ਕਿਉਂਕਿ ਸਿਰਫ ਵਧੀਆਂ ਭਵਿੱਖਬਾਣੀਆਂ ਹੀ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਪਾਰ ਕਰ ਸਕਦੀਆਂ ਹਨ। ਇਸ ਲਈ, ਵਿਸ਼ਲੇਸ਼ਣ ਤੋਂ ਪਹਿਲਾਂ ਸ਼ਕਤੀ/ਨਮੂਨੇ ਦੀ ਗਣਨਾ ਕਰਨਾ ਚੰਗਾ ਅਭਿਆਸ ਹੈ। AI ਇਸ ਖਾਤੇ ਲਈ ਕੋਡ ਤਿਆਰ ਕਰਦਾ ਹੈ; ਤੁਸੀਂ ਥਿਊਰੀ ਨਾਲ ਟੀਚਾ ਪ੍ਰਭਾਵ ਦਾ ਆਕਾਰ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹੋ।
ਮਲਟੀਪਲ ਤੁਲਨਾ ਸਮੱਸਿਆ
ਟੈਸਟ ਕਰਦੇ ਸਮੇਂ, 0.05 ਦੀ ਥ੍ਰੈਸ਼ਹੋਲਡ ਦਾ ਮਤਲਬ ਹੈ "ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਦਾ 5% ਜੋਖਮ"। ਪਰ ਜੇਕਰ ਤੁਸੀਂ 20 ਟੈਸਟ ਕਰਦੇ ਹੋ, ਤਾਂ ਔਸਤਨ ਇੱਕ ਤੋਂ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ p<0.05 ਦੇਣ ਦੀ ਉਮੀਦ ਕੀਤੀ ਜਾਵੇਗੀ, ਭਾਵੇਂ ਉਹ ਸਾਰੇ ਅਸਲ ਵਿੱਚ ਬੇਅਸਰ ਹੋਣ। ਇਸ ਨੂੰ ਮਲਟੀਪਲ ਤੁਲਨਾ ਸਮੱਸਿਆ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਦੀ ਸੰਭਾਵਨਾ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੀ ਹੈ ਜਦੋਂ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਵੇਰੀਏਬਲ, ਉਪ-ਸਮੂਹ, ਜਾਂ ਨਤੀਜੇ ਵੇਰੀਏਬਲ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਠੀਕ ਕਰਨਾ ਹੱਲ ਹੈ: ਬੋਨਫੇਰੋਨੀ (ਟੈਸਟਾਂ ਦੀ ਗਿਣਤੀ ਨਾਲ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਵੰਡਣਾ — ਸਖਤ), ਹੋਲਮ ਜਾਂ ਬੈਂਜਾਮਿਨੀ-ਹੋਚਬਰਗ ਵਿਧੀਆਂ ਜੋ ਝੂਠੀ ਖੋਜ ਦਰ (FDR) ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਦੀਆਂ ਹਨ। AI ਦੀ ਉਮਰ ਵਿੱਚ ਇਹ ਜੋਖਮ ਹੋਰ ਵੀ ਵੱਧ ਜਾਂਦਾ ਹੈ, ਕਿਉਂਕਿ AI ਸਕਿੰਟਾਂ ਵਿੱਚ ਦਰਜਨਾਂ ਟੈਸਟ ਕਰ ਸਕਦਾ ਹੈ - ਇਹ ਅਗਲੀ ਯੂਨਿਟ (ਪੀ-ਹੈਕਿੰਗ) ਦਾ ਸਿੱਧਾ ਵਿਸ਼ਾ ਹੈ।
ਤੁਲਨਾ ਸਾਰਣੀ: p-ਮੁੱਲ ਕੀ ਕਹਿੰਦਾ ਹੈ ਅਤੇ ਕੀ ਨਹੀਂ ਕਹਿੰਦਾ ਹੈ
ਸਮੀਕਰਨ
ਕੀ ਇਹ ਸੱਚ ਹੈ?
ਵਰਣਨ
"p=0.02, ਕਿਸੇ ਪ੍ਰਭਾਵ ਦੀ ਸੰਭਾਵਨਾ 2% ਹੈ"
ਗਲਤ
p H0 ਦੀ ਸੰਭਾਵਨਾ ਨਹੀਂ ਹੈ
"ਪੀ <0.05, ਪ੍ਰਭਾਵ ਵੱਡਾ ਹੈ"
ਗਲਤ
p ਆਕਾਰ ਨੂੰ ਦਰਸਾਉਂਦਾ ਨਹੀਂ ਹੈ
"ਪੀ = 0.20, ਕੋਈ ਪ੍ਰਭਾਵ ਨਹੀਂ"
ਗਲਤ
ਦਿਖਾਉਣ ਦੇ ਯੋਗ ਨਾ ਹੋਣਾ ਗੈਰਹਾਜ਼ਰੀ ਨਹੀਂ ਹੈ
"ਪੀ <0.05, H0 ਦੇ ਵਿਰੁੱਧ ਸਬੂਤ ਹਨ"
ਸੱਚ ਹੈ
ਸਾਵਧਾਨ ਅਤੇ ਬਿੰਦੂ 'ਤੇ
"ਪ੍ਰਭਾਵ 1.200 [300; 2.100], p=0.01"
ਵਧੀਆ
ਆਕਾਰ + ਅਨਿਸ਼ਚਿਤਤਾ + ਸਬੂਤ
ਚਾਰ ਕਾਪੀ ਕਰਨ ਯੋਗ ਪ੍ਰੋਂਪਟ
1. ਸਹੀ ਟੈਸਟ ਦੀ ਚੋਣ ਕਰਨਾ:
ਤੁਹਾਡੀ ਭੂਮਿਕਾ: ਅੰਕੜਾ ਟੈਸਟਿੰਗ ਸਹਾਇਕ। ਮੈਂ ਦੋ ਸੁਤੰਤਰ ਸਮੂਹਾਂ (ਲਗਾਤਾਰ ਵੇਰੀਏਬਲ) ਦੇ ਮੱਧਮਾਨ ਦੀ ਤੁਲਨਾ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹਾਂ। ਮੈਨੂੰ ਦਿਓ: ਕਿਹੜਾ ਟੈਸਟ ਢੁਕਵਾਂ ਹੈ (ਇਸਦੀਆਂ ਧਾਰਨਾਵਾਂ ਦੇ ਨਾਲ: ਸਧਾਰਣਤਾ, ਵਿਭਿੰਨਤਾ ਦੀ ਸਮਾਨਤਾ), ਵਿਕਲਪ ਜੇਕਰ ਧਾਰਨਾ ਪੂਰੀ ਨਹੀਂ ਹੁੰਦੀ ਹੈ (ਉਦਾਹਰਨ ਲਈ ਵੈਲਚ, ਮਾਨ-ਵਿਟਨੀ), ਅਤੇ ਆਰ ਕੋਡ। ਮੈਂ ਨਤੀਜਾ ਚਲਾਵਾਂਗਾ ਅਤੇ ਧਾਰਨਾਵਾਂ ਦੀ ਜਾਂਚ ਕਰਾਂਗਾ।
2. p-ਮੁੱਲ ਦੀ ਸਹੀ ਰਿਪੋਰਟ ਕਰਨਾ:
ਹੇਠਾਂ ਟੈਸਟ ਆਉਟਪੁੱਟ ਦੀ ਰਿਪੋਰਟ ਕਰੋ, ਪਰ ਨਿਯਮ: - p-ਮੁੱਲ ਨੂੰ "H0" ਦੀ ਸੰਭਾਵਨਾ ਜਾਂ "ਪ੍ਰਭਾਵ ਆਕਾਰ" ਵਜੋਂ ਪੇਸ਼ ਨਾ ਕਰੋ, - ਪ੍ਰਭਾਵ ਦਾ ਆਕਾਰ ਅਤੇ 95% ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲ ਸ਼ਾਮਲ ਕਰਨਾ ਯਕੀਨੀ ਬਣਾਓ, - "ਮਹੱਤਵਪੂਰਨ" ਅਤੇ "ਮਹੱਤਵਪੂਰਨ" ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਲਿਖੋ, - ਜੇਕਰ p>0.05, ਤਾਂ ਇਹ ਨਾ ਕਹੋ ਕਿ "ਕੋਈ ਪ੍ਰਭਾਵ ਨਹੀਂ ਦਿਖਾ ਸਕੇ", ਕਹੋ "ਅਸੀਂ ਨਹੀਂ ਦਿਖਾ ਸਕੇ"। ਆਉਟਪੁੱਟ: [ਪੇਸਟ]
3. ਪਾਵਰ/ਨਮੂਨਾ ਗਣਨਾ:
ਮੈਂ ਇੱਕ ਪ੍ਰਯੋਗ ਦੀ ਯੋਜਨਾ ਬਣਾ ਰਿਹਾ ਹਾਂ: ਦੋ ਸਮੂਹ, ਸੰਭਾਵਿਤ ਪ੍ਰਭਾਵ ਆਕਾਰ (ਕੋਹੇਨ ਦਾ ਡੀ) ~0.4, ਪਾਵਰ 0.80, ਅਲਫ਼ਾ 0.05। R ਕੋਡ ਲਿਖੋ ਜੋ ਲੋੜੀਂਦੇ ਨਮੂਨੇ ਦੇ ਆਕਾਰ (pwr ਪੈਕੇਜ) ਦੀ ਗਣਨਾ ਕਰਦਾ ਹੈ ਅਤੇ ਘੱਟ-ਪਾਵਰ ਵਾਲੇ ਅਧਿਐਨ (ਜੇਤੂ ਦਾ ਸਰਾਪ) ਦੇ ਜੋਖਮਾਂ ਦੀ ਵਿਆਖਿਆ ਕਰਦਾ ਹੈ।
4. ਕਈ ਤੁਲਨਾਤਮਕ ਸੁਧਾਰ:
ਮੈਂ 15 ਵੱਖਰੇ ਅਨੁਮਾਨਾਂ ਦੇ ਟੈਸਟ ਕੀਤੇ ਹਨ ਅਤੇ ਮੇਰੇ ਕੋਲ p-ਮੁੱਲ ਹਨ। R ਕੋਡ ਲਿਖੋ ਜੋ ਬੋਨਫੇਰੋਨੀ ਅਤੇ ਬੈਂਜਾਮਿਨ-ਹੋਚਬਰਗ (FDR) ਸੁਧਾਰਾਂ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ, ਦੋ ਤਰੀਕਿਆਂ ਵਿਚਕਾਰ ਅੰਤਰ ਦੀ ਵਿਆਖਿਆ ਕਰੋ, ਅਤੇ ਇੱਕ ਵਾਕ ਵਿੱਚ ਸੰਖੇਪ ਵਿੱਚ ਦੱਸੋ ਕਿ ਮੈਨੂੰ ਬੇਅਰ p <0.05 'ਤੇ ਭਰੋਸਾ ਕਿਉਂ ਨਹੀਂ ਕਰਨਾ ਚਾਹੀਦਾ।
ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ / ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ
ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ:
ਕੀ ਇਸ ਪ੍ਰੀਖਿਆ ਦਾ ਨਤੀਜਾ ਸਾਰਥਕ ਹੈ? ਨਤੀਜੇ 'ਤੇ ਟਿੱਪਣੀ ਕਰੋ.
ਇਹ ਦਾਅਵਾ AI ਨੂੰ "ਅਰਥਪੂਰਨ/ਗੈਰ-ਅਰਥਪੂਰਨ" ਬਾਈਨਰੀ ਵਿੱਚ ਫਸਾਉਂਦਾ ਹੈ; ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਇੱਕ ਵਾਕ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜੋ ਮਹੱਤਤਾ ਦੇ ਨਾਲ ਵਿਸ਼ਾਲਤਾ ਨੂੰ ਉਲਝਾਉਂਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ "ਹਾਂ, ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ, ਪ੍ਰਭਾਵ ਮਜ਼ਬੂਤ ਹੈ।"
ਸ਼ਕਤੀਸ਼ਾਲੀ ਪ੍ਰਾਉਟ:
ਤੁਹਾਡੀ ਭੂਮਿਕਾ: ਧਿਆਨ ਨਾਲ ਅੰਕੜਾ ਸਹਾਇਕ। ਨਤੀਜੇ ਦੀ ਵਿਆਖਿਆ ਕਰੋ ਪਰ: (1) ਪ੍ਰਭਾਵ ਦਾ ਆਕਾਰ + 95% ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲ + p-ਮੁੱਲ ਇਕੱਠੇ ਦਿਓ, (2) ਮਹੱਤਤਾ ਤੋਂ ਵੱਖਰਾ ਮਹੱਤਵ, (3) p>0.05 ਵਿੱਚ "ਦਿਖਾਇਆ ਨਹੀਂ ਜਾ ਸਕਿਆ", (4) ਪੁੱਛੋ ਕਿ ਮੈਂ ਕਿੰਨੇ ਟੈਸਟ ਕੀਤੇ ਹਨ; ਜੇਕਰ ਇੱਕ ਤੋਂ ਵੱਧ, ਇੱਕ ਤੋਂ ਵੱਧ ਤੁਲਨਾਤਮਕ ਸੁਧਾਰ ਦਾ ਸੁਝਾਅ ਦਿਓ, (5) ਯਾਦ ਦਿਵਾਓ ਕਿ ਟੈਸਟ ਦੀਆਂ ਧਾਰਨਾਵਾਂ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ।
ਅੰਤਰ: ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ ਅਮੀਰ ਰਿਪੋਰਟਿੰਗ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ ਅਤੇ ਪੀ-ਮੁੱਲ ਦੇ ਜਾਲ ਤੋਂ ਬਚਾਉਂਦਾ ਹੈ।
ਤਿੰਨ ਛੋਟੇ ਕੇਸ
ਕੇਸ 1 - ਵੱਡੇ ਨਮੂਨੇ ਵਿੱਚ ਗੈਰ-ਮਹੱਤਵਪੂਰਨ "ਮਹੱਤਵ"। ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਕ ਨੇ 500,000 ਨਿਰੀਖਣਾਂ ਦੇ ਨਾਲ ਡੇਟਾ ਵਿੱਚ p <0.001 'ਤੇ ਦੋ ਸਮੂਹਾਂ ਵਿੱਚ "ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ" ਦਾ ਮਤਲਬ ਪਾਇਆ। ਪਰ ਅੰਤਰ ਸਿਰਫ਼ 0.3 ਅੰਕ (100 ਵਿੱਚੋਂ) ਸੀ ਅਤੇ ਅਮਲੀ ਤੌਰ 'ਤੇ ਅਰਥਹੀਣ ਸੀ। ਵੱਡੇ ਨਮੂਨੇ ਨੇ ਛੋਟੇ ਜਿਹੇ ਫਰਕ ਨੂੰ ਵੀ "ਮਹੱਤਵਪੂਰਨ" ਬਣਾ ਦਿੱਤਾ ਹੈ। ਜਦੋਂ ਪ੍ਰਭਾਵ ਦੇ ਆਕਾਰ ਦੀ ਰਿਪੋਰਟ ਕੀਤੀ ਗਈ ਸੀ, ਤਾਂ ਖੋਜ ਮਾਮੂਲੀ ਪਾਈ ਗਈ ਸੀ. ਸਬਕ: ਮਹੱਤਤਾ ਵਿਸ਼ਾਲਤਾ ਨਹੀਂ ਹੈ; ਜੇਕਰ n ਵੱਡਾ ਹੈ, ਤਾਂ ਹਰ ਅੰਤਰ ਮਹੱਤਵਪੂਰਨ ਹੈ।
ਕੇਸ 2 - ਮਲਟੀਪਲ ਟੈਸਟਿੰਗ ਭਰਮ। ਇੱਕ ਟੀਮ ਨੇ 22 ਨਤੀਜੇ ਵੇਰੀਏਬਲ ਦੀ ਜਾਂਚ ਕੀਤੀ; ਉਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਨੇ p=0.04 ਦਿਖਾਇਆ ਅਤੇ "ਸਾਨੂੰ ਪ੍ਰਭਾਵ ਮਿਲਿਆ" ਵਜੋਂ ਘੋਸ਼ਿਤ ਕੀਤਾ ਗਿਆ। ਬੋਨਫੇਰੋਨੀ ਸੁਧਾਰ ਦੇ ਨਾਲ, ਥ੍ਰੈਸ਼ਹੋਲਡ 0.05/22 = 0.0023 ਤੱਕ ਘਟ ਗਿਆ; 0.04 ਨੇ ਇਸ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਪਾਸ ਨਹੀਂ ਕੀਤਾ। 22 ਅਜ਼ਮਾਇਸ਼ਾਂ ਵਿੱਚੋਂ ਸਿਰਫ "ਅਰਥਪੂਰਨ" ਨਤੀਜਾ ਸੰਜੋਗ ਨਾਲ ਨਿਕਲਿਆ ਹੋਵੇਗਾ। ਸਬਕ: ਜਦੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਜਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਸੁਧਾਰ ਜ਼ਰੂਰੀ ਹੁੰਦਾ ਹੈ।
ਕੇਸ 3 - ਅੰਡਰਪਾਵਰ ਅਤੇ ਜੇਤੂ ਦਾ ਸਰਾਪ। ਇੱਕ ਛੋਟਾ ਪਾਇਲਟ ਅਧਿਐਨ (n=15 ਪ੍ਰਤੀ ਸਮੂਹ) ਨੇ ਇੱਕ ਪ੍ਰਭਾਵ ਬਹੁਤ ਵੱਡਾ (d=0.9) ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਪਾਇਆ। ਇੱਕ ਵੱਡੇ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਅਧਿਐਨ ਨੇ ਪ੍ਰਭਾਵ ਨੂੰ d = 0.2 ਤੱਕ ਘਟਾ ਦਿੱਤਾ. ਛੋਟੇ ਨਮੂਨੇ ਨੇ ਸਿਰਫ ਇੱਕ ਬਹੁਤ ਜ਼ਿਆਦਾ ਅਨੁਮਾਨ ਨੂੰ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਪਾਰ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਸੀ. ਸਬਕ: ਘੱਟ ਪਾਵਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਭਾਵ ਦੇ ਆਕਾਰਾਂ 'ਤੇ ਭਰੋਸਾ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
ਆਮ ਗਲਤੀਆਂ
- ਮਹੱਤਵ/ਵਿਆਪਕਤਾ ਦੇ ਨਾਲ ਅਰਥਪੂਰਨਤਾ ਨੂੰ ਉਲਝਾਉਣਾ। ਪ੍ਰਭਾਵ ਸਿਰਫ ਇਸ ਲਈ ਵੱਡਾ ਨਹੀਂ ਹੈ ਕਿਉਂਕਿ p ਛੋਟਾ ਹੈ; ਪ੍ਰਭਾਵ ਦੇ ਆਕਾਰ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਰਿਪੋਰਟ ਕਰੋ।
- H0 ਦੀ ਸੰਭਾਵਨਾ ਲਈ p-ਮੁੱਲ ਨੂੰ ਗਲਤ ਸਮਝਣਾ। p "ਕੋਈ ਪ੍ਰਭਾਵ ਦੀ ਸੰਭਾਵਨਾ" ਨਹੀਂ ਹੈ; ਸੰਕਲਪਿਕ ਤੌਰ 'ਤੇ ਵੱਖਰਾ ਹੈ।
- p>0.05 ਨੂੰ "ਕੋਈ ਪ੍ਰਭਾਵ ਨਹੀਂ" ਵਜੋਂ ਪੜ੍ਹਨਾ ਦਿਖਾਉਣ ਵਿੱਚ ਅਸਫਲਤਾ ਗੈਰਹਾਜ਼ਰੀ ਦਾ ਸਬੂਤ ਨਹੀਂ ਹੈ; ਅਨਿਸ਼ਚਿਤਤਾ ਦੱਸੋ।
- ਮਲਟੀ-ਟੈਸਟਿੰਗ ਲਈ ਠੀਕ ਨਹੀਂ ਕਰਨਾ। ਬਹੁਤ ਸਾਰੇ ਟੈਸਟ ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਪੈਦਾ ਕਰਦੇ ਹਨ; ਬੋਨਫੇਰੋਨੀ/ਐਫਡੀਆਰ ਲਾਗੂ ਕਰੋ।
- ਸ਼ਕਤੀ ਦੀ ਅਣਦੇਖੀ. ਛੋਟੇ ਨਮੂਨੇ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਭਾਵ ਅਤਿਕਥਨੀ ਹੈ; ਵਿਸ਼ਲੇਸ਼ਣ ਤੋਂ ਪਹਿਲਾਂ ਸ਼ਕਤੀ ਦੀ ਗਣਨਾ ਕਰੋ।
ਸੰਕੇਤ: "ਮਹੱਤਵਪੂਰਨ" ਵਜੋਂ ਨਤੀਜਾ ਲਿਖਣ ਤੋਂ ਪਹਿਲਾਂ, ਦੋ ਸਵਾਲ ਪੁੱਛੋ: "ਕੀ ਪ੍ਰਭਾਵ ਅਮਲੀ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੈ (ਮਾਪਦੰਡ)?" ਅਤੇ "ਇਹ ਨਤੀਜਾ ਮਿਲਣ ਤੋਂ ਪਹਿਲਾਂ ਮੈਂ ਕਿੰਨੇ ਟੈਸਟ ਲਏ?" ਦੂਜਾ ਸਵਾਲ ਇਮਾਨਦਾਰੀ ਦਾ ਲਿਟਮਸ ਟੈਸਟ ਹੈ।
ਸਾਰੰਸ਼ ਵਿੱਚ
ਹਾਈਪੋਥੀਸਿਸ ਟੈਸਟਿੰਗ ਅਤੇ ਪੀ-ਵੈਲਯੂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਪਰ ਗਲਤ ਸਮਝੇ ਗਏ ਸਾਧਨ ਹਨ। p-ਮੁੱਲ ਡੇਟਾ ਨੂੰ ਦੇਖਣ ਦੀ ਸੰਭਾਵਨਾ ਹੈ ਜਦੋਂ ਨਲ ਪਰਿਕਲਪਨਾ ਸੱਚ ਹੈ; H0 ਦੀ ਸੰਭਾਵਨਾ ਪ੍ਰਭਾਵ ਦੀ ਤੀਬਰਤਾ ਜਾਂ ਖੋਜ ਦੀ ਮਹੱਤਤਾ ਨਹੀਂ ਹੈ। ਪ੍ਰਭਾਵ ਦੇ ਆਕਾਰ ਅਤੇ ਭਰੋਸੇ ਦੇ ਅੰਤਰਾਲ ਦੇ ਨਾਲ ਹਮੇਸ਼ਾ ਮਹੱਤਤਾ ਦੀ ਰਿਪੋਰਟ ਕਰੋ; p>0.05 ਨੂੰ "ਕੋਈ ਪ੍ਰਭਾਵ ਨਹੀਂ" ਵਜੋਂ ਨਾ ਪੜ੍ਹੋ; ਜੇਕਰ ਤੁਸੀਂ ਬਹੁਤ ਸਾਰੇ ਟੈਸਟ ਕੀਤੇ ਹਨ ਤਾਂ ਕਈ ਤੁਲਨਾਤਮਕ ਸੁਧਾਰ ਲਾਗੂ ਕਰੋ; ਘੱਟ ਸ਼ਕਤੀ ਵਾਲੇ ਅਧਿਐਨਾਂ ਤੋਂ ਅਤਿਕਥਨੀ ਵਾਲੇ ਪ੍ਰਭਾਵਾਂ ਦੇ ਜੋਖਮ ਤੋਂ ਸੁਚੇਤ ਰਹੋ। AI ਟੈਸਟ ਕੋਡ ਅਤੇ ਬਲੂਪ੍ਰਿੰਟ ਤਿਆਰ ਕਰਦਾ ਹੈ; ਸਾਰਥਕਤਾ ਅਤੇ ਭੌਤਿਕਤਾ ਵਿੱਚ ਫਰਕ ਕਰਨਾ ਅਤੇ ਧਾਰਨਾਵਾਂ ਦੀ ਜਾਂਚ ਕਰਨਾ ਤੁਹਾਡੀ ਜ਼ਿੰਮੇਵਾਰੀ ਹੈ।
ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ
ਇੱਕ ਡੇਟਾ ਸੈੱਟ ਵਿੱਚ ਦੋ ਸਮੂਹਾਂ ਵਿਚਕਾਰ ਸਾਧਨਾਂ ਦੀ ਤੁਲਨਾ ਕਰੋ। AI ਨੂੰ ਉਚਿਤ ਟੈਸਟ (ਇਸਦੀਆਂ ਧਾਰਨਾਵਾਂ ਦੇ ਨਾਲ) ਅਤੇ ਕੋਡ ਲਈ ਪੁੱਛੋ, ਇਸਨੂੰ ਚਲਾਓ ਅਤੇ ਧਾਰਨਾਵਾਂ ਦੀ ਜਾਂਚ ਕਰੋ। ਤਿੰਨ ਹਿੱਸਿਆਂ ਦੇ ਨਾਲ ਨਤੀਜੇ ਦੀ ਰਿਪੋਰਟ ਕਰੋ: ਪ੍ਰਭਾਵ ਦਾ ਆਕਾਰ, 95% ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲ, p-ਮੁੱਲ। ਫਿਰ ਇਸ ਬਾਰੇ ਸੋਚੋ ਕਿ ਤੁਸੀਂ ਇੱਕੋ ਡੇਟਾ 'ਤੇ ਕਿੰਨੀਆਂ ਵੱਖਰੀਆਂ ਤੁਲਨਾਵਾਂ ਕਰ ਸਕਦੇ ਹੋ; ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਤੋਂ ਵੱਧ ਟੈਸਟ ਚਲਾਏ ਹਨ, ਤਾਂ ਬੋਨਫੇਰੋਨੀ ਜਾਂ FDR ਸੁਧਾਰ ਲਾਗੂ ਕਰੋ ਅਤੇ ਰਿਪੋਰਟ ਕਰੋ ਜੇਕਰ ਨਤੀਜਾ ਅਜੇ ਵੀ ਬਣਿਆ ਹੋਇਆ ਹੈ। ਅੰਤ ਵਿੱਚ, ਆਪਣੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਇੱਕ ਮੋਟਾ ਪਾਵਰ ਮੁਲਾਂਕਣ ਲਿਖੋ।
ਚੈੱਕਲਿਸਟ
- [ ] ਮੈਂ ਟੈਸਟ ਨੂੰ ਇਸ ਦੀਆਂ ਧਾਰਨਾਵਾਂ ਨਾਲ ਚੁਣਿਆ ਅਤੇ ਧਾਰਨਾਵਾਂ ਦੀ ਜਾਂਚ ਕੀਤੀ।
- [ ] ਮੈਂ ਨਤੀਜੇ ਨੂੰ ਪ੍ਰਭਾਵ ਆਕਾਰ + ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲ + p-ਮੁੱਲ ਵਜੋਂ ਰਿਪੋਰਟ ਕੀਤਾ ਹੈ।
- [ ] ਮੈਂ "ਮਹੱਤਵਪੂਰਣ" ਅਤੇ "ਮਹੱਤਵਪੂਰਨ" ਨੂੰ ਵੱਖਰਾ ਰੱਖਿਆ; ਮੈਨੂੰ ਨਹੀਂ ਲੱਗਦਾ ਸੀ ਕਿ p H0 ਦੀ ਸੰਭਾਵਨਾ ਸੀ।
- [ ] ਮੈਂ "ਕੋਈ ਪ੍ਰਭਾਵ ਨਹੀਂ" ਦੀ ਬਜਾਏ "ਅਸੀਂ ਇਸਨੂੰ ਨਹੀਂ ਦਿਖਾ ਸਕੇ" ਵਜੋਂ p>0.05 ਲਿਖਿਆ ਹੈ।
- ਜੇਕਰ ਮੈਂ ਕਈ ਟੈਸਟ ਚਲਾਏ ਤਾਂ ਮੈਂ ਕਈ ਤੁਲਨਾਤਮਕ ਸੁਧਾਰ ਲਾਗੂ ਕੀਤੇ ਹਨ।
- [ ] ਮੈਂ ਨਮੂਨਾ ਲੈਣ ਦੀ ਸ਼ਕਤੀ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ; ਮੈਂ ਘੱਟ ਪਾਵਰ 'ਤੇ ਪ੍ਰਭਾਵ ਦੇ ਆਕਾਰ ਬਾਰੇ ਸਾਵਧਾਨ ਸੀ।