ਲਾਭ:
- ਰੇਡੀਓਲੋਜੀ ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਸੰਵੇਦਨਸ਼ੀਲਤਾ, ਵਿਸ਼ੇਸ਼ਤਾ, ਝੂਠੇ ਨਕਾਰਾਤਮਕ ਅਤੇ ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਦੀਆਂ ਧਾਰਨਾਵਾਂ ਦੀ ਵਿਆਖਿਆ ਕਰਨ ਅਤੇ ਇੱਕ ਮਾਡਲ ਦੇ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਆਲੋਚਨਾਤਮਕ ਤੌਰ 'ਤੇ ਪੜ੍ਹਨ ਦੀ ਸਮਰੱਥਾ।
- ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ ਨੂੰ ਪਛਾਣਨ ਦੇ ਯੋਗ ਹੋਣਾ (ਨਕਲੀ ਬੁੱਧੀ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਰਭਰਤਾ) ਅਤੇ, ਇਸਦੇ ਉਲਟ, ਅਲਾਰਮ ਥਕਾਵਟ, ਅਤੇ ਇਹਨਾਂ ਦੋ ਜਾਲਾਂ ਦੇ ਵਿਰੁੱਧ ਪੜ੍ਹਨ ਦੇ ਅਨੁਸ਼ਾਸਨ ਦੀ ਰੱਖਿਆ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣਾ
- ਇਹ ਸਮਝਣਾ ਕਿ ਰੇਡੀਓਲੋਜਿਸਟ ਨੂੰ ਉਸ ਖੇਤਰ ਨੂੰ ਪੜ੍ਹਨਾ ਚਾਹੀਦਾ ਹੈ ਜੋ ਨਕਲੀ ਬੁੱਧੀ ਦੁਆਰਾ ਚਿੰਨ੍ਹਿਤ ਨਹੀਂ ਹੈ, ਅਤੇ ਇਹ ਕਿ ਇੱਕ ਨਕਾਰਾਤਮਕ AI ਆਉਟਪੁੱਟ ਨਿਦਾਨ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਹੈ।
ਰੇਡੀਓਲੋਜੀ AI ਲਈ ਦੋ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਸੰਖਿਆਵਾਂ ਇਹ ਹਨ ਕਿ ਇਹ ਕਿੰਨੀਆਂ ਖੋਜਾਂ ਨੂੰ ਫੜਦਾ ਹੈ ਅਤੇ ਕਿੰਨੇ ਝੂਠੇ ਅਲਾਰਮ ਵਧਾਉਂਦਾ ਹੈ। ਜੇਕਰ ਕੋਈ ਨਿਰਮਾਤਾ ਤੁਹਾਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ “ਸਾਡਾ ਮਾਡਲ 96% ਸਹੀ ਹੈ,” ਤਾਂ ਇਹ ਇਕੱਲਾ ਕੁਝ ਨਹੀਂ ਕਹਿੰਦਾ। ਕਿਉਂਕਿ ਇੱਕ ਦੁਰਲੱਭ ਖੋਜ ਲਈ (1,000 ਇਮਤਿਹਾਨਾਂ ਵਿੱਚ 10 ਬਿਮਾਰੀਆਂ ਦਾ ਕਹਿਣਾ ਹੈ), ਇੱਥੋਂ ਤੱਕ ਕਿ ਇੱਕ ਮਾਡਲ ਜੋ ਕੁਝ ਵੀ ਫਲੈਗ ਕਰਦਾ ਹੈ "99% ਸਹੀ" ਦਿਖਾਈ ਦੇ ਸਕਦਾ ਹੈ - ਇਹ 990 ਸਿਹਤਮੰਦ ਲੋਕਾਂ ਨੂੰ ਸਹੀ ਤਰ੍ਹਾਂ ਪਛਾਣਦਾ ਹੈ ਅਤੇ ਸਿਰਫ਼ 10 ਮਰੀਜ਼ਾਂ ਨੂੰ ਖੁੰਝਦਾ ਹੈ। ਇਸ ਯੂਨਿਟ ਵਿੱਚ, ਅਸੀਂ ਸਿਖਾਂਗੇ ਕਿ ਰੇਡੀਓਲੋਜੀ ਦੇ ਮਹੱਤਵਪੂਰਨ ਮਾਪਦੰਡਾਂ ਨੂੰ ਕਿਵੇਂ ਪੜ੍ਹਨਾ ਹੈ—ਸੰਵੇਦਨਸ਼ੀਲਤਾ, ਵਿਸ਼ੇਸ਼ਤਾ, ਗਲਤ ਨਕਾਰਾਤਮਕ, ਗਲਤ ਸਕਾਰਾਤਮਕ—ਇੱਕ ਮਾਹਰ ਦੀ ਤਰ੍ਹਾਂ, ਅਤੇ ਦੋ ਖਤਰਨਾਕ ਮਨੁੱਖੀ ਜਾਲਾਂ ਨੂੰ ਪਛਾਣਨਾ ਹੈ—ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ ਅਤੇ ਅਲਾਰਮ ਥਕਾਵਟ।
ਮੂਲ ਸਿਧਾਂਤ: ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਦੁਆਰਾ ਚਿੰਨ੍ਹਿਤ ਨਾ ਹੋਣ ਵਾਲੇ ਖੇਤਰ ਨੂੰ ਵੀ ਰੇਡੀਓਲੋਜਿਸਟ ਦੁਆਰਾ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਨਕਾਰਾਤਮਕ AI ਨਤੀਜਾ ਨਿਦਾਨ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਹੈ; ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਮਾਡਲ ਖੋਜ ਤੋਂ ਖੁੰਝ ਗਿਆ ਹੋਵੇ (ਗਲਤ ਨਕਾਰਾਤਮਕ)। ਮਨੁੱਖੀ ਨਿਗਰਾਨੀ ਦਾ ਉਦੇਸ਼ ਸਹੀ ਪਲਾਂ ਨੂੰ ਕੈਪਚਰ ਕਰਨਾ ਹੈ ਜਦੋਂ ਮਾਡਲ ਸੁਰੱਖਿਅਤ ਰੂਪ ਨਾਲ ਗਲਤ ਹੈ।
ਇੱਕ ਮਾਹਰ ਵਾਂਗ ਮੈਟ੍ਰਿਕਸ ਪੜ੍ਹਨਾ
ਆਉ ਚਾਰ ਬੁਨਿਆਦੀ ਧਾਰਨਾਵਾਂ ਨੂੰ ਸਪੱਸ਼ਟ ਕਰੀਏ। ਮੰਨ ਲਓ ਕਿ ਅਸੀਂ 1000 ਪ੍ਰੀਖਿਆਵਾਂ 'ਤੇ ਇੱਕ ਮਾਡਲ ਦੀ ਜਾਂਚ ਕੀਤੀ ਅਤੇ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 100 ਨੂੰ ਅਸਲ ਵਿੱਚ ਬਿਮਾਰੀ ਸੀ।
- ਸੱਚਾ ਸਕਾਰਾਤਮਕ (TP): ਮਾਡਲ ਨੇ ਮਰੀਜ਼ ਦੀ ਨਿਸ਼ਾਨਦੇਹੀ ਕੀਤੀ, ਸੱਚਮੁੱਚ ਬਿਮਾਰ।
- ਗਲਤ ਨਕਾਰਾਤਮਕ (FN): ਮਾਡਲ ਨੇ ਨਿਸ਼ਾਨ ਨਹੀਂ ਲਗਾਇਆ ਪਰ ਮਰੀਜ਼ ਬੀਮਾਰ ਹੈ - ਮਿਸ। ਰੇਡੀਓਲੋਜੀ ਵਿੱਚ ਸਭ ਤੋਂ ਖਤਰਨਾਕ.
- ਗਲਤ ਸਕਾਰਾਤਮਕ (FP): ਮਾਡਲ ਨੂੰ ਫਲੈਗ ਕੀਤਾ ਗਿਆ ਹੈ ਪਰ ਮਰੀਜ਼ ਸਿਹਤਮੰਦ ਹੈ - ਗਲਤ ਅਲਾਰਮ।
- ਸੱਚਾ ਨਕਾਰਾਤਮਕ (TN): ਮਾਡਲ ਮਾਰਕ ਨਹੀਂ ਕੀਤਾ, ਅਸਲ ਵਿੱਚ ਸਿਹਤਮੰਦ।
ਇਹਨਾਂ ਵਿੱਚੋਂ ਦੋ ਬੁਨਿਆਦੀ ਮਾਪਦੰਡ ਪੈਦਾ ਹੁੰਦੇ ਹਨ:
- ਸੰਵੇਦਨਸ਼ੀਲਤਾ = TP / (TP + FN): ਅਸੀਂ ਕਿੰਨੇ ਅਸਲੀ ਮਰੀਜ਼ ਫੜੇ ਹਨ? ਉੱਚ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਦਾ ਮਤਲਬ ਹੈ ਘੱਟ ਅਗਵਾ।
- ਵਿਸ਼ੇਸ਼ਤਾ = TN / (TN + FP): ਅਸੀਂ ਕਿੰਨੇ ਤੰਦਰੁਸਤ ਲੋਕਾਂ ਨੂੰ ਸਿਹਤਮੰਦ ਗਿਣਿਆ ਹੈ? ਉੱਚ ਵਿਸ਼ੇਸ਼ਤਾ ਦਾ ਮਤਲਬ ਹੈ ਘੱਟ ਝੂਠੇ ਅਲਾਰਮ।
ਮੈਟ੍ਰਿਕ
ਫਾਰਮੂਲਾ
ਜਦੋਂ ਇਹ ਉੱਚਾ ਹੁੰਦਾ ਹੈ
ਰੇਡੀਓਲੌਜੀਕਲ ਮਹੱਤਤਾ
ਸੰਵੇਦਨਸ਼ੀਲਤਾ
TP/(TP+FN)
ਕੁਝ ਗਲਤ ਨਕਾਰਾਤਮਕ
ਗੁੰਮ ਹੋਣ ਤੋਂ ਬਚਣ ਲਈ ਮਹੱਤਵਪੂਰਨ (ਸਕ੍ਰੀਨਿੰਗ, ਟ੍ਰਾਈਜ)
ਵਿਸ਼ੇਸ਼ਤਾ
TN/(TN+FP)
ਕੁਝ ਝੂਠੇ ਸਕਾਰਾਤਮਕ
ਬੇਲੋੜੀ ਜਾਂਚ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ
ਗਲਤ ਨਕਾਰਾਤਮਕ ਦਰ
FN/(TP+FN)
ਬੁਰਾ
ਚੁੱਪ ਨੁਕਸਾਨ; ਰੇਡੀਓਲੋਜਿਸਟ ਨੂੰ ਫੜਨਾ ਚਾਹੀਦਾ ਹੈ
ਗਲਤ ਸਕਾਰਾਤਮਕ ਲੋਡ
FPs ਦੀ ਗਿਣਤੀ
ਲੋਡ ਵਧਦਾ ਹੈ
ਅਲਾਰਮ ਥਕਾਵਟ, ਯਾਦ
"ਸ਼ੁੱਧਤਾ"
(TP+TN)/ਕੁੱਲ
ਗੁੰਮਰਾਹਕੁੰਨ
ਦੁਰਲਭ ਰੋਗ ਵਿਚ ਉੱਚਾ ਦਿਸਦਾ ਹੈ, ਧੋਖਾ ਦਿੰਦਾ ਹੈ
ਇੱਕ ਮਾਡਲ ਦੀ ਇੱਕ ਥ੍ਰੈਸ਼ਹੋਲਡ ਹੁੰਦੀ ਹੈ (ਜਿਸ ਤੋਂ ਉੱਪਰ ਸਕੋਰ ਨੂੰ "ਸਕਾਰਾਤਮਕ" ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ), ਅਤੇ ਇਹ ਥ੍ਰੈਸ਼ਹੋਲਡ ਉਲਟ ਦਿਸ਼ਾਵਾਂ ਵਿੱਚ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਬਦਲਦਾ ਹੈ: ਜੇਕਰ ਤੁਸੀਂ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਘੱਟ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਵਧੇਰੇ (ਸੰਵੇਦਨਸ਼ੀਲਤਾ ↑) ਫੜਦੇ ਹੋ ਪਰ ਹੋਰ ਝੂਠੇ ਅਲਾਰਮ (ਵਿਸ਼ੇਸ਼ਤਾ ↓) ਵਧਾਉਂਦੇ ਹੋ। ਇਹ ਇੱਕ ਇੰਜੀਨੀਅਰਿੰਗ ਸੈਟਿੰਗ ਨਹੀਂ ਹੈ, ਪਰ ਇੱਕ ਕਲੀਨਿਕਲ ਫੈਸਲਾ ਹੈ: ਗੁੰਮ ਹੋਣ ਦੀ ਭਾਰੀ ਕੀਮਤ, ਜਾਂ ਇੱਕ ਝੂਠੇ ਅਲਾਰਮ ਦਾ ਬੋਝ? ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਸਕ੍ਰੀਨਿੰਗ ਅਤੇ ਟ੍ਰਾਈਜ ਵਿੱਚ ਤਰਜੀਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ।
ਸਾਵਧਾਨ: "95% ਸ਼ੁੱਧਤਾ" ਵਰਗੇ ਇੱਕ ਨੰਬਰ 'ਤੇ ਕਦੇ ਵੀ ਭਰੋਸਾ ਨਾ ਕਰੋ। ਦੁਰਲੱਭ ਖੋਜਾਂ ਵਿੱਚ, ਸ਼ੁੱਧਤਾ ਗੁੰਮਰਾਹਕੁੰਨ ਹੈ। ਇੱਕ ਮਾਡਲ ਦੀ ਸਹੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਸੰਵੇਦਨਸ਼ੀਲਤਾ, ਵਿਸ਼ੇਸ਼ਤਾ, ਝੂਠੀ ਨਕਾਰਾਤਮਕ ਦਰ, ਅਤੇ ਆਬਾਦੀ ਜਿਸ ਵਿੱਚ ਇਹ ਮਾਪਿਆ ਗਿਆ ਸੀ, ਨੂੰ ਪੁੱਛੇ ਬਿਨਾਂ ਨਹੀਂ ਜਾਣਿਆ ਜਾ ਸਕਦਾ ਹੈ।
ਦੋ ਮਨੁੱਖੀ ਜਾਲ
ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ: ਜਦੋਂ ਲੋਕ ਸਵੈਚਲਿਤ ਸਿਸਟਮ ਦੇ ਆਉਟਪੁੱਟ 'ਤੇ ਜ਼ਿਆਦਾ ਭਰੋਸਾ ਕਰਦੇ ਹਨ ਅਤੇ ਆਪਣੇ ਖੁਦ ਦੇ ਸੁਤੰਤਰ ਨਿਰਣੇ ਨੂੰ ਢਿੱਲ ਦਿੰਦੇ ਹਨ। ਜੇ ਰੇਡੀਓਲੋਜਿਸਟ ਸਤਹੀ ਤੌਰ 'ਤੇ "AI ਨੇ ਕਿਹਾ ਕਿ ਇਹ ਨਕਾਰਾਤਮਕ ਸੀ, ਇਸ ਲਈ ਇਹ ਸਾਫ਼ ਹੈ" ਕਹਿ ਕੇ ਚਿੱਤਰ ਨੂੰ ਛੱਡ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਮਾਡਲ ਦੁਆਰਾ ਖੁੰਝੀ ਖੋਜ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਛੱਡ ਦਿੱਤਾ ਜਾਵੇਗਾ। ਜਦੋਂ ਝੂਠੇ ਨਕਾਰਾਤਮਕ ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ ਦੇ ਨਾਲ ਮਿਲਦੇ ਹਨ, ਤਾਂ ਮਨੁੱਖੀ ਨਿਰੀਖਣ ਦਾ ਰਾਜ਼ੋਨ ਡੀਏਟਰ ਖਤਮ ਹੋ ਜਾਂਦਾ ਹੈ।
ਚੇਤਾਵਨੀ ਥਕਾਵਟ: ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਪੈਦਾ ਕਰਨ ਵਾਲੇ ਮਾਡਲ ਦੇ ਨਤੀਜੇ ਵਜੋਂ, ਰੇਡੀਓਲੋਜਿਸਟ ਫਲੈਗ ਵਿੱਚ ਵਿਸ਼ਵਾਸ ਗੁਆ ਦਿੰਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਸਾਰਿਆਂ ਨੂੰ ਪ੍ਰਤੀਬਿੰਬਤ ਢੰਗ ਨਾਲ ਖਤਮ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ। ਦਸਵੇਂ ਝੂਠੇ ਅਲਾਰਮ ਤੋਂ ਬਾਅਦ ਇੱਕ ਸੱਚੀ ਖੋਜ ਵੀ ਖਤਮ ਹੋ ਸਕਦੀ ਹੈ। ਇਹ ਦੋ ਜਾਲ ਉਲਟ ਦਿਸ਼ਾਵਾਂ ਵਿੱਚ ਹਨ, ਪਰ ਉਹਨਾਂ ਦੇ ਨਤੀਜੇ ਇੱਕੋ ਜਿਹੇ ਹਨ: ਇੱਕ ਅਸਲੀ ਖੋਜ ਗੁਆਚਣਾ.
ਇਹਨਾਂ ਦੋ ਫਾਹਾਂ ਦਾ ਐਂਟੀਡੋਟ ਇੱਕੋ ਹੈ: ਏਆਈ ਆਉਟਪੁੱਟ ਜੋ ਵੀ ਕਹਿੰਦੀ ਹੈ, ਰੇਡੀਓਲੋਜਿਸਟ ਆਪਣੀ ਖੁਦ ਦੀ ਵਿਵਸਥਿਤ ਰੀਡਿੰਗ ਕਰਦਾ ਹੈ। ਭਾਵੇਂ AI ਇਸ 'ਤੇ ਨਿਸ਼ਾਨ ਲਗਾਉਂਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਪੂਰੀ ਤਸਵੀਰ ਨੂੰ ਸਕੈਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। AI ਇੱਕ "ਦੂਜੀ ਅੱਖ" ਹੈ; ਪਹਿਲੀ ਅੱਖ ਹਮੇਸ਼ਾ ਰੇਡੀਓਲੋਜਿਸਟ ਹੁੰਦੀ ਹੈ।
ਤਿੰਨ ਛੋਟੇ ਕੇਸ
ਕੇਸ 1 — ਗਲਤ ਨਕਾਰਾਤਮਕ + ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ। ਇੱਕ ਛਾਤੀ ਦਾ ਰੇਡੀਓਗ੍ਰਾਫ CAD ਉੱਪਰ ਖੱਬੇ ਜ਼ੋਨ ਵਿੱਚ ਇੱਕ ਛੋਟਾ ਨੋਡਿਊਲ (ਗਲਤ ਨਕਾਰਾਤਮਕ) ਖੁੰਝ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਵਿਅਸਤ ਦਿਨ 'ਤੇ, ਰੇਡੀਓਲੋਜਿਸਟ "CAD ਸਪੱਸ਼ਟ ਹੈ" (ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ) ਸੋਚਦੇ ਹੋਏ ਰੇਡੀਓਗ੍ਰਾਫ ਦੁਆਰਾ ਦੌੜਦਾ ਹੈ। ਨੋਡਿਊਲ 8 ਮਹੀਨਿਆਂ ਬਾਅਦ 2 ਸੈਂਟੀਮੀਟਰ ਦੇ ਆਕਾਰ ਦੇ ਪੁੰਜ ਵਜੋਂ ਦੇਖਿਆ ਜਾਂਦਾ ਹੈ। ਦੋ ਗਲਤੀਆਂ ਮਿਲੀਆਂ: ਮਾਡਲ ਖੁੰਝ ਗਿਆ, ਮਨੁੱਖ ਨੇ ਜਾਂਚ ਨਹੀਂ ਕੀਤੀ। ਸਬਕ: ਨਕਾਰਾਤਮਕ CAD ਦੇ ਬਾਵਜੂਦ, ਯੋਜਨਾਬੱਧ ਰੀਡਿੰਗ ਜ਼ਰੂਰੀ ਹੈ।
ਕੇਸ 2 - ਅਲਾਰਮ ਥਕਾਵਟ। ਇੱਕ ਨਯੂਮੋਥੋਰੈਕਸ ਮਾਡਲ ਦੋ ਹਫ਼ਤਿਆਂ ਲਈ ਪ੍ਰਤੀ ਦਿਨ ਔਸਤਨ 8 ਫਲੈਗ ਸੁੱਟਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਸਿਰਫ਼ 1-2 ਅਸਲੀ ਹਨ (ਲਗਭਗ 80% ਝੂਠੇ ਸਕਾਰਾਤਮਕ)। ਰੇਡੀਓਲੋਜਿਸਟ ਫਲੈਗ ਵਿੱਚ ਭਰੋਸਾ ਗੁਆ ਦਿੰਦਾ ਹੈ. ਤੀਜੇ ਹਫ਼ਤੇ ਵਿੱਚ, ਇੱਕ ਸੱਚਾ apical pneumothorax ਫਲੈਗ ਵੀ "ਨਹੀਂ" ਵਜੋਂ ਪ੍ਰਤੀਬਿੰਬਤ ਤੌਰ 'ਤੇ ਪਾਸ ਕੀਤਾ ਜਾਂਦਾ ਹੈ; ਮਰੀਜ਼ ਇੱਕ ਦਿਨ ਬਾਅਦ ਵਿਗੜ ਜਾਂਦਾ ਹੈ। ਸਬਕ: ਉੱਚ ਗਲਤ ਸਕਾਰਾਤਮਕ ਦਰ ਵਾਲੇ ਮਾਡਲਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ, ਥ੍ਰੈਸ਼ਹੋਲਡ/ਮਾਡਲ ਦੀ ਸਮੀਖਿਆ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ, ਅਤੇ ਹਰ ਇੱਕ ਫਲੈਗ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ।
ਕੇਸ 3 - ਸਹੀ ਸੰਤੁਲਨ। ਇੱਕ ਸਟ੍ਰੋਕ ਸੈਂਟਰ ਵਿੱਚ, ਦਿਮਾਗ ਸੀਟੀ ਟ੍ਰਾਈਜ ਮਾਡਲ ਉੱਚ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ; ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਉੱਚ ਹਨ, ਪਰ ਰੇਡੀਓਲੋਜਿਸਟ 60 ਸਕਿੰਟਾਂ ਵਿੱਚ ਹਰੇਕ ਫਲੈਗ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ ਅਤੇ ਮਿੰਟਾਂ ਵਿੱਚ ਅਸਲ ਖੂਨ ਵਹਿਣ ਦਾ ਪਤਾ ਲਗਾ ਲੈਂਦਾ ਹੈ। ਟੀਮ ਹਫਤਾਵਾਰੀ ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਦਰ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦੀ ਹੈ, ਜਦੋਂ ਇਹ 70% ਤੋਂ ਵੱਧ ਜਾਂਦੀ ਹੈ ਤਾਂ ਨਿਰਮਾਤਾ ਦੇ ਨਾਲ ਥ੍ਰੈਸ਼ਹੋਲਡ ਦੀ ਸਮੀਖਿਆ ਕਰਦੀ ਹੈ। ਇੱਥੇ, ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਸੁਚੇਤ ਤੌਰ 'ਤੇ ਪ੍ਰਬੰਧਿਤ ਕੀਤਾ ਗਿਆ ਸੀ; ਨਾ ਤਾਂ ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ ਅਤੇ ਨਾ ਹੀ ਅਲਾਰਮ ਥਕਾਵਟ ਨੇ ਸੈੱਟ ਕੀਤਾ ਹੈ।
ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ / ਮਜ਼ਬੂਤ ਪ੍ਰੋਂਪਟ
ਕਮਜ਼ੋਰ ਪ੍ਰੋਂਪਟ:
ਇਹ ਮਾਡਲ 97% ਸਹੀ ਹੈ, ਕੀ ਇਹ ਭਰੋਸੇਯੋਗ ਹੈ?
ਸਿੰਗਲ ਮੈਟ੍ਰਿਕ ਗੁੰਮਰਾਹਕੁੰਨ ਹੈ; ਆਬਾਦੀ, ਸੰਵੇਦਨਸ਼ੀਲਤਾ, ਵਿਸ਼ੇਸ਼ਤਾ, ਅਤੇ ਝੂਠੇ ਨਕਾਰਾਤਮਕ ਬਾਰੇ ਸਵਾਲ ਪੁੱਛੇ ਬਿਨਾਂ ਜਵਾਬ ਨਹੀਂ ਦਿੱਤਾ ਜਾ ਸਕਦਾ।
ਸ਼ਕਤੀਸ਼ਾਲੀ ਪ੍ਰਾਉਟ:
ਤੁਹਾਡੀ ਭੂਮਿਕਾ: ਇੱਕ AI ਮਾਡਲ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਗੰਭੀਰਤਾ ਨਾਲ ਪੜ੍ਹਨ ਵਿੱਚ ਮੇਰੀ ਮਦਦ ਕਰੋ। ਫੈਸਲਾ ਲੈਣਾ; ਦੱਸੋ ਕਿ ਮੈਨੂੰ ਕਿਹੜੇ ਸਵਾਲ ਪੁੱਛਣੇ ਚਾਹੀਦੇ ਹਨ ਅਤੇ ਜਵਾਬਾਂ ਦਾ ਕੀ ਮਤਲਬ ਹੈ। ਮੈਂ ਤੁਹਾਨੂੰ ਇੱਕ ਮਾਡਲ ਦੇ ਦਾਅਵੇ ਦੇਵਾਂਗਾ। ਵਿਚਾਰ ਕਰੋ: (1) ਕਿਹੜੇ ਮਾਪਦੰਡ ਦਿੱਤੇ ਗਏ ਹਨ ਅਤੇ ਜੋ ਗੁੰਮ ਹਨ (ਸੰਵੇਦਨਸ਼ੀਲਤਾ, ਵਿਸ਼ੇਸ਼ਤਾ, ਝੂਠੀ ਨਕਾਰਾਤਮਕ ਦਰ, ਆਬਾਦੀ, ਉਪਕਰਣ), (2) ਕੀ "ਸ਼ੁੱਧਤਾ" ਇਕੱਲੇ ਗੁੰਮਰਾਹਕੁੰਨ ਹੈ, (3) ਕੀ ਇਸ ਮਾਡਲ ਨੂੰ ਟ੍ਰਾਈਜ/ਸਕ੍ਰੀਨਿੰਗ ਜਾਂ ਨਿਦਾਨ ਲਈ ਵਰਤਣਾ ਉਚਿਤ ਹੈ। ਅੰਤਿਮ ਫੈਸਲਾ ਰੇਡੀਓਲੋਜਿਸਟ/ਸੰਸਥਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। ਦਾਅਵਾ: "97% ਸ਼ੁੱਧਤਾ ਦੇ ਨਾਲ 1200 ਮਰੀਜ਼ਾਂ ਵਿੱਚ ਮਾਡਲ ਦੀ ਜਾਂਚ ਕੀਤੀ ਗਈ।"
ਮਜ਼ਬੂਤ ਮੰਗ ਗੁੰਮ ਮੈਟ੍ਰਿਕਸ 'ਤੇ ਸਵਾਲ ਉਠਾਉਂਦੀ ਹੈ ਅਤੇ ਸਿੰਗਲ ਨੰਬਰਾਂ 'ਤੇ ਨਿਰਭਰਤਾ ਨੂੰ ਤੋੜਦੀ ਹੈ।
ਕਾਪੀ ਕਰਨ ਯੋਗ ਪ੍ਰੋਂਪਟ ਟੈਂਪਲੇਟਸ
ਮੈਟ੍ਰਿਕ ਕ੍ਰਿਟੀਕਲ ਰੀਡਿੰਗ ਟੈਂਪਲੇਟ ਤੁਹਾਡੀ ਭੂਮਿਕਾ: ਮਦਦ। ਮੈਂ ਤੁਹਾਨੂੰ ਇੱਕ ਮਾਡਲ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਦਾਅਵਾ ਦਿਆਂਗਾ। ਗੁੰਮ ਮੈਟ੍ਰਿਕਸ (ਸੰਵੇਦਨਸ਼ੀਲਤਾ, ਵਿਸ਼ੇਸ਼ਤਾ, ਗਲਤ ਨਕਾਰਾਤਮਕ ਦਰ, ਟੈਸਟ ਆਬਾਦੀ, ਡਿਵਾਈਸ/ਪ੍ਰੋਟੋਕੋਲ) ਅਤੇ ਜਿੱਥੇ ਇੱਕ ਸਿੰਗਲ ਨੰਬਰ (ਸ਼ੁੱਧਤਾ) ਗੁੰਮਰਾਹਕੁੰਨ ਹੋ ਸਕਦਾ ਹੈ ਉਹਨਾਂ ਦੀ ਸੂਚੀ ਬਣਾਓ। ਚਰਚਾ ਕਰੋ ਕਿ ਕਿਸ ਕੰਮ ਲਈ (ਟ੍ਰਾਈਜ/ਸਕ੍ਰੀਨਿੰਗ/ਡਾਇਗਨੌਸਟਿਕ-ਸਹਾਇਤਾ) ਮਾਡਲ ਵਰਤਣ ਲਈ ਉਚਿਤ ਹੈ। ਫੈਸਲਾ ਸੰਸਥਾ ਵਿਚ ਹੈ। ਦਾਅਵਾ: [ਲਿਖੋ]
ਥ੍ਰੈਸ਼ਹੋਲਡ ਬੈਲੇਂਸ ਵੇਰਵਾ ਟੈਂਪਲੇਟI ਤੁਹਾਨੂੰ ਇੱਕ ਮਾਡਲ ਦੀ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਵਧਾਉਣ/ਘੱਟ ਕਰਨ ਦਾ ਇੱਕ ਦ੍ਰਿਸ਼ ਦੇਵੇਗਾ। ਸੰਵੇਦਨਸ਼ੀਲਤਾ, ਵਿਸ਼ੇਸ਼ਤਾ, ਗਲਤ ਨਕਾਰਾਤਮਕ, ਅਤੇ ਝੂਠੇ ਸਕਾਰਾਤਮਕ 'ਤੇ ਹਰੇਕ ਦ੍ਰਿਸ਼ ਦੇ ਪ੍ਰਭਾਵ ਦਾ ਵਰਣਨ ਕਰੋ ਅਤੇ ਇਸਦੇ ਕਲੀਨਿਕਲ ਨਤੀਜੇ (ਮਿਸ ਬਨਾਮ ਬੇਲੋੜੀ ਯਾਦ) ਲਿਖੋ। ਫੈਸਲਾ ਕਲੀਨਿਕਲ/ਸੰਸਥਾਗਤ ਹੈ। ਸਕ੍ਰਿਪਟ: [ਲਿਖੋ]
ਸਵੈ-ਆਡਿਟ ਟੈਮਪਲੇਟ ਮੈਨੂੰ ਇੱਕ ਚੈਕਲਿਸਟ ਤਿਆਰ ਕਰੋ ਜੋ ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ ਤੋਂ ਮੇਰੇ ਪੜ੍ਹਨ ਦੇ ਅਨੁਸ਼ਾਸਨ ਦੀ ਰੱਖਿਆ ਕਰੇਗੀ: ਨਕਾਰਾਤਮਕ AI ਆਉਟਪੁੱਟ ਦੇ ਨਾਲ ਵੀ ਮੈਨੂੰ ਕਿਹੜੇ ਕਦਮ ਚੁੱਕਣੇ ਚਾਹੀਦੇ ਹਨ, ਯੋਜਨਾਬੱਧ ਸਕੈਨਿੰਗ ਨੂੰ ਕਿਵੇਂ ਬਣਾਈ ਰੱਖਣਾ ਹੈ, AI ਨੂੰ "ਡਿਲੀਵਰੀ ਟੂਲ" ਦੀ ਬਜਾਏ ਇੱਕ "ਸਹਾਇਕ" ਵਜੋਂ ਕਿਵੇਂ ਰੱਖਣਾ ਹੈ।
ਚੇਤਾਵਨੀ ਥਕਾਵਟ ਨਿਗਰਾਨੀ ਨਮੂਨਾ ਤੁਹਾਨੂੰ ਹਫਤਾਵਾਰੀ ਫਲੈਗ ਗਿਣਤੀ ਅਤੇ ਅਸਲ ਸਕਾਰਾਤਮਕ ਸੰਖਿਆਵਾਂ ਦੇਵੇਗਾ। ਗਲਤ ਸਕਾਰਾਤਮਕ ਦਰ ਦੀ ਗਣਨਾ ਕਰੋ, ਚੇਤਾਵਨੀ ਥਕਾਵਟ ਦੇ ਜੋਖਮ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ, ਅਤੇ ਸੁਝਾਅ ਦਿਓ ਕਿ ਥ੍ਰੈਸ਼ਹੋਲਡ/ਮਾਡਲ ਨੂੰ ਸੋਧਣ ਲਈ ਮੈਨੂੰ ਕਿਸ ਥ੍ਰੈਸ਼ਹੋਲਡ 'ਤੇ ਕਾਰਵਾਈ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ। ਮੈਨੂੰ ਸਿਧਾਂਤ ਦੀ ਯਾਦ ਦਿਵਾਓ ਕਿ ਹਰ ਝੰਡੇ ਦੀ ਪੁਸ਼ਟੀ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ. ਡੇਟਾ: [ਲਿਖੋ]
ਆਮ ਗਲਤੀਆਂ
- ਸਿੰਗਲ "ਸੱਚ" ਨੰਬਰ 'ਤੇ ਭਰੋਸਾ ਕਰਨਾ. ਦੁਰਲੱਭ ਖੋਜ ਵੀ ਗੁੰਮਰਾਹਕੁੰਨ ਹੈ; ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਇਕੱਠੇ ਪੁੱਛਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ.
- ਇੱਕ ਡਾਇਗਨੌਸਟਿਕ ਗਾਰੰਟੀ ਦੇ ਤੌਰ ਤੇ ਨਕਾਰਾਤਮਕ AI ਆਉਟਪੁੱਟ ਦਾ ਇਲਾਜ ਕਰਨਾ। ਮਾਡਲ ਸ਼ਾਇਦ ਇਸ ਤੋਂ ਖੁੰਝ ਗਿਆ ਹੋਵੇ; ਯੋਜਨਾਬੱਧ ਪੜ੍ਹਨਾ ਲਾਜ਼ਮੀ ਹੈ।
- ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ ਵਿੱਚ ਡਿੱਗਣਾ। AI 'ਤੇ ਜ਼ਿਆਦਾ ਨਿਰਭਰਤਾ ਸੁਤੰਤਰ ਨਿਰਣੇ ਨੂੰ ਕਮਜ਼ੋਰ ਕਰਦੀ ਹੈ।
- ਅਲਾਰਮ ਥਕਾਵਟ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨਾ. ਉੱਚ ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਦੀ ਨਿਗਰਾਨੀ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ; ਹਰੇਕ ਝੰਡੇ ਦੀ ਅਜੇ ਵੀ ਪੁਸ਼ਟੀ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ।
- ਇੱਕ "ਤਕਨੀਕੀ ਸੈਟਿੰਗ" ਲਈ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਗਲਤ ਕਰਨਾ. ਥ੍ਰੈਸ਼ਹੋਲਡ ਇੱਕ ਕਲੀਨਿਕਲ ਸੰਤੁਲਨ ਹੈ; ਰੇਡੀਓਲੋਜਿਸਟ/ਸੰਸਥਾ ਮਿਸਜ਼ ਅਤੇ ਝੂਠੇ ਅਲਾਰਮ ਦੀ ਕੀਮਤ ਦਾ ਤੋਲ ਕਰਦੀ ਹੈ।
ਸੁਝਾਅ: ਆਪਣੇ ਲਈ ਇੱਕ ਨਿਯਮ ਬਣਾਓ: "ਕੋਈ ਗੱਲ ਨਹੀਂ ਕਿ AI ਕੀ ਕਹਿੰਦਾ ਹੈ, ਮੈਂ ਪੂਰੀ ਚਿੱਤਰ ਨੂੰ ਪੜ੍ਹਦਾ ਹਾਂ." ਇਹ ਸਿੰਗਲ ਨਿਯਮ ਇੱਕੋ ਸਮੇਂ ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ (ਨਕਾਰਾਤਮਕ 'ਤੇ ਆਰਾਮ ਨਾ ਕਰਨਾ) ਅਤੇ ਅਲਾਰਮ ਥਕਾਵਟ (ਸਕਾਰਾਤਮਕ ਨੂੰ ਪ੍ਰਤੀਬਿੰਬਤ ਤੌਰ 'ਤੇ ਖਤਮ ਨਾ ਕਰਨਾ) ਦੋਵਾਂ ਨੂੰ ਰੋਕਦਾ ਹੈ।
ਸਾਰੰਸ਼ ਵਿੱਚ
ਇੱਕ ਰੇਡੀਓਲੋਜੀ ਮਾਡਲ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਇੱਕ ਇੱਕਲੇ "ਸ਼ੁੱਧਤਾ" ਨੰਬਰ ਨੂੰ ਵੇਖਣ ਬਾਰੇ ਨਹੀਂ ਹੈ। ਸੰਵੇਦਨਸ਼ੀਲਤਾ (ਕੋਈ ਮਿਸ ਨਹੀਂ), ਵਿਸ਼ੇਸ਼ਤਾ (ਕੋਈ ਗਲਤ ਅਲਾਰਮ ਨਹੀਂ), ਝੂਠੀ ਨਕਾਰਾਤਮਕ ਦਰ, ਅਤੇ ਟੈਸਟ ਆਬਾਦੀ ਨੂੰ ਇਕੱਠੇ ਪੜ੍ਹਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ; ਥ੍ਰੈਸ਼ਹੋਲਡ ਦੀ ਚੋਣ ਇੱਕ ਕਲੀਨਿਕਲ ਸੰਤੁਲਨ ਹੈ. ਦੋ ਮਨੁੱਖੀ ਜਾਲਾਂ - AI (ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ) ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ ਵਿਸ਼ਵਾਸ ਅਤੇ ਝੂਠੇ ਅਲਾਰਮ ਦੀ ਆਦਤ ਪਾਉਣਾ ਅਤੇ ਫਲੈਗ (ਅਲਾਰਮ ਥਕਾਵਟ) ਨੂੰ ਖਤਮ ਕਰਨਾ - ਉਲਟ ਦਿਸ਼ਾਵਾਂ ਵਿੱਚ ਜਾਂਦੇ ਹਨ ਪਰ ਉਸੇ ਨਤੀਜੇ ਦੇ ਨਾਲ ਖਤਮ ਹੁੰਦੇ ਹਨ, ਇੱਕ ਅਸਲੀ ਖੋਜ ਗੁਆਚਦੇ ਹਨ। ਇੱਥੇ ਸਿਰਫ ਇੱਕ ਹੀ ਐਂਟੀਡੋਟ ਹੈ: ਕੋਈ ਫਰਕ ਨਹੀਂ ਪੈਂਦਾ ਕਿ ਏਆਈ ਕੀ ਕਹਿੰਦਾ ਹੈ, ਰੇਡੀਓਲੋਜਿਸਟ ਆਪਣੀ ਖੁਦ ਦੀ ਵਿਵਸਥਿਤ ਰੀਡਿੰਗ ਬਣਾਉਂਦਾ ਹੈ। ਨਕਾਰਾਤਮਕ AI ਇੱਕ ਗਾਰੰਟੀ ਨਹੀਂ ਹੈ, ਪਰ ਵੱਧ ਤੋਂ ਵੱਧ ਇੱਕ ਸਹਾਇਕ ਸਿਗਨਲ ਹੈ; ਅਣ-ਨਿਸ਼ਾਨਿਤ ਖੇਤਰ ਨੂੰ ਵੀ ਪੜ੍ਹਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।
ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਕੰਮ
ਤੁਹਾਡੇ ਕੋਲ ਮੌਜੂਦ ਮਾਡਲ (ਜਾਂ ਇੱਕ ਨਮੂਨਾ) ਦਾ ਪ੍ਰਚਾਰ ਪਾਠ ਲਓ। "ਮੈਟ੍ਰਿਕਸ ਕ੍ਰਿਟੀਕਲ ਰੀਡਿੰਗ" ਟੈਮਪਲੇਟ ਦੇ ਨਾਲ, ਮੁਲਾਂਕਣ ਕਰੋ ਕਿ ਕਿਹੜੇ ਮੈਟ੍ਰਿਕਸ ਪ੍ਰਦਾਨ ਕੀਤੇ ਗਏ ਹਨ, ਜੋ ਗੁੰਮ ਹਨ, ਅਤੇ ਕਿਸ ਕੰਮ ਲਈ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਉਚਿਤ ਹੈ। ਫਿਰ ਇਹ ਪਤਾ ਲਗਾਉਣ ਲਈ ਇੱਕ ਸਧਾਰਨ ਚਾਰਟ ਤਿਆਰ ਕਰੋ ਕਿ ਇੱਕ ਹਫ਼ਤੇ ਦੇ ਦੌਰਾਨ ਇੱਕ ਟ੍ਰਾਈਏਜ ਫਲੈਗ ਕਿੰਨੀ ਵਾਰ ਸੱਚ ਹੁੰਦਾ ਹੈ; ਲਿਖੋ ਕਿ ਜੇਕਰ ਗਲਤ ਸਕਾਰਾਤਮਕ ਦਰ ਤੁਹਾਡੇ ਦੁਆਰਾ ਨਿਰਧਾਰਤ ਕੀਤੀ ਥ੍ਰੈਸ਼ਹੋਲਡ ਤੋਂ ਵੱਧ ਜਾਂਦੀ ਹੈ ਤਾਂ ਤੁਸੀਂ ਕੀ ਕਾਰਵਾਈ ਕਰੋਗੇ (ਉਦਾਹਰਨ ਲਈ, 70%)। ਅੰਤ ਵਿੱਚ, "ਆਟੋਮੇਸ਼ਨ ਬਿਆਸ ਸਵੈ-ਆਡਿਟ" ਸੂਚੀ ਨੂੰ ਆਪਣੀ ਖੁਦ ਦੀ ਰੀਡਿੰਗ ਰੁਟੀਨ ਵਿੱਚ ਅਨੁਕੂਲਿਤ ਕਰੋ।
ਚੈੱਕਲਿਸਟ
- [ ] ਮੈਂ ਇੱਕਲੇ "ਸ਼ੁੱਧਤਾ" ਨੰਬਰ 'ਤੇ ਭਰੋਸਾ ਨਹੀਂ ਕੀਤਾ; ਮੈਂ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਬਾਰੇ ਪੁੱਛਿਆ।
- [ ] ਮੈਂ ਝੂਠੀ ਨਕਾਰਾਤਮਕ ਦਰ ਅਤੇ ਟੈਸਟ ਆਬਾਦੀ ਬਾਰੇ ਸਿੱਖਿਆ ਹੈ।
- [ ] ਨਕਾਰਾਤਮਕ AI ਆਉਟਪੁੱਟ ਦੇ ਬਾਵਜੂਦ, ਮੈਂ ਆਪਣੀ ਵਿਵਸਥਿਤ ਰੀਡਿੰਗ ਕੀਤੀ।
- [ ] ਮੈਨੂੰ AI (ਬਨਾਮ ਆਟੋਮੇਸ਼ਨ ਪੱਖਪਾਤ) ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ ਭਰੋਸਾ ਨਹੀਂ ਸੀ।
- [ ] ਮੈਂ ਝੂਠੇ ਸਕਾਰਾਤਮਕ ਲਈ ਦੇਖਿਆ; ਮੈਂ ਹਰ ਝੰਡੇ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ (ਚੇਤਾਵਨੀ ਥਕਾਵਟ ਦੇ ਵਿਰੁੱਧ).
- [ ] ਮੈਂ ਧਿਆਨ ਵਿੱਚ ਰੱਖਿਆ ਕਿ ਥ੍ਰੈਸ਼ਹੋਲਡ ਦੀ ਚੋਣ ਇੱਕ ਕਲੀਨਿਕਲ ਸੰਤੁਲਨ ਹੈ।
- [ ] ਮੈਂ "ਮੈਂ ਪੂਰੀ ਤਸਵੀਰ ਨੂੰ ਪੜ੍ਹਦਾ ਹਾਂ ਭਾਵੇਂ AI ਕੀ ਕਹਿੰਦਾ ਹੈ" ਦੇ ਨਿਯਮ ਦੀ ਪਾਲਣਾ ਕੀਤੀ।