આભાસ, વિશ્વસનીયતા અને પુરાવા-આધારિત માન્યતા

નફો:

• તબીબી AI આઉટપુટમાં આભાસના પ્રકારો (બનાવટી સ્ત્રોત, ખોટી માત્રા, કાલ્પનિક અભ્યાસ) ઓળખવાની ક્ષમતા
• દરેક ક્લિનિકલ દાવાને વર્તમાન માર્ગદર્શન અને બહુ-સ્તરીય ચકાસણી સાથે પ્રાથમિક સ્ત્રોત સાથે લિંક કરવાની ક્ષમતા
• મૉડલની અનિશ્ચિતતાનું સંચાલન કરવાની ક્ષમતા, કે આત્મવિશ્વાસનું નિવેદન સચ્ચાઈનો પુરાવો નથી અને ભૂલનું જોખમ જે ચોક્કસ લાગે છે

દવામાં કૃત્રિમ બુદ્ધિમત્તા (AI) નો સૌથી મોટો ખતરો એ નથી કે તે ભૂલો કરે છે, પરંતુ તે ખૂબ આત્મવિશ્વાસ સાથે ભૂલો કરે છે. ભાષાના નમૂનાઓ લખાણ ઉત્પન્ન કરે છે જે અસ્ખલિત અને સમજાવે છે; વાક્ય સાચા હોય કે ખોટા હોય તે જ આત્મવિશ્વાસપૂર્ણ સ્વર લાગે છે. આને "આભાસ" કહેવામાં આવે છે: જ્યારે મોડેલ એવી માહિતી ઉત્પન્ન કરે છે જે વાસ્તવમાં અસ્તિત્વમાં નથી (બનાવટાયેલ સ્રોત, ખોટી માત્રા, કાલ્પનિક અભ્યાસ, અવિદ્યમાન માર્ગદર્શિકા સામગ્રી) જાણે કે તે વાસ્તવિક હોય. અન્ય વિસ્તારોમાં, આભાસ એક વિકાર છે; તે દવામાં સલામતીનો મુદ્દો છે. આ એકમમાં તમે આભાસના પ્રકારો, મલ્ટિ-લેયર વેલિડેશન અને મોડલની અનિશ્ચિતતાને મેનેજ કરવાનું શીખી શકશો. મૂળભૂત સિદ્ધાંત: આત્મવિશ્વાસનું નિવેદન સત્યનો પુરાવો નથી; પ્રાથમિક સ્ત્રોત અને વર્તમાન માર્ગદર્શન સાથે લિંક કર્યા વિના દરેક ક્લિનિકલ દાવાનો ઉપયોગ કરી શકાતો નથી.

આભાસનું કારણ શું છે?

AI એ એવી સિસ્ટમ છે જે "આગામી સંભવિત શબ્દ" ની આગાહી કરે છે; તે વાસ્તવિકતા ડેટાબેઝમાંથી વાંચતું નથી. જો તે કોઈ પ્રશ્નનો જવાબ જાણતો ન હોય તો પણ, તે એક બુદ્ધિગમ્ય જવાબ આપે છે જે તે પાઠો સાથે "સમાન" છે જેના પર તેને તાલીમ આપવામાં આવી છે. તેથી જ તે સંપૂર્ણ રીતે રચાયેલ અવતરણ સાથે અવિદ્યમાન લેખ, સ્પષ્ટ સંખ્યા સાથે ખોટી માત્રા, ચોક્કસ ભાષા સાથે જૂની ભલામણ આપી શકે છે. મોડેલ "મને ખબર નથી" કહેવાને બદલે ખાલી જગ્યા ભરવાનું વલણ ધરાવે છે. વધુમાં, તાલીમ ડેટા તારીખે સ્થિર થાય છે; તે/તેણીને ત્યારથી બદલાયેલી માર્ગદર્શિકા વિશે કદાચ જાણ ન હોય.

સંકેત: AI ને પૂછો "શું તમને ખાતરી છે?" પૂછવું એ વિશ્વસનીય પરીક્ષણ નથી; મોડેલ સરળતાથી કહી શકે છે "હા, મને ખાતરી છે" અથવા, તેનાથી વિપરીત, સાચા જવાબથી પ્રભાવિત થઈ શકે છે. વાસ્તવિક કસોટી સ્વતંત્ર પ્રાથમિક સ્ત્રોતમાં દાવો શોધવાની છે.

તબીબી આભાસના પ્રકારો

શૈલી

ઉદાહરણ

જોખમ

બનાવેલ સ્ત્રોત

અવિદ્યમાન લેખ/DOI

પુરાવાઓની ખોટી સાંકળ

ખોટો ડોઝ/યુનિટ

ખોટો એમજી અથવા એકમ

દર્દીને સીધું નુકસાન

કાલ્પનિક કાર્ય/પરિણામ

બિન-RCT "પુરાવા"

ખોટો ક્લિનિકલ નિર્ણય

જૂની ભલામણ

જૂનો માર્ગદર્શિકા લેખ

જૂની સારવાર

ખોટી વહેંચણી

વાસ્તવિક લેખ, ખોટો નિષ્કર્ષ

વિકૃત માહિતી

અતિ સામાન્યીકરણ

અપવાદ છોડો

ખોટો ઉપયોગ

મલ્ટી-લેયર પ્રમાણીકરણ

આભાસ સામે એકમાત્ર સંરક્ષણ પદ્ધતિસરની ચકાસણી છે. પાંચ સ્તરો:

1. સ્ત્રોત પર નીચે જાઓ. વર્તમાન માર્ગદર્શિકા, પેકેજ દાખલ અથવા પ્રાથમિક લેખમાંથી દરેક ડોઝ, માપદંડ અને ભલામણને ખોલો અને પુષ્ટિ કરો.
2. ક્રોસ ચેક. શું બે સ્વતંત્ર વિશ્વસનીય સ્ત્રોતો એક જ વાત કહે છે?
3. પ્રસંગોચિતતા. માહિતી કઈ તારીખની છે? શું તે ત્યારથી બદલાઈ ગયું છે?
4. ક્લિનિકલ સુસંગતતા. શું દાવો દર્દીની વાસ્તવિકતા અને સામાન્ય ક્લિનિકલ તર્ક સાથે બંધબેસે છે?
5. નિષ્ણાત આંખ. કોઈપણ શંકા કે નિર્ણાયક તબક્કે સંબંધિત શાખાનો સંપર્ક કરો.

ત્રણ નાના કેસો

કેસ 1 - ખોટી માત્રા જે સલામત લાગે છે. એક ચિકિત્સક એઆઈને ભાગ્યે જ વપરાતી દવાના ડોઝ વિશે પૂછે છે. AI એકદમ સ્પષ્ટ નંબર આપે છે. ચિકિત્સક પ્રોસ્પેક્ટસ જુએ છે; વાસ્તવિક માત્રા એ એઆઈ કહે છે તેના ત્રીજા ભાગની છે. એઆઈનો ચોક્કસ સ્વર ચોકસાઈ દર્શાવતો ન હતો; પુષ્ટિએ જીવલેણ ભૂલ અટકાવી.

કેસ 2 - ફેન્ટમ વર્ક. AI સારવારને ટેકો આપવા માટે "2020 માં પ્રકાશિત 1,200-દર્દી મલ્ટિસેન્ટર RCT" ટાંકે છે. ચિકિત્સક આ અભ્યાસ માટે જોઈ રહ્યા છે; એવો કોઈ અભ્યાસ નથી. AI એ તેના દાવાને વિશ્વસનીય બનાવવા માટે સંખ્યાઓ અને વિગતો બનાવી હતી.

કેસ 3 - જૂની ભલામણ. AI જૂની દવાની ભલામણ કરે છે જે હવે કોઈ રોગની સારવારમાં પહેલા ભલામણ કરવામાં આવતી નથી. ચિકિત્સક વર્તમાન માર્ગદર્શિકાને જુએ છે; અભિગમ બદલાયો છે, એક નવો એજન્ટ પ્રથમ આવ્યો છે. અગાઉના યુગમાં એઆઈનું જ્ઞાન સ્થિર હતું; વર્તમાન માર્ગદર્શન નિર્ણયને સુધારે છે.

સ્ટેપ બાય સ્ટેપ: દાવાની ચકાસણી

1. દાવાને એક વાક્ય સુધી ઘટાડો. જેમ કે "Y ડોઝમાં X દવાની ભલામણ કરવામાં આવે છે."
2. સંસાધન પ્રકાર નક્કી કરો. માત્રા, માપદંડ અથવા પુરાવા?
3. પ્રાથમિક સ્ત્રોત ખોલો. પ્રોસ્પેક્ટસ, મેન્યુઅલ, પબમેડ.
4. બે સ્ત્રોતો સાથે ક્રોસ ચેક.
5. અપ ટુ ડેટ ચકાસો.
6. જો તે ફિટ ન હોય, તો તેને નકારી કાઢો; જો શંકા હોય, તો નિષ્ણાતની સલાહ લો.

ચાર નકલ કરી શકાય તેવા નમૂનાઓ

કાર્ય: દરેક ચકાસી શકાય તેવા દાવા (ડોઝ, ડાયગ્નોસ્ટિક માપદંડ, સ્ત્રોત, સંખ્યાત્મક પરિણામ, માર્ગદર્શિકા ભલામણ) અલગ લીટીઓ પર નીચે AI આઉટપુટમાં સૂચિબદ્ધ કરો. દરેક માટે "જેમાંથી પ્રાથમિક સ્ત્રોતની પુષ્ટિ થવી જોઈએ" કૉલમ ઉમેરો. સ્વ-ચકાસણી; માત્ર ચકાસવાના પોઈન્ટનું આઉટપુટ કરો. આઉટપુટ: [...]

કાર્ય: નીચે આપેલા દાવા સાચા હોવા માટે કઈ શરતો પૂરી કરવી જોઈએ અને કયા સંજોગોમાં તે ખોટો હોઈ શકે છે તેની સૂચિ બનાવો. જેથી હું જોઈ શકું કે મારે ક્યાં પુષ્ટિ કરવાની જરૂર છે. દાવો: [...]

કાર્ય: નીચેના લખાણમાં, સ્રોત ટાંક્યા વિના બનાવેલ સંખ્યાત્મક અથવા સંપૂર્ણ નિવેદનોને ચિહ્નિત કરો (દા.ત. "80% અસરકારક", "500 મિલિગ્રામ પ્રતિ દિવસ"). દરેકને "અનસોર્સ્ડ - કન્ફર્મેશન જરૂરી" સાથે લેબલ કરો. ટેક્સ્ટ: [...]

કાર્ય: આ ક્લિનિકલ ભલામણના વર્તમાન જોખમનું મૂલ્યાંકન કરવા માટે મને કહો: તે કયા માર્ગદર્શિકા પર આધારિત હોઈ શકે છે, તે છેલ્લે ક્યારે અપડેટ કરવામાં આવી હતી, શું તાજેતરના વર્ષોમાં આ ક્ષેત્રમાં ફેરફારોની કોઈ શક્યતા છે? માર્ગદર્શિકા ટેક્સ્ટ બનાવશો નહીં; નિયંત્રણ પ્રશ્નો પેદા કરો. સૂચન: [...]

નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ

નબળા: "શું આ સાચું છે?" (AI સરળતાથી "હા" કહે છે.)

સશક્ત: "નીચેની AI પ્રિન્ટઆઉટમાં દરેક ડોઝ, સ્ત્રોત અને માર્ગદર્શિકા ભલામણોને અલગ લાઇન પર સૂચિબદ્ધ કરો અને લખો કે કયા પ્રાથમિક સ્ત્રોતમાંથી (પેકેજ દાખલ/માર્ગદર્શિકા/પબમેડ) મારે દરેક માટે પુષ્ટિ કરવી જોઈએ. અનસોર્સ્ડ અથવા નિશ્ચિત દેખાતા નિવેદનોને 'ચકાસણી જરૂરી' તરીકે ચિહ્નિત કરો. તમારી જાતને ચકાસો; ફક્ત એક ચેકલિસ્ટ બનાવો."

શક્તિશાળી પ્રોમ્પ્ટમાં, તમે AI ને એવી ભૂમિકામાં મૂકો છો જે "માન્યતા" કરતું નથી પરંતુ તેના બદલે "તેના પોતાના આઉટપુટને ઓડિટેબલ બનાવે છે."

સામાન્ય ભૂલો

• ચોકસાઈ માટે આત્મવિશ્વાસપૂર્ણ સ્વર ભૂલવું. વિશ્વાસનું નિવેદન એ પુરાવા નથી.
• "શું તમને ખાતરી છે?" સાથે પરીક્ષણ. મોડેલ બંને દિશામાં સરળતાથી સ્લાઇડ કરે છે.
• એક જ સ્ત્રોતથી સંતુષ્ટ થવું. ક્રોસ-ચેકિંગ આવશ્યક છે.
• અપડેટને અવગણી રહ્યાં છીએ. મોડલ માહિતી તારીખે સ્થિર છે.
• નિર્ણાયક તબક્કે નિષ્ણાતની સલાહ ન લેવી. શંકાસ્પદ નિર્ણયોમાં બીજો અભિપ્રાય લેવો જોઈએ.

ઓટોમેશન પૂર્વગ્રહ: વ્યક્તિની પોતાની જાળ

આભાસ એ મોડેલની ભૂલ છે; પરંતુ માનવીય ભૂલ પણ છે: ઓટોમેશન પૂર્વગ્રહ. જ્યારે મશીન જવાબ આપે છે ત્યારે પ્રશ્ન કર્યા વિના જવાબને સાચો માનવાની માનવીય વૃત્તિ છે. કેલ્ક્યુલેટર ભરોસાપાત્ર હોવાને કારણે આપણે તેનાથી ટેવાઈ જઈએ છીએ; અમે અજાણતા જ ભાષાના નમૂનામાં સમાન વિશ્વાસ મૂકીએ છીએ. જો કે, ભાષાનું મોડેલ કેલ્ક્યુલેટરની જેમ ચોક્કસ નથી; સંભવિત અને અયોગ્ય છે.

થાકેલા, સમયના દબાણ હેઠળ અને નિયમિત કાર્યોમાં ઓટોમેશન પૂર્વગ્રહ ખાસ કરીને ખતરનાક છે. જપ્તીના અંતે, સરળ અને સરળ લાગતા AI આઉટપુટને કાઢી નાખવું સરળ છે કારણ કે "તે કોઈપણ રીતે સાચું છે." મારણ એ ચકાસણીને આદત અને સિસ્ટમ બનાવવાનું છે: તેને લેખિત ચેક-ઇન સ્ટેપ સાથે જોડવું, કોઈના તાત્કાલિક ધ્યાન પર નહીં. "હું થાકી ગયો છું, પરંતુ ચેકલિસ્ટ એ જ કહે છે" એ ઓટોમેશન પૂર્વગ્રહ સામે શ્રેષ્ઠ સંરક્ષણ છે.

સાવધાન: સૌથી મોટું જોખમ એ નથી કે AI ભૂલો કરશે; તેનો અર્થ એ છે કે જ્યારે તમે થાકી જાઓ છો ત્યારે તમે તે ભૂલને પ્રશ્ન કર્યા વિના સ્વીકારો છો. લિખિત સિસ્ટમ સાથે ચકાસણી લિંક કરો, વ્યક્તિગત વિચારણા માટે નહીં.

સારાંશમાં

આભાસ એ દવામાં AI નું સૌથી ગંભીર જોખમ છે: મોડેલ સમાન આત્મવિશ્વાસના સ્વરમાં જૂઠાણું અને સત્ય ઉત્પન્ન કરે છે. બનાવટી સ્ત્રોત, ખોટો ડોઝ, કાલ્પનિક અભ્યાસ અને જૂની ભલામણો સૌથી સામાન્ય પ્રકારો છે. એકમાત્ર સંરક્ષણ બહુ-સ્તરીય ચકાસણી છે: પ્રાથમિક સ્ત્રોત અને વર્તમાન માર્ગદર્શન સામે દરેક દાવાની ચકાસણી કરો, ચલણ માટે ક્રોસ-ચેકિંગ અને પરીક્ષણ કરો; નિર્ણાયક મુદ્દાઓ પર નિષ્ણાતની સલાહ લો. વિશ્વાસના નિવેદનને ક્યારેય સત્યના પુરાવા તરીકે ન લો.

એપ્લિકેશન કાર્ય

AI ને ઇરાદાપૂર્વક પડકારજનક ક્લિનિકલ પ્રશ્ન પૂછો (એક દુર્લભ માત્રા અથવા વર્તમાન સારવાર). દરેક ડોઝ, સ્ત્રોત અને ભલામણ તેમણે પ્રાથમિક સ્ત્રોત સાથે ચકાસો. કેટલા દાવા સાચા નીકળ્યા અને કેટલા ખોટા કે બનાવટી હતા? ભૂલો કયા પ્રકારના આભાસમાં આવે છે તે કોષ્ટકને મેચ કરો અને નોંધ કરો કે આત્મવિશ્વાસનો સ્વર તમને કેવી રીતે ગેરમાર્ગે દોરી શકે છે.

ચેકલિસ્ટ

• [ ] મેં દરેક દાવાને એક વાક્યમાં ઘટાડી દીધો છે.
• [ ] મેં પ્રાથમિક સ્ત્રોતમાંથી ડોઝ/માપદંડ/સ્ત્રોત/ ભલામણની પુષ્ટિ કરી છે.
• [ ] મેં બે સ્વતંત્ર સ્ત્રોતો સાથે ક્રોસ-ચેક કર્યું.
• [ ] મેં ચકાસણી કરી છે કે માહિતી અપ ટુ ડેટ છે.
• [ ] મેં ક્લિનિકલ સુસંગતતા સાથે દાવાની ચકાસણી કરી.
• [ ] મેં શંકાસ્પદ/ નિર્ણાયક મુદ્દા પર નિષ્ણાતની સલાહ લીધી.
• [ ] મેં આત્મવિશ્વાસના સ્વરને ચોકસાઈના પુરાવા તરીકે ગણ્યા ન હતા.