লাভ:
- কৃত্রিম বুদ্ধিমত্তা সহ বৈদ্যুতিন স্বাস্থ্য রেকর্ড (EHR) ডেটা পরিষ্কার, কোডিং এবং বিশ্লেষণের পদক্ষেপগুলি ব্যাখ্যা করার ক্ষমতা।
- ক্লিনিকাল ডেটা ঝুঁকি যেমন অনুপস্থিত ডেটা, পক্ষপাত, শ্রেণী ভারসাম্যহীনতা এবং অস্থায়ী ফুটো সনাক্ত করার ক্ষমতা
- ক্রমাঙ্কন, সাবগ্রুপ পারফরম্যান্স এবং ক্লিনিকাল উপযোগিতার মাধ্যমে ভবিষ্যদ্বাণীমূলক মডেল আউটপুট যাচাই করার ক্ষমতা
আধুনিক হাসপাতালের স্মৃতি হল ইলেকট্রনিক হেলথ রেকর্ড (EHR): রোগ নির্ণয়, ল্যাবের ফলাফল, ওষুধ, পদ্ধতি, নার্স নোট এবং ডাক্তারের পর্যবেক্ষণের একটি ডিজিটাল সংগ্রহ। এই ডেটা কৃত্রিম বুদ্ধিমত্তার জন্য একটি গুপ্তধন এবং একটি মাইনফিল্ড উভয়ই। ধন কারণ এতে লক্ষ লক্ষ অসুস্থ বার্ষিক নিদর্শন রয়েছে; মাইনফিল্ড কারণ ক্লিনিকাল ডেটা বিশৃঙ্খল, অসম্পূর্ণ, পক্ষপাতদুষ্ট এবং টেম্পোরাল ফাঁদে পূর্ণ। এই ইউনিটে কৃত্রিম বুদ্ধিমত্তা সহ EHR ডেটা পরিষ্কার, কোডিং এবং বিশ্লেষণ অন্তর্ভুক্ত রয়েছে; সবচেয়ে জঘন্য ত্রুটি (টেম্পোরাল ফুটো, পক্ষপাত, শ্রেণী ভারসাম্যহীনতা); এবং আমরা দেখব কিভাবে ভবিষ্যদ্বাণীমূলক মডেল আউটপুট যাচাই করা হয়।
আসুন শুরু থেকেই মনে করিয়ে দিই: একটি ঝুঁকির মডেল বলতে পারে "এই রোগীর পুনরায় ভর্তি হওয়ার উচ্চ সম্ভাবনা রয়েছে"; কিন্তু এটি একটি সিদ্ধান্ত সমর্থন আউটপুট, একটি নির্ণয় বা চিকিত্সা সিদ্ধান্ত নয়. এআই রোগ নির্ণয় করে না; সিদ্ধান্ত চিকিত্সক এবং ক্লিনিকাল দলের উপর নির্ভর করে।
EHR ডেটা নিয়ে কাজ করার পদক্ষেপ
ধাপ 1 - বিয়োগ করুন এবং একত্রিত করুন। ডেটা বিভিন্ন সিস্টেম থেকে আসে (ল্যাবরেটরি, ফার্মেসি, রেডিওলজি); রোগীর আইডির সাথে মিলিত হয়। এই পর্যায়ে, গোপনীয়তা সর্বোচ্চ অগ্রাধিকার (ইউনিট 10 দেখুন)।
ধাপ 2 - পরিষ্কার করা। অনুপস্থিত মান, ইউনিটের অসঙ্গতি (mg/dL এবং mmol/L এর বিভ্রান্তি), নকল রেকর্ড এবং অসম্ভাব্য মান (বয়স 200, রক্তচাপ 0) বাদ দেওয়া হয়। AI এখানে আউটলিয়ার ফ্ল্যাগিং এবং ফ্রি টেক্সট স্ট্রাকচারিং এর ক্ষেত্রে শক্তিশালী।
ধাপ 3 — কোডিং এবং প্রমিতকরণ। রোগ নির্ণয়গুলি স্ট্যান্ডার্ড কোডগুলিতে ম্যাপ করা হয় যেমন আইসিডি (আন্তর্জাতিক রোগের শ্রেণিবিন্যাস), এবং ওষুধগুলি মানক অভিধানে ম্যাপ করা হয়। বিনামূল্যের টেক্সট নোট থেকে কাঠামোগত তথ্য বের করাকে বলা হয় প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP); এআই এখানে মূল্যবান, তবে এর আউটপুটটির বৈধতা প্রয়োজন।
ধাপ 4 — ফিচার ইঞ্জিনিয়ারিং। মডেল ইনপুটগুলি কাঁচা ডেটা থেকে তৈরি করা হয়: শেষ পরীক্ষাগারের মান, প্রবণতা, ওষুধের সংখ্যা, কমরবিডিটি স্কোর ইত্যাদি।
ধাপ 5 - মডেলিং এবং মূল্যায়ন। ভবিষ্যদ্বাণীমূলক মডেল তৈরি করা হয়েছে এবং—সবচেয়ে গুরুত্বপূর্ণ অংশ—একটি সতর্ক, ফাঁস-মুক্ত পদ্ধতিতে মূল্যায়ন করা হয়েছে।
তিনটি সবচেয়ে ছলনাময় ভুল
টেম্পোরাল ফুটো। ভবিষ্যদ্বাণী করার সময় এখনও বিদ্যমান নেই এমন বৈশিষ্ট্যে তথ্য রাখা। উদাহরণস্বরূপ, ভর্তির সময় মৃত্যুর ঝুঁকি অনুমান করতে স্রাব নির্ণয় বা শেষ দিনের পরীক্ষাগার পরীক্ষা ব্যবহার করে। মডেলটি পরীক্ষাগারে নিখুঁত দেখায়, কিন্তু বাস্তব ব্যবহারে ক্র্যাশ হয় কারণ এটি "ভবিষ্যত" দেখেছে।
কুসংস্কার। তথ্য অতীত ক্লিনিকাল সিদ্ধান্ত প্রতিফলিত; যদি এই সিদ্ধান্তগুলি ইতিমধ্যেই অসম হয়, মডেল এটি শিখে এবং শক্তিশালী করে। উদাহরণস্বরূপ, যদি একটি নির্দিষ্ট গোষ্ঠীকে ঐতিহাসিকভাবে পরীক্ষার জন্য কম আদেশ দেওয়া হয়, মডেলটি মনে করতে পারে যে রোগটি সেই গ্রুপে "নিম্ন"।
শ্রেণীর ভারসাম্যহীনতা। যদি আগ্রহের ঘটনা (যেমন একটি বিরল জটিলতা) ডেটার 1% হয়, এমন একটি মডেল যা সর্বদা "কোন ইভেন্ট নয়" বলে তা 99% সঠিক দেখাবে কিন্তু অকেজো হবে৷ নির্ভুলতার পরিবর্তে, সংবেদনশীলতা, নির্ভুলতা এবং ইভেন্ট-ভিত্তিক মেট্রিক্স প্রয়োজন।
মূল্যায়ন: বৈষম্য যথেষ্ট নয়, ক্রমাঙ্কন একটি আবশ্যক
দুটি ভিন্ন প্রশ্ন আছে। বৈষম্য (AUC-এর সাধারণ পরিমাপ): মডেলটি কি ঝুঁকির ভিত্তিতে রোগীদের সঠিকভাবে স্থান দেয়? ক্রমাঙ্কন: মডেল দ্বারা প্রদত্ত সম্ভাব্যতা কি প্রকৃত ফ্রিকোয়েন্সির সাথে মেলে? আনুমানিক 20% রোগী যারা "20% ঝুঁকি" বলে তাদের কি আসলেই একটি ঘটনা আছে? যেহেতু ক্লিনিকে থ্রেশহোল্ডের উপর ভিত্তি করে সিদ্ধান্ত নেওয়া হয়, একটি ভাল র্যাঙ্কিং কিন্তু খারাপভাবে ক্যালিব্রেট করা মডেল ভুল থ্রেশহোল্ড সিদ্ধান্তের দিকে নিয়ে যাবে। অতিরিক্তভাবে, সাবগ্রুপের কর্মক্ষমতা (বয়স, লিঙ্গ, জাতিগততা, হাসপাতাল) আলাদাভাবে রিপোর্ট করা উচিত এবং ক্লিনিকাল উপযোগিতার প্রশ্ন (এই মডেলটি ব্যবহার করলে কি সত্যিই ভাল ফলাফল পাওয়া যায়?) জিজ্ঞাসা করা উচিত।
তিনটি মিনি কেস: সংখ্যা দ্বারা
কেস 1 — ফুটো দ্বারা স্ফীত সাফল্য. একটি রিডমিশন মডেল অভ্যন্তরীণ পরীক্ষায় 0.92 এর AUC পেয়েছে; এটা চমৎকার লাগছিল পর্যালোচনায় দেখা গেছে যে বৈশিষ্ট্যগুলির মধ্যে "স্রাব-পরবর্তী বহিরাগত রোগীদের অ্যাপয়েন্টমেন্ট" অন্তর্ভুক্ত রয়েছে; পূর্বাভাসের সময় এই তথ্য পাওয়া যায়নি। একবার লিক পরিষ্কার হয়ে গেলে, AUC 0.71-এ নেমে এসেছে - একটি বাস্তবসম্মত এবং ব্যবহারযোগ্য মান।
কেস 2 — ক্রমাঙ্কন প্রবাহ। একটি সেপসিস প্রারম্ভিক সতর্কতা স্কোর যেখানে এটি তৈরি করা হয়েছিল সেখানে ভালভাবে ক্যালিব্রেট করা হয়েছিল, রোগীর প্রোফাইল ভিন্ন হাসপাতালে একই স্কোরের জন্য প্রকৃত ঘটনা হারের দ্বিগুণ দেখায়। স্কোরটি সঠিকভাবে র্যাঙ্ক করা হয়েছে কিন্তু সম্ভাব্যতা ভুল ছিল; থ্রেশহোল্ড পুনর্নির্মাণ ছাড়া ব্যবহার করা যাবে না.
কেস 3 - NLP দিয়ে সময় বাঁচানো। একটি গবেষণা দল 12,000 রোগীর নোট থেকে ম্যানুয়ালি ধূমপানের ইতিহাস বের করছিল; প্রতি নোটে প্রায় 2 মিনিট, মোট 400 ঘন্টা। এনএলপি-সহায়ক নিষ্কাশন এটিকে কয়েক ঘন্টা কমিয়েছে; দলটি শুধুমাত্র একটি এলোমেলোভাবে নির্বাচিত বৈধতা নমুনা হাতে পরীক্ষা করেছে যা মডেলটি "অস্পষ্ট" রেখে গেছে। সমালোচনামূলক ছিল বৈধতা নমুনার সূক্ষ্ম পরীক্ষা।
দুর্বল প্রম্পট / শক্তিশালী প্রম্পট
দুর্বল প্রম্পট:
এই রোগীর তথ্য থেকে একটি ঝুঁকি মডেল তৈরি করুন এবং ফলাফল রিপোর্ট করুন।
শক্তিশালী প্রম্পট:
আপনার ভূমিকা: আপনি একজন ক্লিনিকাল ডেটা বিশ্লেষণ সহকারী (আপনি সিদ্ধান্ত নেবেন না)। বেনামী ভেরিয়েবলের নিম্নলিখিত তালিকার জন্য একটি ভবিষ্যদ্বাণী মডেল পরিকল্পনার সমালোচনা করুন:- পূর্বাভাসের সময় প্রতিটি ভেরিয়েবল উপস্থিত আছে কিনা তা চিহ্নিত করুন (টেম্পোরাল লিকেজের ঝুঁকি)।- শ্রেণি ভারসাম্যহীনতা এবং পক্ষপাতের সম্ভাব্য উত্সের তালিকা করুন।- সিদ্ধান্তের সাথে রাষ্ট্রীয় বিশ্রামের সিদ্ধান্তের জন্য বৈষম্য + ক্রমাঙ্কন + উপগোষ্ঠী + ক্লিনিকাল উপযোগিতা-এর পরামর্শ দিন। বেনামী ভেরিয়েবল এবং লক্ষ্য:[তালিকা]
চারটি অনুলিপিযোগ্য টেমপ্লেট
1) লিক পরিদর্শন:
নিম্নলিখিত বৈশিষ্ট্যগুলির তালিকাটিকে "ভবিষ্যদ্বাণীর সময় উপলব্ধ" / "ভবিষ্যত তথ্য (ফাঁস)" হিসাবে শ্রেণীবদ্ধ করুন এবং এটিকে ন্যায্যতা দিন৷ লক্ষ্য এবং ভবিষ্যদ্বাণীর মুহূর্ত: [সংজ্ঞা]। বৈশিষ্ট্য: [তালিকা]
2) ডেটা মানের রিপোর্ট:
এই বেনামী টেবিলের জন্য অনুপস্থিত মান হার, অনুপস্থিত মান, ইউনিট অসঙ্গতি এবং নকল রেকর্ড পরীক্ষা করুন; একটি মানের সারসংক্ষেপ টেবিল প্রদর্শিত হয়. টেবিল: [ডেটা]
3) NLP অনুমান যাচাইকরণ স্কিম:
একটি NLP ধাপের জন্য একটি বৈধকরণ পরিকল্পনা লিখুন যা বিনামূল্যে-টেক্সট টীকা থেকে [ভেরিয়েবল] বের করে: এলোমেলো নমুনা আকার, গোল্ড স্ট্যান্ডার্ড লেবেলিং, ফিট মেট্রিক, ত্রুটি বিশ্লেষণ।
4) মূল্যায়ন কাঠামো:
এই ক্লিনিকাল মডেলের জন্য একটি খসড়া মূল্যায়ন কাঠামো লিখুন: বৈষম্য (AUC), ক্রমাঙ্কন বক্ররেখা, উপগোষ্ঠী কর্মক্ষমতা, সিদ্ধান্ত বক্ররেখা বিশ্লেষণ। মডেল: [বর্ণনা]
মডেলের ভূমিকা: টাস্ক টাইপ দ্বারা
টাস্ক টাইপ
এআই অবদান
সমালোচনা
যাচাইকরণ
ডেটা ক্লিনিং/আউটলার
উচ্চ
কম
স্পট চেক
নোট থেকে NLP নিষ্কাশন
উচ্চ
মাঝারি
নমুনা বৈধতা
ঝুঁকি/পূর্বাভাস স্কোরিং
মাঝারি
উচ্চ
ক্রমাঙ্কন + উপগোষ্ঠী
সম্পদ/ক্ষমতা পরিকল্পনা
মাঝারি
মাঝারি
ব্যবসায়িক ইউনিট অনুমোদন
চিকিৎসার সিদ্ধান্ত
সীমিত
খুব উচ্চ
সম্পূর্ণ চিকিৎসকের অনুমোদন
পরামর্শ: যদি একটি ক্লিনিকাল মডেলের AUC অপ্রত্যাশিতভাবে বেশি হয় (যেমন 0.95-এর উপরে), উদযাপন করার আগে টেম্পোরাল লিকেজ দেখুন। বাস্তব জগতে, এই জাতীয় উচ্চ মানগুলি সাধারণত তথ্য ফাঁসের লক্ষণ।
সতর্কতা: মডেলটি ঐতিহাসিক তথ্যে অসমতা শিখতে এবং শক্তিশালী করতে পারে। উচ্চ সামগ্রিক নির্ভুলতা নির্দিষ্ট রোগীর গোষ্ঠীতে পদ্ধতিগত ক্ষতি বোঝাতে পারে; কর্মক্ষমতা সবসময় সাবগ্রুপে রিপোর্ট করা উচিত.
সাধারণ ভুল
- টেম্পোরাল লিকেজ লক্ষ্য করা যাচ্ছে না। ভবিষ্যতের জ্ঞান পরীক্ষাগারে মিথ্যা সাফল্যের জন্ম দেয়।
- নির্ভুলতার সাথে সন্তুষ্ট হন। ভারসাম্যহীন তথ্যের সাথে সঠিকতা বিভ্রান্তিকর; সংবেদনশীলতা এবং ক্রমাঙ্কন প্রয়োজন.
- সাবগ্রুপ রিপোর্টিং না. সামগ্রিক মেট্রিক পক্ষপাত এবং অসমতা লুকায়।
- ক্রমাঙ্কন এড়িয়ে যাওয়া। এমনকি একটি ভাল র্যাঙ্কিং মডেল তার থ্রেশহোল্ড সিদ্ধান্তে ভুল করতে পারে।
- সিদ্ধান্তটি মডেলের উপর ছেড়ে দেওয়া। আউটপুট সমর্থন; চিকিত্সার সিদ্ধান্ত ক্লিনিকাল দলের উপর নির্ভর করে।
সংক্ষেপে
- EHR ডেটা শক্তিশালী কিন্তু প্যাঁচানো, অসম্পূর্ণ এবং পক্ষপাতদুষ্ট; পরিষ্কার এবং কোডিং হল গুরুত্বপূর্ণ পদক্ষেপ।
- টেম্পোরাল লিকেজ হল সবচেয়ে কপট ত্রুটি; ভবিষ্যত জ্ঞান পরীক্ষাগারে মিথ্যা সাফল্য উৎপন্ন করে।
- শ্রেণীর ভারসাম্যহীনতা এবং পক্ষপাত নির্ভুলতা মেট্রিককে বিভ্রান্তিকর করে তোলে।
- মূল্যায়নে বৈষম্য, ক্রমাঙ্কন, সাবগ্রুপিং এবং ক্লিনিকাল উপযোগিতা অন্তর্ভুক্ত করা উচিত।
- পূর্বাভাস আউটপুট সমর্থন; রোগ নির্ণয় এবং চিকিত্সার সিদ্ধান্ত ক্লিনিকাল দলের অন্তর্গত।
আবেদন টাস্ক
একটি ভবিষ্যদ্বাণী লক্ষ্য এবং দশটি ভেরিয়েবলের একটি তালিকা তৈরি করুন (ইচ্ছাকৃতভাবে একটি "সম্ভাব্য" পরিবর্তনশীল অন্তর্ভুক্ত করুন, যেমন স্রাব নির্ণয়)। ফাঁসের জন্য মডেলটি পরীক্ষা করতে শক্তিশালী প্রম্পটটি ব্যবহার করুন এবং দেখুন এটি এই পরিবর্তনশীলটিকে ক্যাপচার করে কিনা। তারপর বৈষম্য, ক্রমাঙ্কন এবং উপগোষ্ঠীকরণ সহ তিনটি আইটেমে এই মডেলের জন্য একটি মূল্যায়ন কাঠামো লিখুন।
চেকলিস্ট
- [ ] আমি EHR ডেটার সাথে কাজ করার নিষ্কাশন, পরিষ্কার, কোডিং এবং মডেলিং ধাপগুলি বুঝতে পারি।
- [ ] আমি অস্থায়ী ফাঁস চিনতে পারি এবং সম্পত্তি তালিকা পরিদর্শন করতে পারি৷
- [ ] আমি বুঝতে পেরেছি কীভাবে শ্রেণি ভারসাম্যহীনতা এবং কুসংস্কার সঠিকতাকে বিভ্রান্ত করে।
- [ ] আমি বৈষম্য এবং ক্রমাঙ্কনের মধ্যে পার্থক্য এবং উভয়ের প্রয়োজনীয়তা জানি৷
- [ ] আমি ভবিষ্যদ্বাণীমূলক আউটপুটকে সমর্থন হিসাবে রাখতে পারি, সিদ্ধান্ত নয়।