Табыстар:
- Жалғау деректерден (тарихи, бейнелеу, өлшеу, жинақтау) және топшалар негізінде модельді бағалау арқылы жасырын кемсітушілікті анықтау мүмкіндігі
- Үлгі картасымен жоғары әсер ететін шешімдерде түсіндірмелілікті, адам бақылауын және есеп беруді және құжаттың ашықтығын қамтамасыз ету мүмкіндігі
- Ең кішкентай сәйкес үлгімен, жылдам қысқартумен, кэшпен және топтамамен сапаны бұзбай қаржылық және экологиялық шығындарды басқару мүмкіндігі
Модель техникалық тұрғыдан мінсіз жұмыс істеуі мүмкін, бірақ бәрібір қате болуы мүмкін - егер ол кейбір адамдарға әділетсіз болса, түсініксіз болса немесе тұрақсыз шығындар тудырса. Бұл бөлімде біз ML инженериясының үш «көрінбейтін», бірақ шешуші өлшемін қарастырамыз: біржақтылық пен әділдік, этика және ашықтық, шығындар мен тұрақтылық. Бұл кейінірек қосылған әшекейлер емес, инженерлік сапаның ажырамас бөліктері.
Алаңдау қайдан пайда болады?
Модельге бейімділік (үлгінің белгілі бір топтарға жүйелі түрде басқаша/әділетсіз қарауы) әдетте модельден емес, деректерден туындайды. Дереккөздер:
- Тарихи көзқарас: Деректер өткен әділетсіздікті көрсетеді. Егер белгілі бір топқа бұрын азырақ несие берілсе, сол деректер бойынша дайындалған модель бұл кемсітушілікті үйренеді және жалғастырады.
- Өкілдіктің ауытқуы: Кейбір топтар деректерде аз көрсетіледі; үлгі олар үшін нашар жұмыс істейді (мысалы, шағын демографиялық үлгідегі төмен дәлдік).
- Өлшемнің біржақтылығы: Белгілердің өзі біржақты (мысалы, егер «жақсы қызметкер» анықтамасы жоғарылау туралы бұрынғы шешімдерге негізделген болса).
- Агрегацияның ауытқуы: Деректер белгілі бір арнадан келетіндіктен, ол ғаламның өкілі емес.
Модель бұл қиғаштықтарды үйреніп қана қоймайды; автоматтандыру арқылы масштабын арттырады. Бір адамның біржақты шешімі екінші адамға әсер етеді; Біржақты модельдің үкімі миллиондаған.
Абайлаңыз: «Модель бейтарап, себебі бұл жай математика» деп қателеспеңіз. Модель деректердегі адамның бейімділігін үйренеді және автоматтандырады. Бейтараптық әдепкі емес, өлшеніп, қамтамасыз етілуі керек нәтиже.
әділеттілікті өлшеу
Сот төрелігін басқару үшін алдымен оны өлшеу керек. Бұл әрекетті орындау үшін үлгіні ішкі топ негізінде бағалаңыз: дәлдік, еске түсіру, жалған оң көрсеткіш сияқты көрсеткіштер әртүрлі демографиялық топтар бойынша бірдей ме? Әділеттілік туралы бірнеше түсініктер:
- Топтық әділеттілік: модель әртүрлі топтарға ұқсас мөлшерлемелер бойынша дұрыс/қате қарайды ма?
- Мүмкіндіктер теңдігі: Модель барлық топтарда шынайы позитивтілерді бірдей қабылдай ма (бірдей еске түсіру)?
Маңызды факт: әділдіктің әртүрлі анықтамалары бір уақытта қанағаттандырылмауы мүмкін (бұл математикалық нәтиже). Бұл тұрғыда әділеттіліктің қандай анықтамасы басымдыққа ие екендігі техникалық емес, этикалық және іскерлік шешім болып табылады және мүдделі тараптармен бірге қабылданады.
Әлсіз тәсіл / Күшті көзқарас
Нашар: «Модельдің жалпы дәлдігі 88%, бұл әділетті».
Гүчлү: "Жалпы дәлдік 88% құрады, бірақ біз оны кіші топтарға бөлген кезде, бір топта қайта шақыру 91% және басқа топта 67% болды — модель бұл топты жүйелі түрде жоғалтты. Біз себебін (өкілдіктің болмауы) құжаттадық, сол топ үшін деректер жинадық және оны қайта бағаладык.
Айырмашылық: күшті тәсіл жалпы метриканың артына жасырынбайды, ол ішкі топтарды бөледі және әділетті ашық шешім ретінде қарастырады.
Этика және ашықтық
Жауапты АИ-нің негізгі принциптері:
- Түсіндіру: Модель неліктен мұндай шешім қабылдағанын түсіндіруге бола ма? Әсері жоғары шешімдерде (несие, жалдау, денсаулық сақтау) түсініктеме алуға құқығы бар. Түсініксіз үлгіні бұл аймақтарда қолдануға болмайды немесе түсіндірілетін әдіспен қолдау керек.
- Адамның бақылауы: жоғары әсер ететін шешімдер автоматты түрде қабылданбауы керек; Үлгі ұсынады, адам растайды.
- Жауапкершілік: Модель қате жіберген кезде кім жауапты екені анық болуы керек. «Модель шешті» деген сылтау емес.
- Мөлдірлік: пайдаланушы AI-мен өзара әрекеттесетінін және олардың деректері қалай пайдаланылатынын білуі керек.
Көптеген елдер мен секторларда бұл принциптер заңнамаға да енгізілген (ашықтық, аудит және жоғары тәуекелді AI жүйелеріне адамдық қадағалау міндеттемелері). Инженер өз саласының ережелерін білуге жауапты.
Кеңес: Әсері жоғары әрбір үлгі үшін «модель картасын» сақтаңыз: модель не істейді, ол қандай деректер бойынша оқытылды, қай топтарда қаншалықты жақсы/нашар жұмыс істейді, оның белгілі шектеулері қандай. Бұл құжат ашықтық пен есеп беру құралы болып табылады.
Құны және тұрақтылығы
AI арзан емес. Шығын екі өлшемде басқарылады:
Қаржылық шығындар:
- Токен құны (LLM): Әрбір сұрау және жауап құны таңбалауыштары; Көлемі өскен сайын шот өседі. Қажетсіз ұзақ шақырулар, тым үлкен үлгі таңдау және бақыланбайтын агент циклдері (5-бірлік) шығындарды арттырады.
- Тренинг және хостинг: Нақты баптау және үлгі көрсету аппараттық шығындарды талап етеді.
- Оңтайландыру: шағын үлгі жеткілікті болса, үлкен үлгіні пайдаланбаңыз; кэшті жиі қойылатын сұрақтар; шақыруды қысқарту; Өңдеуге болатын топтама.
Қоршаған ортаны қорғау құны: Үлкен үлгіні оқыту және қорытынды жасау айтарлықтай энергияны жұмсайды. Тұрақтылық қажетсіз есептеулерден (дұрыс өлшем үлгісі, тиімді архитектура) аулақ болуды кәсіби жауапкершілікке айналдырады.
Кеңес: Шығындарды оңтайландырудың бірінші ережесі: «Бұл жұмыс үшін ең кіші адекватты модель қандай?» Ең қуатты модельді барлық жерде қою - бұл қымбат және қажет емес.
үш шағын іс
1-жағдай – Жасырын кемсітушілік. Жұмысқа қабылдау скрининг үлгісі жалпы жақсы көрінді. Кіші топтардың талдауы тарихи деректерде ерлер басым болғандықтан, модель әйел кандидаттарды жүйелі түрде атап көрсеткенін анықтады - ол тарихи бетбұрысты үйренді. Үлгі тоқтатылды, деректер теңгерілді және әділдік көрсеткіштері бақыланды. Жалпы әділдік жасырын кемсітушілікті жасырады.
2-жағдай – Түсініксіз бас тарту. Несиелік үлгі өтінімдерді қабылдамады, бірақ оның себебін ешкім түсіндіре алмады. Тұтынушы заңды түсіндіруді сұраған кезде, топ жауап бере алмады. Түсіндірілетін әдіс қосылғанша және әрбір бас тарту үшін негіздеме жасалғанша, модель жоғары әсер ететін шешімдерде пайдаланудан алынып тасталды. Сабақ: түсіндірмелілік жоғары әсерлі шешім қабылдауда маңызды.
3-жағдай – Билл шок. Бір команда әрбір сұраныс үшін ең үлкен LLM және өте ұзақ сұрауларды қолданды. Ай сайынғы есепшот күтпеген жерден өсті. Пост талдау: сұраулардың көпшілігін шағын үлгімен шешуге болады, сұраулардың жартысы артық болды және жиі қойылатын сұрақтарды кэштеуге болады. Бұл үш оңтайландыру сапаны бұзбай, шығынды айтарлықтай төмендетті. Сабақ: ең қуатты модель барлық жерде қажет емес.
Көшіретін үлгілер
Бұл үлгіні біржақтылық/әділдік үшін бағалауға көмектесіңіз. Қандай ішкі топтарға (демографиялық/сегмент) бөлу және өлшеу керек? Қандай көрсеткіштерді (дәлдік, еске түсіру, топ бойынша жалған оң көрсеткіш) салыстыруым керек? Әділдіктің әртүрлі анықтамалары қайшылықты болуы мүмкін, мен осы контексте қайсысына басымдық беруім керек және неге? Үлгі/шешім контексі: [түсіндірме]
Осы жоғары әсерлі модель үшін үлгі картасының жобасын жасаңыз. Мыналарды қамтуы керек: мақсаты, оқу деректері және күні, ішкі топтардағы өнімділік, белгілі шектеулер, орынды/орынсыз пайдалану, түсінікті күй, адам бақылау нүктесі. Үлгі: [сипаттама]
Сапаға нұқсан келтірмей, осы LLM іске асыру құнын азайтуға көмектесіңіз. Қолжетімді: үлгі өлшемі, шақырудың орташа ұзақтығы, сұрау көлемі, кэш бар ма? Бағалаңыз: 1) Кіші үлгі жеткілікті ме (қай тапсырмалар үшін)?2) Сұрауды қысқартуға болады ма?3) Жиі сұрауларды кэштеуге бола ма?4) Әр топтамаға әсер ету үшін қолжетімді жұмыс бар ма?
Осы жоғары әсер ететін шешімдер жүйесі үшін этика/жауапкершілікті тексеру тізімін жасаңыз.- Түсіндіру: шешімнің негіздемесін шығаруға болады ма?- Адамның бақылауы: жоғары әсер ететін шешім мақұлдануға жатады ма?- Жауапкершілік: қате болған жағдайда кім жауап береді?- Транспаренттілік: пайдаланушы AI қолданылып жатқанын біледі ме?- Регламент: заңдық міндеттер қандай?
Бағалаудың бастапқы кестесі
Дереккөз
симптом
сақтық шарасы
тарихи бейімділік
Бұрынғы кемсітушілік жалғасуда
Деректер аудиті + әділдік көрсеткіші
өкілдіктің бұрмалануы
Шағын іріктеу тобында төмен дәлдік
Топшаны талдау + теңгерімдеу
өлшемнің ауытқуы
бейтарап белгілер
Белгілеу процесін тексеру
Агрегацияға бейімділік
Әлем бейнеленбейді
Ресурстарды әртараптандыру
Жалпы қателер
- Жалпы көрсеткішке сүйену. Жасырын кемсітушілікті топшалық талдаусыз көру мүмкін емес.
- «Үлгі бейтарап» деп болжасақ. Модель деректердегі ауытқуды үйренеді және күшейтеді.
- Жоғары әсерлі шешімді түсініксіз модельге қалдыру. Құқықтық және этикалық тәуекел.
- Адамның бақылауын айналып өту. «Модель шешті» дегенді ақтауға болмайды.
- Ең үлкен үлгіні барлық жерде орналастыру. Қажетсіз шығындар мен энергия.
- Құнды қадағаламау. Шот үнсіз көтеріледі.
Қысқаша айтқанда
Техникалық тұрғыдан дұрыс модель әділ, түсінікті және тұрақты болмаса, бәрібір сәтсіздікке ұшырайды. Бағалау негізінен деректерден келеді және модель оны масштабта үлкейтеді; Кіші топтар бойынша әділдікті өлшеңіз және мүдделі тараптармен әділдік анықтамасына басымдық берілуін келісіңіз. Түсіндіру, адамның қадағалауы және есеп беруі жоғары әсер ететін шешімдерде маңызды; Үлгі картасымен құжаттың мөлдірлігі. Құны мен энергияны басқарыңыз: ең кішкентай сәйкес үлгіні таңдаңыз, шақыруды қысқартыңыз, кэш пен пакетті пайдаланыңыз. Бұл өлшемдер инженерлік сапаның құрамдас бөліктері болып табылады, кейінірек қосылатын бұйралар емес.
Қолданбалы тапсырма
Модельді кем дегенде екі топшаға бөліңіз және топтық негізде қайта шақыру мен жалған оң көрсеткішті салыстырыңыз; Егер айтарлықтай айырмашылық болса, себебін және сақтық шарасын жазыңыз. Әсері жоғары үлгіге арналған қысқаша үлгі картасының жобасын жасаңыз (мақсат, деректер, ішкі топ өнімділігі, шекаралар, түсіндірмелік). LLM енгізу құнын азайту және олардың болжалды әсерін жазу үшін кем дегенде екі нақты оңтайландыруды (ең аз / жедел кесу / кэш / топтама) анықтаңыз.
бақылау парағы
- [ ] Мен үлгіні ішкі топтар негізінде бағаладым, жалпы метрикаға сенбедім.
- [ ] Мен мүдделі тараптармен сот төрелігінің қандай анықтамасына басымдық беретінімді шештім.
- [ ] Әсері жоғары шешім түсіндіріледі және адам мақұлдауы керек.
- [ ] Үлгі картасымен мөлдірлік пен шекараларды құжаттадым.
- [ ] Мен ең кіші адекватты үлгіні таңдадым; Мен шақыруды/кэшті/пакетті оңтайландырдым.
- [ ] Мен құн мен қуат әсерін бақылаймын.