Табыстар:
- Модельдің деградациясының үнсіз себептерін (деректер дрейфі, концепцияның дрейфі, жоғары ағын қатесі) тану және үш деңгейлі (операциялық, кіріс, шығыс) мониторингті орнату мүмкіндігі
- LLM жүйелерін ережелерді тексеру, LLM-рефери және адам бағалауы арқылы бірнеше қабатта бағалау және LLM-рефери адам якорьімен калибрлеу мүмкіндігі
- Шеткі және қауіпсіздік жағдайлары бар бағалау жинағын құрастыру және әрбір ұсталған қатені тұрақты сынақ жағдайына айналдыру мүмкіндігі
Модель өндіріске кіргеннен кейін сіздің жұмысыңыз аяқталмайды; Нағыз жауапкершілік енді басталады. Өйткені модель ешкім қарамаған кезде үнсіз бұзылуы мүмкін. Бұл бөлімде біз бір-бірін толықтыратын екі пәнді қарастырамыз: бағалау (үлгінің сапасын жүйелі түрде өлшеу) және мониторинг (өндірістегі үлгінің тұрақты мониторингі). Әсіресе LLM жүйелерінде бағалау классикалық MLге қарағанда қиынырақ және мұқияттылықты қажет етеді.
Неліктен өндіріс үлгісі тыныш бұзылады
Қате бұзылады, журнал басып шығарылады, дабыл өшеді. Екінші жағынан, ML үлгісі қателер тудырмай қате болуы мүмкін. Деградацияның үш негізгі себебі:
- Деректер дрейфі: Кіріс деректерін бөлу уақыт бойынша өзгереді (жаңа өнімдер, пайдаланушы әрекетінің өзгеруі, маусымдық). Модель өзгеріссіз қалады, бірақ әлем өзгереді.
- Дрейф тұжырымдамасы: кіріс-шығыс қатынасы өзгереді. Алаяқтық тактикасы мен спам үлгілері дамиды; Кеше дұрыс болған нәрсе бүгін бұрыс болады.
- Жоғарыдағы сыбайлас жемқорлық: деректер көзі пішімін өзгертеді, аймақ бос болады; Модель бұзылған кіріспен үнсіз ағып жатыр.
Бақылау бұл дыбыссыз бұрмалауларды естілетін етеді.
Нені қарау керек: үш қабат
Жақсы мониторинг үш қабатты қамтиды:
- Операциялық көрсеткіштер: кідіріс, қате жылдамдығы, сұрау көлемі, ресурсты пайдалану. «Жүйе тұр ма?»
- Деректер/енгізу көрсеткіштері: енгізуді бөлу оқытудағыға ұқсас па? Жетіспейтін құн мөлшерлемесі өсті ме? Жаңа санаттар келді ме? «Модель таныс деректерді көріп тұр ма?»
- Үлгі/шығару көрсеткіштері: болжамды тарату журналы? Сенімділік көрсеткіштері төмендеді ме? Ал мүмкін болса, жердегі шындықпен салыстырғанда дәлдік қандай? «Модель әлі де дәл ме?»
Үшінші қабат - ең құнды, бірақ ең қиын; өйткені нақты нәтиже әдетте кідіріспен келеді (несие қайтарыла ма, жоқ па, айлар өткен соң белгілі болады).
Кеңес: Нақты нәтиже кешіктірілсе, алдымен кіріс пен болжамның таралуын бақылаңыз. Кіріс үлестірімінің ауысуы дәлдіктің нашарлауының ерте белгісі болып табылады және нақты нәтижені күтпестен дабыл қағуы мүмкін.
LLM жүйелерін бағалау: ерекше міндет
Классикалық ML-де «дұрыс жауап» анық (0 немесе 1-сынып). LLM нәтижесі, керісінше, ашық: бір сұраққа көптеген дұрыс жауаптар болуы мүмкін, «дұрыс» бір санға сәйкес келмейді. LLM бағалау тәсілдері:
- Анықтамалық көрсеткіштер: нәтижені идеалды жауаппен салыстыру. Шектеулі; өйткені ол басқаша айтылған дұрыс жауапты «дұрыс емес» деп санауы мүмкін.
- Ережелерге негізделген тексерулер: шығу жарамды JSON ма? Тыйым салынған сөздер бар ма? Онда қажетті өрістер бар ма? Арзан, сенімді, тығыз.
- LLM-судья (LLM-судья): Үлгіні «осы критерийге сәйкес бұл жауап жақсы ма?» деп сұрамаңыз. Ол таразылайды, бірақ төрешінің өзін тексеру керек.
- Адамның шолуы: Алтын стандарт, бірақ қымбат және баяу. Ол үлгіде қолданылады.
Іс жүзінде бұлар бірге қолданылады: әрбір нәтиже бойынша арзан ереже тексерулері, үлкен іріктеу бойынша LLM-судьясы, шағын, бірақ қатаң үлгідегі адамдық бағалау.
Әлсіз тәсіл / Күшті көзқарас
Әлсіз: "LLM-мен төрешіден сұрадым, жауаптарымыздың 92% жақсы болды. Жүйе керемет."
Гүчлү: "Алдымен 100 басып шығаруды адам белгіледік. Біз LLM-судьяны дәл сол 100 басып шығаруға жүргіздік және адам-судья келісімін өлшедік — 85% келісім, қолайлы. Біз судьяның жүйелі түрде қате жіберген жерін құжаттадық (ұзақ жауаптарды әділетсіз түрде табу үрдісі) және оның ұсынысын түзеттік. Содан кейін ғана біз судьяға сендік."
Айырмашылық: күшті тәсіл төрешіні соқыр емес, адам зәкірімен тексереді. Тексерілмеген LLM-төреші әдемі көрінетін, бірақ жалған сенімділік береді.
Назар аударыңыз: LLM-рефери де үлгі болып табылады; галлюциногенді, біржақты (ұзақ/сенімді жауаптарды ұнатады), сәйкес келмеуі мүмкін. Өндірістік шешімдерді қабылдамас бұрын төреші ұпайларын адам белгілерімен калибрлаңыз.
Бағалау жинағы: мұқият құрастырылған
Жақсы бағалау жиыны нақты пайдаланудың әртүрлілігін және қиын жағдайларды білдіреді. Қарапайым мысалдармен толтырылған бағалау сізді жалған сенімде қалдырады. Оны бағалау кластеріне қоюды ұмытпаңыз:
- Жиек жағдайлары: бос енгізу, өте ұзақ енгізу, әдеттен тыс пішім.
- Белгілі қиын жағдайлар: үлгі өткенде қателіктер жіберген мысалдар (регрессия сынағы ретінде).
- Қауіпсіздік оқиғалары: жылдам енгізу әрекеттері, зиянды сұраулар, құпиялылықты бұзу тұзақтары.
Бағалау кластері уақыт өте келе өседі: өндірісте байқаған әрбір жаңа қате келесі бағалау үшін сынақ жағдайына айналады.
Дабыл және араласу
Бақылау дабылсыз толық емес болып қалады. Әрбір маңызды метрика үшін шекті мән және жауап жоспары болуы керек: "Егер кіріс дрейфі X мәнінен асып кетсе, инженерге хабарлаңыз", "Қате деңгейі Y мәнінен асса, автоматты кері қайтару". Дабылдарды мағыналы ұстаңыз — тым көп жалған дабылдар команданың сезімталдығын төмендетеді және оларды нақты дабылды өткізіп жібереді.
үш шағын іс
1-жағдай - Ерте ескерту. Сұраныс болжамы үлгісінің шынайы дәлдігі аптаның соңында ғана белгілі болды. Команда кірістің таралуын бақылап отырды және сейсенбіде жаңа өнім санатының кенеттен көтерілуін көрді - бұл модель ешқашан көрмеген нәрсе. Олар дәлдіктің төмендеуін күтпестен үлгіні жаңартты. Сақталған күндерді енгізу мониторингі.
2-жағдай - Тексерілмеген төреші. Бір команда LLM-рецензиясының негізінде «біздің сапамыз тамаша» деп хабарлады. Клиенттердің шағымдары көбейген кезде адам бақылауы енгізілді: төреші сенімді, бірақ дұрыс емес жауаптарды «жақсы» деп санады. Төреші адам белгілерімен калибрленгеннен кейін шынайы сапа ашылды және әлдеқайда төмен болды. Сабақ: оны тексермей төрешіге сенбе.
3-жағдай – Регрессиялық тестілеу. Жедел өзгерту бір мәселені шешіп, екіншісін үнсіз бұзды. Бірақ команда бағалау шелегінде өткен қателерді сақтады; Жаңа өзгеріс осы кластерде сыналғанда, бұзылған корпус бірден ұсталып, өзгеріс түзетілді. Сабақ: әрбір түзетілген қате тұрақты сынақ жағдайына айналуы керек.
Көшіретін үлгілер
Осы өндіріс үлгісі үшін бақылау жоспарын жасаңыз. Үш қабатты жабыңыз:1) Операциялық (кідіріс, қателік жылдамдығы, көлем)2) Енгізу/деректер (таратудың ауысуы, жетіспейтін мән, жаңа санат)3) Үлгі/шығару (болжаудың таралуы, сенімділік, мүмкін болса дәлдік)Модель: [сипаттама]. Нақты нәтижеге жету үшін қанша уақыт қажет: [ұзақтық]Әр көрсеткішке шекті және араласу ұсынысын қосыңыз.
Осы LLM жүйесі үшін бағалау (бағалау) стратегиясын ұсыныңыз. Тапсырма: [сипаттама]Қабаттарды анықтаңыз:- Әрбір нәтижеде қандай ережеге негізделген тексерулер орындалуы керек?- LLM-төреші қандай критерийлерді бағалауы керек және оларды қалай тексеру керек (адам зәкірі)?- Қандай үлгіде адамдық бағалау жүргізілуі керек? Бұл тізімде қауіпсіздік деңгейін анықтау керек.
Осы LLM-төреші нұсқаулығын тексеріңіз:- Бағалау критерийлері анық немесе субъективті ме?- Ұзындыққа/сенімділікке бейім бе?- Төрешіні адам белгілерімен қалай калибрлеуге болады?
Осы бақылау дабылына жауап беру кітабын жазыңыз.Дабыл: [мыс. кіріс дрейф шегінен асты]Қамтылу керек: бастапқы бақылау қадамдары, ықтимал себептер, кері қайтару критерийлері, кімге хабарлау керек.
Нашарлау себептері кестесі
бұрмалау
симптом
Ерте анықтау жолы
деректер дрейфі
Енгізілетін үлестіру өзгерістері
Кірістің таралуын бақылау
тұжырымдаманың ауысуы
Әділдік үнсіз құлайды
Болжам + нақты салыстыру
жоғары ағын қатесі
Өрістер бос болады/пішім өзгереді
Схеманы тексеру + жетіспейтін мөлшерлеме
Модельдің сәйкессіздігі
Шығаруды бөлудің ауысуы
Шығарылымды бөлу мониторингі
Жалпы қателер
- Мониторинг орнатпау. Үлгі үнсіз бұзылады, оны ешкім көрмейді.
- Тек операциялық көрсеткіштерді бақылаңыз. Жүйе жұмыс істейді, бірақ болжамдар қате болуы мүмкін.
- Төрешіні растамай LLM қолдану. Бұл жалған сенімділік береді.
- Жеңіл мысалдармен бағалаңыз. Бұл нақты қиындықты көрсетпейді.
- Бағалауда өткен қателерді қоспау. Сол қате қайтадан қайтарылады.
- Қатты дабылдар. Команда нақты дабылды жіберіп, сенсибилизацияланады.
Қысқаша айтқанда
Модель өндірісте қателіктер тудырмай, дәл емес болуы мүмкін; сондықтан бағалау және бақылау даму сияқты маңызды. Үш деңгейде мониторинг орнату (операциялық, кіріс, шығыс); Нақты нәтиже кешіктірілсе, кіріс дрейфін ерте ескерту ретінде пайдаланыңыз. LLM жүйелерінде бағалау ашық болып табылады; Ережелерді тексеруді, LLM-рефериді және адамдық бағалауды бірге пайдаланыңыз, бірақ LLM-рефериді адам якорьімен растауды ұмытпаңыз. Eval кластерін шеткі және қауіпсіздік жағдайларымен байытыңыз және әрбір ұсталған қатені тұрақты сынақ жағдайына айналдырыңыз.
Қолданбалы тапсырма
Өндіріс (немесе өндіріске жақын) үлгі үшін үш деңгейлі бақылау жоспарын жазыңыз және кем дегенде бір енгізу-тарату метрикасына шекті + дабылды анықтаңыз. Егер сізде LLM жүйесі болса: 30 нәтижені адамдармен белгілеңіз, сол нәтижелерде LLM-төрешісін іске қосыңыз және адам-төреші келісімін өлшеңіз; Төрешінің жүйелі көзқарасына назар аударыңыз. Бағалау кластеріне кемінде 3 жиектер мен 2 қауіпсіздік жағдайын қосыңыз.
бақылау парағы
- [ ] Мониторинг барлық үш қабатты (операциялық, кіріс, шығыс) қамтиды.
- [ ] Егер нақты нәтиже кешіктірілсе, кіріс дрейфін ерте ескерту ретінде қолданамын.
- [ ] Мен LLM-төрешісін адам белгілерімен калибрледім.
- [ ] Eval кластері шеткі және қауіпсіздік жағдайларын қамтиды.
- [ ] Мен ұстаған әрбір қатені тұрақты сынақ жағдайына айналдырдым.
- [ ] Әрбір маңызды көрсеткіштің шегі мен жауап жоспары бар.