Табыстар:
- Мәселе ақпарат немесе мінез-құлық екенін ажырата алу және мінез-құлық мәселелерін дәл баптауды жылдам, аз түсіру және RAG таусылғаннан кейін ғана бағалау мүмкіндігі.
- Нақты баптау әдістерін (SFT, LoRA/PEFT, RLHF) және сапаны анықтайтын деректер атрибуттарын түсіну (дәйектілік, әртүрлілік, құпиялылық)
- Алдын ала бағалау, қайта оқу және апатты ұмыту сынақтары арқылы дәл реттеудің шынайы мәнін өлшеу мүмкіндігі
Нақты баптау (алдын ала дайындалған модельді өзіңіздің деректеріңізбен әрі қарай оқыту арқылы оның мінез-құлқын теңшеу) LLM-мен жұмыс істейтін инженердің арсеналындағы қуатты, бірақ қымбат құрал болып табылады. Дұрыс емес жерде пайдаланғанда ақша мен уақытты босқа кетіреді, бірақ дұрыс жерде пайдаланса, басқаша қол жеткізуге болмайтын сапаны береді. Бұл бөлімде біз нақты баптау қажет болған кезде, оның негізгі әдістері мен тәуекелдерін қарастырамыз. Мақсат - сізді шешім қабылдауға мәжбүрлеу.
Алдымен дұрыс сұрақ: дәл реттеу қажет пе?
Жаңадан бастағандардың ең қымбат қатесі - бірден шешуге болатын мәселені дәл реттеуге асығу. Тапсырысты келесідей орнатыңыз:
- Жедел инженерия: Тапсырманы нақты түсіндіретін жақсы нұсқау көптеген мәселелерді шешеді. Алдымен осы жерден тұтыныңыз.
- Аздап оқыту: Шақыруға бірнеше мысал қою үлгінің қажетті пішімі мен әрекетін көрсетеді.
- RAG: Егер мәселе «ақпараттың болмауы» болса (модель білмейтін деректер қажет), шешім дәл реттеу емес, RAG (4 блок) болып табылады.
- Дәл баптау: егер жоғарыда айтылғандар жеткіліксіз болса және мәселе "мінез-құлық/формат/стиль" болса, ол іске қосылады.
Негізгі айырмашылық: Нақты баптау модельге жаңа ақпаратты үйретуде әлсіз және қауіпті; бірақ өзін қалай ұстау керектігін үйретуде күшті (белгілі бір формат, тон, өріс жаргоны, дәйекті құрылым). «Менің үлгісім біздің компания туралы ақпаратты білмейді» → RAG. «Менің үлгісім әрқашан біз қалаған пішімде нәтиже берсін» → нақты баптау кандидаты.
Кеңес: Нақты реттеу туралы шешім қабылдамас бұрын: «Бұл білім мәселесі ме, әлде мінез-құлық мәселесі ме?» Деп сұраңыз. Ақпараттық мәселелер RAG көмегімен жақсы шешіледі, мінез-құлық мәселелері дәл реттеу арқылы жақсы шешіледі.
Нақты баптау әдістері
Толық дәлдік: үлгінің барлық параметрлерін қайта даярлау. Ең қуатты, бірақ ең қымбат; Ол үлкен жабдықты (GPU) және мұқият деректерді қажет етеді. Көптеген командалар үшін бұл қажет емес.
Параметрлік тиімді дәл реттеу (PEFT): Үлгінің басым көпшілігін қатыратын, қосымша параметрлердің шағын жиынтығын ғана үйрететін әдістер. Ең кең тарағаны LoRA (төмен деңгейлі бейімделу: үлгіге қосылған шағын «адаптер» қабаттарын оқыту). LoRA жады мен құны әлдеқайда аз, толық дәлдікке жақын нәтижелерді қамтамасыз етеді; Сондықтан бұл іс жүзінде бірінші таңдау болып табылады.
Бақыланатын дәл баптау (SFT): модельді кіріс-идеалды шығыс жұптарынан тұратын деректермен «осы енгізуге осылай жауап беруге» үйрету. Бұл ең көп таралған сценарий.
Адамның кері байланысынан оқытуды күшейту (RLHF): модельдің мінез-құлқын адамдардың таңдаулы жауаптарынан сәйкестендіру. Бұл күрделі және қымбат; Көптеген қолданбалы топтардың қажеттіліктері SFT көмегімен қанағаттандырылады. RLHF тұжырымдамасы ретінде білу жеткілікті.
Деректер: дәл реттеудің жүрегі
Нақты баптау сапасы толығымен оқу деректерінің сапасына байланысты. Бірнеше жүздеген жоғары сапалы, дәйекті үлгілер мыңдаған жалаң үлгілерден жақсырақ. Деректерді дайындау кезінде:
- Жүйелілік: Барлық мысалдар сізге қажет пішім мен үнді дәйекті түрде көрсетеді. Қарама-қайшы мысалдар модельді шатастырады.
- Әртүрлілік: Мысалдар нақты пайдаланудағы әртүрлілікті қамтиды, бірақ біркелкі емес.
- Тазалау: қате, бейтарап немесе жасырын деректері бар даналар үлгіге біржола жіберіледі. Нақты баптау деректері келісімшарт сияқты мұқият оқылуы керек.
Ескерту: Нақты баптау деректеріне кіретін әрбір қиғаштық, қате және жасырын ақпарат үлгіге еніп, оның шығыстарында қайта пайда болады. Жаттығу деректеріңізді жариялап жатқандай мұқият тексеріңіз; Жеке деректерді орналастырмаңыз.
Тексеру: дәл баптау жұмыс жасады ма?
Нақты баптаудан бұрын ұзартылған бағалау жинағын сақтап қойыңыз және дәл баптаусыз үлгінің ұпайын өлшеңіз (негізгі үлгі). Нақты баптаудан кейін сол банкте қайтадан өлшеңіз. Салыстырусыз «жақсы болды» деп айта алмайсыз. Сондай-ақ білу керек екі тұзақ:
- Шамадан тыс оқыту: Шағын деректермен шамадан тыс жаттықтыру модельдің жаттығу мысалдарын есте сақтау және жалпылау қабілетін жоғалтады.
- Апатты ұмыту: тар тапсырма бойынша шамадан тыс жаттығу модельдің жалпы мүмкіндіктерін нашарлатуы мүмкін. Жаңа мінез-құлықты меңгеру кезінде ескі дағдылардың сақталуын тексеріңіз.
Әлсіз тәсіл / Күшті көзқарас
Әлсіз: «Менде 3000 чат журналы бар, олардың барлығын дәл реттеуге берейік, сондықтан модель біз сияқты сөйлесе алады».
Güçlü: "Алдымен мен негізгі үлгіні 100 нақты тапсырмамен бағаладым, ұпайды атап өттім. Мен оның қаншалықты жақсарғанын шақырулар мен бірнеше түсірілімдер арқылы өлшедім — бұл жеткіліксіз болды. Содан кейін 3000 журналдың ішінен мен жоғары сапалы, тұрақты пішімі және жасырын деректері жоқ 400 үлгіні ғана таңдап алып, тазаладым. Мен дәл сол тапсырмамен өлшеп, Lo10 арқылы қайта өлшедім. жалпы мүмкіндіктердің бұзылмағанын тексеріңіз».
Айырмашылық: күшті тәсіл алдымен баламаларды, шие деректерін, алдын-ала және кейінгі өлшемдерді және жанама әсерлерді тексереді.
Құн мен техникалық қызмет көрсетудің шындығы
Нақты баптау бір реттік жұмыс емес; Бұл қамқорлық парызы. Негізгі үлгі жаңартылғанда, өзгерту қажет болғанда немесе деректер жоғалғанда қайта оқыту қажет болуы мүмкін. Сонымен қатар, дәл реттелген үлгіні орналастыру қосымша шығындар мен операцияларды әкеледі. Бұл иеленудің жалпы құнын ол қамтамасыз ететін сапаның өсуімен салыстырыңыз. Көбінесе жақсы шақыру + RAG дәл реттеуге қарағанда арзанырақ және икемді.
үш шағын іс
1-жағдай - қажетсіз дәлдік. Команда «біздің модель өнімдерімізді білмейтіндіктен» қымбат нақтылау жобасына кірісті. Айлар мен бюджет жұмсалды, нәтиже нәзік болды - өнім каталогы өзгерген сайын модель ескірді. Соңында олар RAG-ға ауысты: олар құжат базасынан өнім деректерін алды, жаңарту лезде болды және құны төмендеді. Сабақ: ақпараттық мәселе дәл реттеу арқылы шешілмейді.
2-жағдай - дәл реттеу. Сақтандыру компаниясы үлгінің әрқашан бірдей қатаң құрылымда (тармақ бойынша, нақты тақырыптармен) саясаттың қорытындыларын шығаруын қалады. Шақыруға сәйкестік 70% деңгейінде қалды. 300 жақсы үлгімен LoRA дәл баптауынан кейін пішім тұрақтылығы 98%-ға дейін өсті. Бұл мінез-құлық мәселесі болды және дәл реттеу дұрыс құрал болды.
3-жағдай - Құпиялылықтың деректерге өтуі. Бір топ чат журналдарын тазалаусыз дәл реттеуге жіберді. Журналдарда нақты тұтынушылардың аты-жөні мен сәйкестендіру нөмірлері болды. Нақты реттелген модель бұл атауларды байланысты емес сұрақтардың нәтижесі ретінде «ағыза» бастады. Модель алынып тасталды, деректер маскирленді және қайта оқытылды. Сабақ: Нақты баптау деректеріндегі жасырын ақпарат үлгіге біржола тасымалданады.
Көшіретін үлгілер
Менің осы мәселем үшін дәл реттеу қажет пе екенін анықтауға көмектесіңіз. Мәселе: [сипаттама] Бұл АҚПАРАТ мәселесі (модель бірдеңені білмейді) немесе ТҰРЫС-ТҮЗІЛ мәселесі (модель мен қалаған пішімді/тонды/құрылымды шығармайды)? Оны алдымен жылдам, аз ату және RAG көмегімен шешуге болады ма? Неліктен олардың әрқайсысын қолданып көрмеңіз? Тек қандай жағдайда дәл реттеуді ұсынар едіңіз?
Осы дәл баптау деректер жинағын тексеріңіз: 1) Мысалдар пішім мен үнде сәйкес келе ме?2) Олар нақты пайдаланудағы өзгерістерді қамтиды ма?3) Онда құпия/жеке деректер бар ма (маскирленген болуы керек)?4) Қарама-қайшы мысалдар бар ма? Мысалдар жиыны: [мысалдар]Әрбір мәселені тізіп, тапқан мәселені түзетіңіз.
Нақты реттеуге дейін және одан кейін бағалау жоспарын жасаңыз. Тапсырма: [түсіндіру]- Ұстап тұрған бағалау жинағын қалай таңдау керек?- Негізгі үлгінің ұпайы қалай өлшенеді?- Нақты баптаудан кейін ол қандай метрикамен салыстырылады?- Жалпы мүмкіндіктердің бұзылмағанын қалай тексеремін (апатты ұмыту)?
LoRA.Data өлшемімен дәл баптау үшін бастапқы гиперпараметрлерді ұсыныңыз: [үлгілер саны]Мақсаты: [пішім/тонды оқыту]Дәуірді, үйрену жылдамдығын және артық оқуды болдырмау үшін ерте тоқтатуды ұсыныңыз.
Шешім кестесі: қай құрал қашан
қажет
алдымен көріңіз
Нақты баптау?
Модель ешқандай ақпаратты білмейді
RAG
жоқ
Ағымдағы деректер қажет
RAG
жоқ
Арнайы қатаң пішім
бірнеше кадрлар
Жетпесе иә
Тұрақты тон/стиль
жедел + бірнеше ату
Жетпесе иә
Өріс жаргоны/стиль
шақыру
Бұл жеткіліксіз болса, LoRA
Қарапайым тапсырманы оңтайландыру
жедел инженерлік
Жалпы жоқ
Жалпы қателер
- Ақпараттық мәселені дәл реттеу арқылы шешуге тырысу. RAG - дұрыс құрал.
- Шұғыл/бірнеше рет түсіру/RAG қолданбай дәл реттеуді іске қосу. Қымбат және қажетсіз.
- Төмен сапалы/қайшылықты деректермен жаттығу. Аз, бірақ анық деректер жақсы.
- Құпия мәліметтерді білім беруге енгізу. Үлгіге тұрақты түрде енеді.
- Бұрын және кейін өлшенбейді. Сіз қалпына келтіруді дәлелдей алмайсыз.
- Апатты ұмытуды сынамау. Жаңа дағды ескі дағдыны бұзуы мүмкін.
Қысқаша айтқанда
Нақты баптау қуатты, бірақ қымбат құрал болып табылады және оны тек prompt-few-shot-RAG пайдаланғаннан кейін мінез-құлық/пішім мәселелеріне қатысты қарастыру керек; ақпараттық мәселелер RAG компаниясына тиесілі. LoRA сияқты параметрді тиімді әдістер практикалық бірінші таңдау болып табылады. Сапа толығымен деректер сапасына байланысты; Шағын, бірақ таза, дәйекті және құпия деректерді пайдаланыңыз. Бұрын және кейін өлшеңіз, шамадан тыс оқуды және қабілетті жоғалтуды сынаңыз. Нақты баптау - қамқорлық парызы; Оның жалпы құнын жеткізген сапасымен салыстырыңыз.
Қолданбалы тапсырма
Мәселені таңдап, «білім немесе мінез-құлық» арасындағы айырмашылықты анықтау арқылы дәл реттеу қажет пе екенін шешіп, негіздемеңізді жазыңыз. Егер бұл мінез-құлық мәселесі болса, 20-30 дәйекті үлгіні дайындаңыз, жасырын деректерді тексеріңіз және бағалауға дейінгі және кейінгі жоспарды құжаттаңыз (ұстап тұрған кластер, негізгі балл, салыстыру метрикасы, ұмыту сынағы). Егер оны дәл реттеудің орнына RAG/бірнеше рет түсіру арқылы шешуге болатын болса, мұны да жазып алыңыз.
бақылау парағы
- [ ] Мәселе білім немесе мінез-құлық екенін анықтадым.
- [ ] Мен алдымен жылдам, аз ату және RAG баламаларын бағаладым.
- [ ] Мен дәйектілік, әртүрлілік және құпиялылық үшін дәл реттеу деректерін тексердім.
- [ ] Мен ұзартылған бағалау кластерін бөліп, негізгі баллды өлшедім.
- [ ] Мен бұрын-соңды салыстыру және ұмыту сынағын жоспарладым.
- [ ] Мен жалпы құнын ол қамтамасыз ететін сапамен салыстырдым.