Awọn anfani:
- Agbara lati ṣe iyatọ boya iṣoro kan jẹ alaye tabi ihuwasi ati ṣe iṣiro atunṣe-itanran fun awọn iṣoro ihuwasi nikan lẹhin iyara, ibọn diẹ ati RAG ti rẹwẹsi.
- Loye awọn ọna atunṣe-daradara (SFT, LoRA/PEFT, RLHF) ati awọn abuda data ti o pinnu didara (iduroṣinṣin, iyatọ, asiri)
- Agbara lati wiwọn iye otitọ ti iṣatunṣe itanran pẹlu igbelewọn ṣaaju-lẹhin, ikẹkọ apọju ati awọn idanwo igbagbe ajalu
Atunse ti o dara (isọdi ihuwasi rẹ nipasẹ ikẹkọ awoṣe ti a ti kọ tẹlẹ siwaju pẹlu data tirẹ) jẹ ohun elo ti o lagbara ṣugbọn gbowolori ninu ohun ija ti ẹlẹrọ ti n ṣiṣẹ pẹlu awọn LLM. Nigba ti a ba lo ni ibi ti ko tọ, o jẹ egbin ti owo ati akoko, ṣugbọn nigba lilo ni aaye ti o tọ, o pese didara ti a ko le ṣe bibẹẹkọ. Ninu ẹyọ yii, a bo nigbati atunṣe-itanran jẹ pataki, awọn ọna ipilẹ rẹ ati awọn eewu. Ibi-afẹde ni lati jẹ ki o ṣe ipinnu.
Ni akọkọ ibeere ti o tọ: ṣe atunṣe daradara jẹ pataki?
Aṣiṣe ti o gbowolori julọ ti awọn olubere ni lati yara lẹsẹkẹsẹ si iṣatunṣe iṣoro kan ti o le yanju. Ṣeto aṣẹ bi eleyi:
- Imọ-ẹrọ kiakia: Itọkasi to dara ti o ṣe alaye iṣẹ-ṣiṣe ni kedere yanju awọn iṣoro pupọ julọ. Lo nibi akọkọ.
- Ikẹkọ diẹ-shot: Gbigbe awọn apẹẹrẹ diẹ ninu itọka fihan awoṣe ọna kika ati ihuwasi ti o fẹ.
- RAG: Ti iṣoro naa ba jẹ "aini alaye" (nilo fun data ti awoṣe ko mọ), ojutu jẹ RAG (kuro 4), kii ṣe atunṣe daradara.
- Titun-tuntun: O wa sinu ere ti eyi ko ba to ati pe iṣoro naa jẹ “ihuwasi / ọna kika / aṣa”.
Iyatọ bọtini: Titun-tuntun jẹ alailagbara ati eewu ni kikọ awoṣe alaye tuntun; ṣugbọn o lagbara ni kikọ ẹkọ bi o ṣe le huwa (ọna kika kan pato, ohun orin, jargon aaye, eto deede). "Awoṣe mi ko mọ alaye ile-iṣẹ wa" → RAG. "Jẹ ki awoṣe mi nigbagbogbo fun abajade ni ọna kika gangan ti a fẹ" → oludiṣe atunṣe-itanran.
Imọran: Ṣaaju ki o to pinnu lori atunṣe-itanran, beere: "Ṣe eyi jẹ iṣoro imọ tabi iṣoro ihuwasi?" Awọn iṣoro alaye jẹ ipinnu to dara julọ pẹlu RAG, awọn iṣoro ihuwasi ni ipinnu dara julọ pẹlu atunṣe-itanran.
Awọn ọna ṣiṣe atunṣe
Atunse itanran ni kikun: Tunṣe gbogbo awọn aye ti awoṣe. Alagbara julọ ṣugbọn gbowolori julọ; O nilo hardware nla (GPU) ati data iṣọra. Ko ṣe pataki fun ọpọlọpọ awọn ẹgbẹ.
Iṣatunṣe-daradara paramita (PEFT): Awọn ọna ti o di pupọ julọ ti awoṣe, ikẹkọ eto kekere ti awọn aye afikun. Ohun ti o wọpọ julọ ni LoRA (Aṣamubadọgba ipo-kekere: ikẹkọ kekere awọn ipele “adapter” ti a ṣafikun si awoṣe). LoRA n pese awọn abajade ti o sunmọ isọdọtun itanran ni kikun, pẹlu iranti ti o kere pupọ ati idiyele; Ti o ni idi ti o jẹ aṣayan akọkọ ni iṣe.
Abojuto Fine-Tuning (SFT): Kikọ awoṣe lati “dahun si igbewọle yii bii eyi” pẹlu data ti o ni awọn orisii igbewọle ti o dara julọ. O jẹ oju iṣẹlẹ ti o wọpọ julọ.
Ẹkọ imudara lati awọn esi eniyan (RLHF): Ṣiṣe deede ihuwasi awoṣe lati awọn idahun ti eniyan fẹ. O ti wa ni eka ati ki o gbowolori; Awọn iwulo ti awọn ẹgbẹ ohun elo pupọ julọ ni a pade pẹlu SFT. O ti to lati mọ RLHF gẹgẹbi imọran.
Data: okan ti itanran-yiyi
Didara ti iṣatunṣe itanran da lori didara data ikẹkọ. Awọn didara giga ọgọrun diẹ, awọn apẹẹrẹ ti o ni ibamu dara ju awọn ẹgbẹẹgbẹrun awọn ti o lọra lọ. Nigbati ngbaradi data:
- Iduroṣinṣin: Gbogbo awọn apẹẹrẹ ṣe afihan ọna kika ati ohun orin ti o fẹ nigbagbogbo. Awọn apẹẹrẹ ti o lodi si fi awoṣe jẹ idamu.
- Orisirisi: Awọn apẹẹrẹ bo orisirisi ni lilo gangan, ṣugbọn kii ṣe aṣọ.
- Ninu: Awọn apẹẹrẹ ti o ni aṣiṣe ninu, abosi, tabi data ti o farapamọ ti wa ni gbigbe sinu awoṣe patapata. Awọn data atunṣe to dara yẹ ki o ka ni pẹkipẹki bi adehun kan.
Išọra: Gbogbo ojuṣaaju, aṣiṣe, ati alaye ti o farapamọ ti o wọ inu data isọdọtun ti o dara ni a tẹ sinu awoṣe ati tun farahan ninu awọn abajade rẹ. Ṣiṣayẹwo data ikẹkọ rẹ bi o ti ṣoki bi ẹnipe o ṣe atẹjade; Maṣe firanṣẹ data ti ara ẹni.
Atunwo: ṣe atunṣe atunṣe daradara?
Ṣaaju iṣatunṣe itanran, ṣe ifipamọ eto eval kan ti o waye ki o wọn Dimegilio awoṣe laisi atunṣe-itanran (awoṣe mimọ). Lẹhin titun-tuntun, wiwọn lẹẹkansi ni banki kanna. O ko le sọ "o ti dara julọ" laisi lafiwe. Paapaa awọn ẹgẹ meji lati ṣe akiyesi:
- Ikẹkọ: Overtraining pẹlu data kekere jẹ ki awoṣe padanu agbara rẹ lati ṣe akori ati ṣakopọ awọn apẹẹrẹ ikẹkọ.
- Igbagbe ajalu: Overtraining lori iṣẹ-ṣiṣe dín le ṣe ibajẹ awọn agbara gbogbogbo ti awoṣe. Ṣe idanwo boya awọn ọgbọn atijọ ti wa ni idaduro lakoko ti o n gba ihuwasi tuntun naa.
Ọna ti ko lagbara / Ona ti o lagbara
Ailagbara: "Mo ni awọn akọọlẹ iwiregbe 3000, jẹ ki a fun gbogbo wọn si atunṣe-itanran, ki awoṣe le sọrọ bi wa."
Güçlü: "Ni akọkọ Mo ṣe ayẹwo awoṣe ipilẹ pẹlu awọn iṣẹ-ṣiṣe 100 gidi, ṣe akiyesi iṣiro naa. Mo ṣe iwọn bi o ṣe dara si pẹlu awọn itọsi ati diẹ-shots - ko to. Lẹhinna lati awọn iwe-ipamọ 3000, Mo ti yan ati ki o nu nikan 400 awọn ayẹwo pẹlu didara to gaju, ọna kika ti o ni ibamu ati pe ko si data ti o farasin. Mo ṣe atunṣe daradara pẹlu iṣẹ-ṣiṣe 1 ti o yatọ pẹlu LoRA, ati pe o tun ṣe atunṣe pẹlu iṣẹ-ṣiṣe 1 kanna. awọn agbara gbogbogbo ti wa ni pipe."
Iyatọ naa: ọna ti o lagbara n mu awọn omiiran kuro ni akọkọ, ṣẹẹri-yan data, awọn iwọn ṣaaju-ati-lẹhin, ati awọn idanwo fun awọn ipa ẹgbẹ.
Otito ti iye owo ati itọju
Ṣiṣe atunṣe daradara kii ṣe iṣẹ-akoko kan; O jẹ ojuṣe itọju. O le jẹ pataki lati tun ṣe atunṣe nigbati awoṣe ipilẹ ti ni imudojuiwọn, nilo iyipada, tabi data ti sọnu. Ni afikun, gbigbalejo awoṣe aifwy itanran mu awọn idiyele afikun ati awọn iṣẹ wa. Ṣe afiwe idiyele lapapọ ti nini pẹlu ilosoke ninu didara ti o pese. Ni ọpọlọpọ igba, itọsi ti o dara + RAG jẹ din owo ati irọrun diẹ sii ju iṣatunṣe itanran.
mẹta mini igba
Ọran 1 - Atunse itanran ti ko wulo. Ẹgbẹ kan bẹrẹ iṣẹ akanṣe atunṣe ti o gbowolori nitori “apẹẹrẹ wa ko mọ awọn ọja wa.” Awọn oṣu ati isuna ti a lo, abajade jẹ ẹlẹgẹ - awoṣe naa di arugbo ni gbogbo igba ti katalogi ọja yipada. Lakotan wọn yipada si RAG: wọn mu data ọja lati ipilẹ iwe-ipamọ, imudojuiwọn naa jẹ lẹsẹkẹsẹ ati idiyele lọ silẹ. Ẹkọ: iṣoro alaye naa ko ni yanju nipasẹ iṣatunṣe itanran.
Ọran 2 - Atunse itanran ti o tọ. Ile-iṣẹ iṣeduro kan fẹ ki awoṣe nigbagbogbo gbejade awọn akopọ eto imulo ni ọna kika lile kanna (ohun kan nipasẹ gbolohun ọrọ, pẹlu awọn akọle kan pato). Aitasera pẹlu tọ ti wa ni di ni 70%. Lẹhin atunṣe-itanran LoRA pẹlu awọn ayẹwo 300 ti o dara, aitasera kika pọ si 98%. Eyi jẹ iṣoro ihuwasi ati iṣatunṣe itanran jẹ ọpa ti o tọ.
Ọran 3 - Asiri salọ sinu data. Ẹgbẹ kan fi awọn akọọlẹ iwiregbe silẹ si iṣatunṣe itanran laisi mimọ wọn. Awọn akọọlẹ naa ni awọn orukọ alabara gidi ati awọn nọmba idanimọ ninu. Awoṣe aifwy ti o dara bẹrẹ “jo” awọn orukọ wọnyi bi o ṣe jade ninu awọn ibeere ti ko ni ibatan. Awọn awoṣe ti a yorawonkuro, data boju ati retrained. Ẹkọ: Alaye ti o farapamọ ni data atunṣe-itanran ti gbe lọ si awoṣe patapata.
Awọn awoṣe idakọ
Ran mi lọwọ lati pinnu boya iṣatunṣe itanran jẹ pataki fun iṣoro mi yii. Isoro: [apejuwe] Ṣe eyi jẹ iṣoro ALAYE (awoṣe ko mọ nkankan) tabi iṣoro IWA (awoṣe ko ṣe agbekalẹ ọna kika/ohun orin/ igbekale ti Mo fẹ)? Njẹ o le yanju pẹlu iyara, shot-die ati RAG akọkọ? Kini idi ti o ṣe gbiyanju / ko gbiyanju ọkọọkan wọn? Nikan labẹ ipo wo ni iwọ yoo ṣeduro iṣatunṣe itanran?
Ṣayẹwo yi dataset-tuning itanran: 1) Ṣe awọn apẹẹrẹ ni ibamu ni ọna kika ati ohun orin?2) Ṣe wọn bo iyatọ ni lilo gangan bi?3) Ṣe o ni asiri / data ti ara ẹni (gbọdọ wa ni boju)?4) Ṣe awọn apẹẹrẹ ti o fi ori gbarawọn?
Ṣe agbejade ero igbelewọn ṣaaju ati lẹhin titọ-itanran. Iṣẹ-ṣiṣe: [apejuwe] - Bawo ni o yẹ ki a yan eval ti o waye-jade? - Bawo ni a ṣe jẹ iwọn ti awoṣe ipilẹ? - Pẹlu metiriki wo ni a ṣe afiwe lẹhin ti o dara? - Bawo ni MO ṣe idanwo pe awọn agbara gbogbogbo ko ni ipalara (igbagbe ajalu)?
Dabaa hyperparameters ibẹrẹ fun atunṣe-itanran pẹlu LoRA. Iwọn data: [nọmba awọn ayẹwo] Idi: [ọna kika/kikọ ohun orin]Dabaa asiko, oṣuwọn ẹkọ, ati idaduro ni kutukutu lati yago fun ikẹkọ.
tabili ipinnu: eyi ti ọpa nigbati
nilo
gbiyanju akọkọ
Atunse daradara?
Awọn awoṣe ko mọ eyikeyi alaye
RAG
rara
Ti beere fun data lọwọlọwọ
RAG
rara
Specific kosemi kika
diẹ Asokagba
Ti ko ba to bẹẹni
Ohun orin/ara deede
tọ + diẹ-shot
Ti ko ba to bẹẹni
Field jargon / ara
kiakia
Ti iyẹn ko ba to, LoRA
Imudara iṣẹ-ṣiṣe ti o rọrun
kiakia ina-
Ni gbogbogbo rara
Awọn aṣiṣe ti o wọpọ
- Igbiyanju lati yanju iṣoro alaye naa pẹlu atunṣe-itanran. RAG ni ọtun ọpa.
- Nṣiṣẹ sinu atunṣe-itanran laisi jijẹ kiakia / diẹ-shot / RAG. Gbowolori ati ki o kobojumu.
- Ikẹkọ pẹlu kekere didara / rogbodiyan data. Kere ṣugbọn ko o data dara julọ.
- Fifi data asiri sinu ẹkọ. Yẹ infiltrates awọn awoṣe.
- Ko wiwọn ṣaaju ati lẹhin. O ko le jẹrisi imularada.
- Ko ṣe idanwo igbagbe ajalu. Ọgbọn tuntun le ba ti atijọ jẹ.
Ni akojọpọ
Titun-finifini jẹ ohun elo ti o lagbara ṣugbọn gbowolori ati pe o yẹ ki o gbero nikan fun awọn iṣoro ihuwasi / ọna kika lẹhin ti n gba kiakia-diẹ-shot-RAG; awọn iṣoro alaye jẹ ti RAG. Awọn ọna ṣiṣe-daradara gẹgẹbi LoRA jẹ yiyan akọkọ ti o wulo. Didara gbarale patapata lori didara data; Lo kekere ṣugbọn mimọ, dédé ati data asiri. Wiwọn ṣaaju ati lẹhin, idanwo fun overlearing ati isonu ti agbara. Titun-tuntun jẹ iṣẹ itọju; Ṣe iwọn idiyele lapapọ rẹ lodi si didara ti o ṣe.
Ohun elo iṣẹ-ṣiṣe
Yan iṣoro kan ki o pinnu boya iṣatunṣe itanran jẹ pataki nipa iyatọ laarin “imọ tabi ihuwasi” ki o kọ idalare rẹ. Ti o ba jẹ iṣoro ihuwasi, mura awọn ayẹwo deede 20-30, ṣayẹwo fun data ti o farapamọ, ati ṣe igbasilẹ ero igbelewọn ṣaaju-ati-lẹhin (iṣupọ ti o waye, Dimegilio ipilẹ, metric lafiwe, idanwo igbagbe). Ti o ba le yanju pẹlu RAG / diẹ-shot dipo ti o dara-yiyi, ṣe akọsilẹ eyi paapaa.
akojọ ayẹwo
- [] Mo pinnu boya iṣoro naa jẹ imọ tabi ihuwasi.
- [] Mo kọkọ ṣe ayẹwo itọsi, diẹ-shot ati awọn omiiran RAG.
- [] Mo ṣe ayẹwo data atunṣe-itanran fun aitasera, oniruuru ati aṣiri.
- [] Mo pin iṣupọ eval ti o waye ati pe mo wọn Dimegilio ipilẹ.
- [] Mo ti gbero kan ṣaaju-lẹhin lafiwe ati ki o gbagbe igbeyewo.
- [] Mo ṣe afiwe iye owo lapapọ pẹlu didara ti o pese.