Awọn anfani:
- Agbara lati pin awọn iwe afọwọkọ ifọrọwanilẹnuwo ati awọn idahun iwadii ipari-iṣiro sinu awọn akori pẹlu oye atọwọda ati atilẹyin wọn pẹlu awọn itọka ẹri
- Agbara lati ṣe akopọ data iwadii pipo ati yago fun itumọ aṣiwere (apẹẹrẹ kekere, ibeere asiwaju, ojuṣaayan yiyan)
- Agbara lati ṣiṣẹ ni ihuwasi ati ibamu KVKK nipa aabo aabo alabaṣe ati awọn iwe afọwọkọ ailorukọ
Awọn oye ti o dara julọ ni ijumọsọrọ nigbagbogbo ko wa ninu awọn shatti ṣugbọn ninu ohun ti eniyan sọ. Ifọrọwanilẹnuwo oluṣakoso, awọn idahun ti o ṣii si iwadii alabara, awọn akọsilẹ lati ibẹwo aaye kan… Iwọnyi jẹ data ti kii-nọmba (didara) ati pe o gba awọn wakati lati ka, koodu, ati pin si awọn akori. Oye itetisi atọwọda ṣe iyara iṣẹ yii gaan: O fọ awọn iwe afọwọkọ ifọrọwanilẹnuwo 30 sinu awọn akori ni iṣẹju, wiwa awọn ilana loorekoore. Ṣugbọn awọn ewu meji wa: awoṣe le “ṣe” akori kan (fi ọrọ kan kun ti ko si ninu iwe afọwọkọ), ati pe asiri alabaṣe le ni irọrun ru. Ninu ẹyọ yii, a yoo kọ ẹkọ lati ṣe itupalẹ data agbara ni orisun-ẹri, ọna ailewu.
Itupalẹ didara: lati ifaminsi si akori
Itupalẹ didara ni awọn igbesẹ mẹta. Ifaminsi akọkọ: alaye kọọkan ni a fun ni aami kukuru kan (“ẹdun idiyele”, “iyin ifijiṣẹ”). Lẹhinna akori: awọn koodu ti o jọra ni a gba sinu akori kan (“aini itẹlọrun iṣẹ”). Ni ipari, asọye: ibatan laarin awọn akori ati “ki kini” Layer ti wa ni idasilẹ. AI jẹ iyara pupọ ni awọn igbesẹ meji akọkọ; Ìgbésẹ̀ kẹta gba ìdájọ́ agbani-nímọ̀ràn.
Idaniloju to ṣe pataki julọ ni eyi: akori kọọkan gbọdọ ni atilẹyin nipasẹ agbasọ ọrọ-ọrọ. Eleyi jerisi pe awọn akori kosi ba wa ni lati awọn data; Akori agbasọ ọrọ-ọrọ gbejade eewu ti hallucination.
Rẹ ipa: qualitative iwadi analyst.Ni isalẹ jẹ ẹya anonymized tiransikiripiti ti 12 onibara ojukoju (aami P1, P2...) .Iṣẹ: 1) Jade loorekoore awọn akori (soke si 7 awọn akori) .2) Fun kọọkan akori: melo ni awọn olukopa ti ri o + 2 verbatim avvon (pẹlu alabaṣe koodu) 3) Ṣe afihan awọn gbolohun ọrọ ti o yatọ: Dome ninu iwe afọwọkọ; Akori kọọkan gbọdọ jẹ ẹri pẹlu agbasọ ọrọ. - Maṣe gbejade alaye idanimọ miiran ju awọn koodu alabaṣe lọ. - Ṣe atokọ awọn imọran “kere ṣugbọn pataki” lọtọ ni ipari (awọn ohun ti o tako).
Ilana ti o lagbara miiran ni lati beere awoṣe lati ṣe koodu pẹlu awọn ẹka ti o wa titi ti o pato, dipo ki o jẹ ki o ṣeto eto koodu tirẹ ni akọkọ. Fun apẹẹrẹ, ti o ba fun awọn akori ti a ti sọ tẹlẹ ninu iwadi itelorun alabara gẹgẹbi “owo, didara ọja, ifijiṣẹ, atilẹyin, irọrun ti lilo”, awọn iwe afọwọkọ oriṣiriṣi di afiwera ati pe awoṣe naa ni idiwọ lati ṣe awọn orukọ oriṣiriṣi ni igba kọọkan. Iyọkuro akori ọfẹ dara fun iṣawari, lakoko ti ifaminsi ẹka ti o wa titi dara fun lafiwe ati wiwọn; Fun ọpọlọpọ awọn iṣẹ akanṣe, lilo mejeeji papọ ṣiṣẹ dara julọ: iṣawakiri ọfẹ ni akọkọ, lẹhinna ṣe nọmba pẹlu ero ti o wa titi.
Ipa rẹ: oluranlọwọ ifaminsi agbara. Awọn ẹka ti o wa titi: [owo, didara, ifijiṣẹ, atilẹyin, irọrun ti lilo, miiran]. Iṣẹ-ṣiṣe: Fi idahun-sisi-ipin kọọkan lelẹ ni isalẹ si ọkan tabi diẹ ẹ sii ti awọn ẹka wọnyi. - Kọ gbolohun ọrọ ti o nfa ni idahun (verbatim) lẹgbẹẹ iṣẹ iyansilẹ kọọkan. - Fi ami si boya idahun jẹ rere tabi odi ni itara. Ṣafikun awọn asọye ko wa ninu idahun.
Imọran: O ṣe pataki pupọ lati beere fun awọn ero “kekere ṣugbọn pataki” lọtọ. Itaniji ti a sọ ni ẹẹkan ṣugbọn ti o ṣe pataki (fun apẹẹrẹ alabara nla kan ti o sọ “a n gbero lati tunse adehun naa”) sọnu ni awọn akori pupọ julọ; maa wa han nigba ti a ṣe akojọ lọtọ.
Ìpamọ ati àìdánimọ
Awọn iwe afọwọkọ ifọrọwanilẹnuwo jẹ data ti ara ẹni ati pe o jẹ ifarabalẹ nigbagbogbo (awọn ẹdun oṣiṣẹ, awọn ariwisi oluṣakoso). Ṣaaju ki o to gbe wọn si ohun elo AI, o ṣe pataki lati ṣe ailorukọ wọn: awọn orukọ, awọn akọle, awọn alaye iyatọ inu ti rọpo nipasẹ nọmba koodu (K1, K2…). Olukopa naa nigbagbogbo ṣe ileri pe “ohun ti o sọ yoo jẹ ijabọ lainidii”; Ibaramu imọ-ẹrọ ti gbolohun yii jẹ ailorukọ.
Iru data
Ewu
iṣọra
Olukopa orukọ / akọle
ifihan idanimọ
Ropo pẹlu koodu nọmba
Ti abẹnu alaye
okunfa aiṣe-taara
Gbogbogbo tabi boju
kókó iran
Ewu ti igbẹsan
Ibamu ẹni kọọkan pẹlu ijabọ olopobobo
Gbigbasilẹ ohun/fidio
ga ifamọ
Ṣe afihan ni ohun elo ti a fọwọsi, lẹhinna paarẹ
O le jẹ ki awoṣe ṣe ailorukọ bi igbesẹ alakoko ṣaaju ikojọpọ awọn iwe afọwọkọ si ọpa; Ṣugbọn rii daju lati ṣayẹwo oju wo abajade:
Ipa rẹ: olootu asiri. Mura iwe afọwọkọ ifọrọwanilẹnuwo atẹle fun itupalẹ; ṣe awọn wọnyi masking: - Ṣe gbogbo olubasọrọ awọn orukọ K1, K2...- Generalize aiṣe-taara idamo awọn alaye bi akọle, ẹka, ipo ("Awọn nikan ajeji ẹlẹrọ ni R & D" → "ohun ẹlẹrọ") .- Yọ awọn ile- / onibara orukọ. Fun nikan ni boju-boju ọrọ; Ni ṣoki ṣe atokọ iru alaye ti o n boju-boju ati idi.
Išọra: Wipe "Ailorukọ" ko to. Ọrọ naa "Oluṣakoso obinrin nikan ti o ni iduro fun tita" n ṣe idanimọ eniyan paapaa botilẹjẹpe a ko kọ orukọ rẹ. Aifọwọyi yẹ ki o tun pẹlu gbogbo awọn alaye idanimọ aiṣe-taara. Irufin KVKK ati isonu ti igbẹkẹle alabaṣe bẹrẹ lati ibi.
Itumọ data iwadi pipo
Oye itetisi atọwọdọwọ ṣe agbejade akopọ ati didenukole ti awọn abajade iwadii ipari-ipari (nọmba). Ṣugbọn itupalẹ pipo ni awọn eewu tirẹ, ati pe awoṣe le foju wọn:
- Apeere kekere: Wipe "61% ti awọn onibara ni itẹlọrun" lati inu iwadi ti awọn eniyan 18 jẹ aṣiṣe; Ti ayẹwo ba kere, nọmba aise ati aidaniloju yẹ ki o jiroro, kii ṣe ipin ogorun.
- Ibeere asiwaju: "Bawo ni o ṣe ni itẹlọrun pẹlu iṣẹ ti o dara julọ wa?" Awọn ibeere ifibọ idahun; Abajade jẹ abosi.
- Iyatọ yiyan: Ti o ba jẹ pe awọn alabara ti o ni itẹlọrun julọ tabi ibinu julọ dahun, abajade kii yoo jẹ aṣoju agbaye.
Ṣaaju ki o to ṣe akopọ awọn abajade iwadi yii, ṣe ayẹwo ilana kan: - Ṣe iwọn ayẹwo ti to lati ṣafihan awọn abajade ni awọn ipin ogorun bi? - Ṣe awọn alaye asiwaju/asiwaju ninu awọn ibeere naa? Fi ami si .- Kini oṣuwọn esi ati ewu ti iyasọtọ aṣayan? Pese ijabọ iṣayẹwo nikan; A yoo ṣe akopọ rẹ ni ifiranṣẹ lọtọ.
mẹta mini igba
Irú 1 - Akori ti a ṣe-soke mu. Onimọran kan ṣe ipinnu awọn ibere ijomitoro 20 si awoṣe; Awoṣe yọkuro akori “awọn olukopa fẹ lati ṣiṣẹ latọna jijin.” Onimọran beere fun agbasọ kan; Awọn awoṣe le nikan ri 1 ambiguous ń. Akori naa ko si tẹlẹ, awoṣe ṣe o lati aṣa gbogbogbo. Ti ko ba si ibeere itọkasi, wiwa ti ko tọ yoo wa ninu ijabọ naa.
Ọran 2 - Aisan ti ko tọ. Ninu iṣẹ akanṣe itẹlọrun oṣiṣẹ, iwe afọwọkọ naa pẹlu “Ẹrọ-ẹrọ ajeji nikan ni R&D sọ eyi.” Ko si orukọ, ṣugbọn eniyan jẹ kedere; Ni kete ti ijabọ naa ba lọ si oluṣakoso, eewu ti igbẹsan wa. Oludamoran naa ni lati ṣagbepọ lati ibẹrẹ gbogbo awọn alaye iyatọ ("Ẹrọ-ẹrọ kan").
Ọran 3 - Kekere pakute ayẹwo. Ninu idanwo ọja, 15 ninu awọn olumulo 22 fẹran rẹ; awọn awoṣe wí pé "68% itelorun" ati ki o ti wa ni gbe lori ifaworanhan. Awọn ohun elo idoko-owo: "Awọn eniyan 22 ko ṣe aṣoju agbaye." Oludamoran naa ṣe atunṣe abajade ni otitọ bi "15 ninu awọn olumulo 22 rere; itọkasi, ijẹrisi nla ti o nilo ayẹwo"; igbekele padà.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Ka awọn ifọrọwanilẹnuwo wọnyi ki o jade awọn awari akọkọ.
Awoṣe ṣe agbejade awọn akori laisi awọn agbasọ, laisi ẹri; Ewu ti iṣelọpọ ati asiri jẹ giga.
Ibere ti o lagbara:
Rẹ ipa: qualitative Oluyanju. Tiransikiripiti ni isalẹ, ailorukọ (K1..Kn) Iṣẹ-ṣiṣe: Titi di awọn akori 7; nọmba awọn olukopa fun ọkọọkan + 2 awọn agbasọ ọrọ-ọrọ (pẹlu koodu); awọn alaye atilẹyin ati ilodi si lọtọ; kekere sugbon lominu ni ero lọtọ akojọ. Awọn ofin: fifi awọn ero ko si ninu iwe afọwọkọ; iran idanimọ; Ma fun akori kan lai avvon; samisi akori ti o ko ni idaniloju bi "ẹri ailera".
Ekunrere ati iwuwo ti awọn akori
Ni iṣiro didara, awọn imọran meji pinnu didara itumọ. Ni igba akọkọ ti ekunrere: data ti wa ni wi lati wa ni "po lopolopo" nigbati titun ojukoju ko si ohun to gbe awọn titun awọn akori; Eyi jẹ ami kan pe ayẹwo naa ti to. Ti awọn akori tuntun ba tun farahan ni ifọrọwanilẹnuwo 8th, awọn ifọrọwanilẹnuwo diẹ sii ni a nilo. Ni ẹẹkeji, iwuwo awọn akori: melo ni eniyan rii akori kan ati pataki ti koko-ọrọ naa jẹ awọn nkan oriṣiriṣi. Irọrun kekere kan ti eniyan marun mẹnuba ati eewu ifagile adehun ti eniyan kan ko dọgba ni igbohunsafẹfẹ, ṣugbọn igbehin le jẹ pataki diẹ sii ni pataki. Nitorinaa, awọn akori ipo nipasẹ igbohunsafẹfẹ nikan jẹ ṣina; Ṣe ayẹwo koko-ọrọ kọọkan ni awọn ofin ti mejeeji “awọn eniyan melo” ati “bii o ṣe pataki to”. Nini AI sọ “oṣuwọn awọn akori wọnyi ni awọn ọwọn lọtọ meji ti igbohunsafẹfẹ ati ipa iṣowo ti o pọju” jẹ ki iyatọ yii han; O ṣe idajọ ipa iṣowo naa.
Awọn aṣiṣe ti o wọpọ
- Quoteless akori gbigba. Akori kọọkan gbọdọ jẹ ẹri nipasẹ agbasọ ọrọ-ọrọ lati inu iwe afọwọkọ naa; Bibẹẹkọ, eewu kan wa ti hallucination.
- Ṣiṣe àìdánimọ Egbò. Ko to lati pa orukọ naa; Awọn alaye idamo aiṣe-taara yẹ ki o tun boju-boju.
- Nfihan apẹẹrẹ kekere pẹlu ipin ogorun. Pẹlu nọmba kekere ti awọn olukopa, awọn nọmba aise ati aidaniloju yẹ ki o jiroro, kii ṣe awọn ipin ogorun.
- Fojusi ibeere asiwaju. Abajade ti awọn ibeere asiwaju jẹ aiṣedeede; Ṣayẹwo ilana naa.
- Ọdun outliers. Ni kete ti a ti sọ, ikilọ pataki naa jẹ gbe nipasẹ awọn akori pupọ julọ; akojọ lọtọ.
- Dapọ pipo ati ti agbara. Ṣe ilana awọn asọye ti o pari pẹlu awọn abajade nọmba ni awọn ọna oriṣiriṣi.
Ni akojọpọ
Awọn data iwọntunwọnsi jẹ orisun ti oye julọ julọ ni ijumọsọrọ, ati oye atọwọda fi awọn wakati pamọ ni ifaminsi ati akori. Ṣugbọn akori kọọkan yẹ ki o jẹ ẹri pẹlu awọn agbasọ ọrọ-ọrọ, aṣiri alabaṣe yẹ ki o ni aabo ni kikun, pẹlu idanimọ aiṣe-taara, ati awọn ọfin ọna bii iṣapẹẹrẹ, aibikita ibeere, ati yiyan yẹ ki o ṣakoso ni awọn iwadii pipo. Awọn awoṣe jẹ oluka iyara ati aami; O jẹ iṣẹ alamọran lati rii daju ẹri naa, ṣetọju aṣiri, ati fi idi ipele “ki kini”.
Ohun elo iṣẹ-ṣiṣe
Mura awọn iwe afọwọkọ ifọrọwanilẹnuwo lọpọlọpọ (tabi awọn idahun iwadii ti o pari), boya gidi tabi aṣoju, ki o sọ wọn di orukọ ni akọkọ (pẹlu orukọ ati idanimọ aiṣe-taara). Jade awọn akori, awọn agbasọ ọrọ, awọn alaye ti o fi ori gbarawọn, ati awọn ohun atako pẹlu itasi agbara to lagbara. Ṣayẹwo itọka ti o kere ju akori kan ninu iwe afọwọkọ lati rii daju pe o wa nitootọ. Lẹhinna ṣe iwadii iwọn kekere kan ki o ṣe iṣiro ayẹwo ati abosi ibeere nipa bibeere iṣayẹwo ilana.
akojọ ayẹwo
- [] Mo sọ awọn iwe afọwọkọ naa di ailorukọ, pẹlu orukọ ati idanimọ aiṣe-taara.
- [] Mo jẹri akori kọọkan pẹlu agbasọ ọrọ-ọrọ.
- [] Mo ṣe afihan awọn ọrọ ikọlura ati awọn ohun ti o tako lọtọ.
- [] Ninu apẹẹrẹ kekere, Mo lo awọn nọmba aise ati aidaniloju dipo awọn ipin ogorun.
- [] Mo ti samisi awọn ibeere asiwaju.
- [] Mo ṣe ayẹwo ewu ti aibikita yiyan.
- [] Mo royin awọn asọye ifura lapapọ laisi ibaramu wọn si ẹni kọọkan.