Itupalẹ Ifarabalẹ ati Isakoso Didara: QA pẹlu Awọn atupale Ọrọ

Awọn anfani:

• Agbara lati ka olukuluku ati awọn aṣa apapọ pẹlu itupalẹ itara ati awọn atupale ọrọ ati lo awọn ikun bi awọn ifihan agbara dipo awọn ododo pipe.
• Agbara lati ṣe ọlọjẹ 100% ti awọn ibaraẹnisọrọ pẹlu kaadi Dimegilio ohun ati gbejade igbelewọn alakoko ti o da lori ẹri, lakoko ti o nlọ ipinnu ikẹhin si eniyan
• Agbara lati ṣe agbekalẹ eto didara pẹlu akoyawo ati kuro ni aṣa ijiya fun idi ti idagbasoke ati ilọsiwaju iriri

Ẹgbẹẹgbẹrun awọn ibaraẹnisọrọ wa ni gbogbo ọjọ ni ile-iṣẹ ipe kan, ṣugbọn pẹlu ọna kilasika, ẹgbẹ didara le gbọ nikan ati ṣe iṣiro apakan kekere kan ninu wọn (1-2% ni ọpọlọpọ awọn aaye). Iyẹn tumọ si 98% awọn ibaraẹnisọrọ ti sọnu laisi ayẹwo lailai; Paapa ti o ba jẹ pe alabara kan ni aiṣedeede tabi aṣoju leralera fun alaye eke, ko si ẹnikan ti o le ṣe akiyesi. Oye itetisi atọwọdọwọ yi aworan yi pada: o le ka ati ṣe iṣiro gbogbo ibaraẹnisọrọ. Ninu ẹyọ yii, a yoo bo awọn koko-ọrọ meji ti o ni ibatan: itupalẹ itara (diwọn ohun orin ẹdun ti alabara ati aṣoju) ati iṣakoso didara (QA - Idaniloju Didara; ṣe iṣiro ibamu awọn ibaraẹnisọrọ pẹlu awọn iṣedede).

Awọn igba akọkọ meji. Itupalẹ ero inu jẹ rere, odi tabi ohun orin ẹdun didoju ti ọrọ tabi ọrọ; O jẹ lati ṣawari awọn ipo laifọwọyi gẹgẹbi ibinu, itelorun ati aibalẹ. Awọn atupale ọrọ (awọn itupalẹ ibaraenisepo) ni lati ṣe itupalẹ gbogbo awọn ibaraẹnisọrọ ni apapọ ati jade awọn aṣa, awọn koko-ọrọ loorekoore, awọn ewu ati awọn aye. Papọ, wọn fun ile-iṣẹ ipe "etí igbọran": ti o npese itumọ lati awọn ẹgbẹẹgbẹrun awọn ibaraẹnisọrọ ti oluṣakoso ko le tẹtisi si ẹyọkan.

Itupalẹ itara: titọju pulse

Itupalẹ itara ṣiṣẹ lori awọn ipele meji. Ipele ẹyọkan: fihan ohun orin gbogbogbo ti ibaraẹnisọrọ (“onibara bẹrẹ si binu, bajẹ bajẹ”) ati awọn aaye titan. Ipele apapọ: yọkuro awọn aṣa bii “imọlara odi soke 18% ni ọsẹ yii, pupọ julọ nipa 'owo'” lati ẹgbẹẹgbẹrun awọn ibaraẹnisọrọ. Alaye yii jẹ goolu: o mu igbi ibinu ti nyara, ọrọ ọja kan, tabi rudurudu nipa ipolongo tuntun ni kutukutu.

Sibẹsibẹ, itupalẹ imọlara ko pe. Ni Tọki, ẹgan, irony ati awọn idiomu le ṣi awoṣe lọna (gbolohun naa “O ṣeun pupọ, iṣẹ nla!” le ti sọ ni ibinu). Paapaa, Dimegilio itara jẹ ifihan agbara, kii ṣe otitọ pataki. Nitorinaa lo itupalẹ itara kii ṣe lati jiya aṣoju kọọkan, ṣugbọn lati rii awọn aṣa ati ṣe afihan awọn ibaraẹnisọrọ ti o nilo akiyesi.

Imọran: Lo itupalẹ itara bi “itaniji,” kii ṣe “idajọ.” A nikan odi Dimegilio ko ni da a asoju; ṣugbọn aṣa aibikita ti nyara tọka si agbegbe ti o nilo idanwo. Daju ifihan agbara pẹlu eniyan.

Isakoso didara: 100% igbelewọn dipo 1%

Ni QA Ayebaye, alamọja didara kan ṣe ikun awọn ipe ti a yan laileto pẹlu fọọmu igbelewọn (kaadi-awọn nkan bii “ni ikini ti a fun, ti jẹri idanimọ, ni ojutu ti a funni, o jẹ pe pipade yẹ”). Ọna yii jiya lati iwọn ayẹwo kekere, koko-ọrọ, ati awọn ọran idaduro. Ni QA itetisi atọwọda ti o ni atilẹyin, awoṣe laifọwọyi ṣe iṣiro gbogbo awọn ibaraẹnisọrọ ni ibamu si awọn ohun kaadi Dimegilio; Nkan wo ni o padanu, awọn ọrọ wo ni eewu, aṣoju wo ni o yẹ ki o ṣe atilẹyin lori ọran wo - o fihan gbogbo wọn.

Ojuami pataki: Dimegilio QA AI jẹ ibojuwo alakoko ati itọkasi, kii ṣe igbelewọn ikẹhin. AI sọ pe “ibaraẹnisọrọ yii dabi ẹni pe o ti fo igbesẹ ìfàṣẹsí”; Onimọran didara ṣe ayẹwo awọn ibaraẹnisọrọ ti o samisi wọnyi ati ṣe ipinnu ikẹhin. Nitorinaa, dipo gbigbọ awọn ẹgbẹẹgbẹrun awọn ibaraẹnisọrọ, iwé naa dojukọ awọn ibaraẹnisọrọ eewu / apẹẹrẹ ti awọn asia AI - mejeeji ti o dara ati okeerẹ.

Tabili ti o tẹle yii ṣe afiwe awọn ọna meji:

Iwọn

Ayebaye QA

AI-agbara QA

Ààlà

1-2% ti awọn ibaraẹnisọrọ

100% ṣayẹwo

Iye akoko

O lọra, gbigbọ ọwọ

Ayẹwo lẹsẹkẹsẹ

Iduroṣinṣin

Yatọ da lori iwé

Loo nigbagbogbo si ami-ami

koko-ọrọ

ga

Idiwọn jẹ kedere, ifihan agbara + eniyan

ik ipinnu

amoye

Amoye (fojusi lori AI)

Ewu

Sa awọn iṣoro

Ami eke (a gbọdọ jẹri)

Igbese nipa igbese: AI-agbara eto didara

1. Ṣe alaye kaadi Dimegilio: Kọ awọn nkan igbelewọn ni pipe ati ni iwọn (kii ṣe aiduro bii “ṣe iṣe pẹlu iteriba”, ṣugbọn o han gbangba bi “onibara ti a kí nipasẹ orukọ/adirẹsi ti o yẹ”).
2. Fun AI awọn ibeere: Ṣe iwọn ibaraẹnisọrọ kọọkan bi “ti ṣe / ko ṣe / ko ṣe akiyesi” ni ibamu si awọn nkan wọnyi; O ṣe afihan gbolohun ẹri naa.
3. Ṣe afihan awọn ti o lewu: Mu igbelewọn kekere, ibinu, tabi ifaramọ-ewu awọn ibaraẹnisọrọ si amoye.
4. Amoye jerisi: Ik Dimegilio ati esi je ti si eda eniyan; Awọn aaye ti AI pe “aidaniloju” wa ni pato fun eniyan.
5. Yipada si ikẹkọ: Lo awọn awari fun idagbasoke aṣoju - dojukọ ilọsiwaju, kii ṣe ijiya.

Mẹrin daakọ awọn awoṣe

1) Idiwon kaadi:

Ṣe iṣiro ibaraẹnisọrọ ailorukọ atẹle ni ibamu si awọn nkan atẹle. Fun ohun kọọkan: fun ipo = [ti ṣe / ko ṣe / ko ṣe kedere] ati gbolohun Ẹri kan (ọrọ lati inu ibaraẹnisọrọ naa). Ti ko ba si ẹri, sọ "koyewa"; amoro

2) Imọlara ati itupalẹ aaye titan:

Fa itọpa ẹdun ti ibaraẹnisọrọ ailorukọ ni isalẹ.- Bibẹrẹ ohun orin, ipari ohun orin (itura / ibinu / aibalẹ / itelorun), - Akoko nigbati imolara yipada ati idi ti (pẹlu agbasọ), - Njẹ eyikeyi awọn ami ti ibinu / idaamu, bawo ni oluranlowo ṣe mu u? Ṣe akiyesi irony / sarcasm ti o ṣeeṣe; Ti o ko ba da ọ loju, sọ "ko ṣe kedere". Ọrọ: <<transcription>>

3) Iroyin aṣa apapọ:

Ni isalẹ wa ni awọn afi ibaraẹnisọrọ ailorukọ ti ọsẹ yii ati awọn ikun ikunsinu. (1) Awọn julọ npo odi-imolara koko, (2) ṣee ṣe root fa ilewq (mule), (3) 3 ero niyanju lati wa ni ayewo. Ya awọn nọmba lati awọn data, ma ko ṣe wọn soke; samisi awọn idawọle bi "a gbọdọ jẹrisi".Data: <<tabili akopọ>>

4) Akopọ ikẹkọ (idagbasoke aṣoju):

Ṣe agbejade idojukọ-idagbasoke, akọsilẹ ikẹkọ ti kii ṣe ijiya fun aṣoju ONE ti o da lori awọn ibaraẹnisọrọ igbelewọn atẹle. - Awọn agbara (2), - Agbegbe fun ilọsiwaju (2, pẹlu awọn apẹẹrẹ ti nja), - 1 ti a daba micro- ìlépa. Idajọ ti ara ẹni/lilo awọn akole.Data: <<awọn idiyele ọrọ >>

Ailagbara kiakia / Alagbara kiakia

Ibere ​​ailagbara:

Ṣe oṣuwọn boya aṣoju yii dara tabi buburu.

Koko-ọrọ, laisi awọn ibeere, laisi ẹri, ijiya; O ṣe agbejade “idajọ” aiṣododo ati aibikita.

Ibere ​​ti o lagbara:

Ṣe iṣiro ibaraẹnisọrọ ailorukọ yii ni ibamu si kaadi iṣiro ohun-6; Fun ohun kọọkan, sọ ti a ṣe / ko ṣe / ko ṣe kedere + Ẹri lati ọrọ naa. Ti ko ba si ẹri, sọ "koyewa". Mo (iwé didara) yoo ṣe ipinnu ikẹhin; o kan ṣe igbelewọn alakoko pẹlu ẹri.

Iyatọ: iyasọtọ naa jẹ kedere, ẹri jẹ dandan, aidaniloju jẹ otitọ, ipinnu ikẹhin wa pẹlu eniyan naa.

mẹta mini igba

Ọran 1 - Agbara 100% agbegbe. Ni banki kan, ẹgbẹ QA le tẹtisi ~ 1,200 awọn ibaraẹnisọrọ fun oṣu kan (1.5% ti lapapọ). Gbogbo awọn ibaraẹnisọrọ 80,000 ti ṣayẹwo pẹlu AI; O wa ni jade pe a ti fo igbese ìfàṣẹsí 6% ti awọn akoko - a ibamu ewu ti yoo ko ri pẹlu Ayebaye iṣapẹẹrẹ. Pẹlu ikẹkọ ifọkansi, oṣuwọn lọ silẹ si kere ju 1% ni awọn oṣu 2.

Case 2 - Irony pakute. Ni ile-iṣẹ e-commerce kan, awoṣe ẹdun ṣe akiyesi awọn gbolohun ọrọ ironic gẹgẹbi "iwọ jẹ nla, Mo ti n duro de awọn ọjọ 3" bi "rere"; nitorina diẹ ninu awọn onibara ibinu dabi enipe "tẹlọrun". Nigbati awoṣe ko ba jẹ oluṣe ipinnu nikan ati pe awọn ikun ti jẹri nipasẹ iṣapẹẹrẹ pẹlu oju eniyan, ẹgbẹ naa samisi awọn ọran ti irony lọtọ ati igbẹkẹle ti awọn ijabọ pọ si. Ẹkọ: Dimegilio itara jẹ ifihan agbara, kii ṣe otitọ pipe.

Case 3 - Tete ikilo. Awọn atupale ọrọ ni tẹlifoonu kan fihan pe imọlara odi ni ayika “owo” pọ si nipasẹ 40% ni awọn ọjọ 3, ti o bẹrẹ ni ọjọ Tuesday. Iwadi na fi han pe awọn risiti jẹ afihan ti ko tọ ni iyipada si idiyele tuntun kan. Iṣoro naa ni a mu ati ṣeto nipasẹ ifihan agbara ẹdun ni kutukutu ṣaaju apejọ ẹgbẹẹgbẹrun awọn ẹdun. Awọn atupale ti di eto ikilọ ni kutukutu bi irinṣẹ didara kan.

Awọn aṣiṣe ti o wọpọ

• Ṣiyesi ikun ẹdun bi otitọ pipe. Irony, idiom, ati ọrọ-ọrọ ṣi awoṣe; Lo Dimegilio bi ifihan agbara, jẹrisi pẹlu eniyan.
• Ṣiṣe AI jẹ ipinnu ikẹhin. Ni QA, igbelewọn ikẹhin ati esi jẹ ti eniyan; AI awọn ilọsiwaju.
• Awọn nkan ti kaadi ikun ti aiduro. "O huwa daradara" ko le wọn; Kọ ohun to daju, awọn nkan ti o le rii daju.
• Yipada QA sinu ohun elo fun ijiya. Ero ni idagbasoke ati iriri alabara; Awọn aṣa ti ijiya ṣe ipalọlọ aṣoju ati ibajẹ data naa.
• Igbelewọn lai eri. Wiwa kọọkan yẹ ki o ni atilẹyin nipasẹ agbasọ ọrọ kan; Bibẹẹkọ o yẹ ki o pe ni “koyewa”.

Išọra: Wiwọn gbogbo awọn ibaraẹnisọrọ pẹlu AI jẹ alagbara ṣugbọn itara. Yipada eyi sinu eto ti o ṣe abojuto nigbagbogbo ati ijiya awọn oṣiṣẹ jẹ aiṣedeede mejeeji ati ba igbẹkẹle ẹgbẹ jẹ. Ibi-afẹde ni lati ni ilọsiwaju iriri alabara ati idagbasoke aṣoju; Itumọ ati idojukọ idagbasoke jẹ pataki.

Ni akojọpọ

Itupalẹ ero inu ati iṣakoso didara agbara AI fun awọn etí ile-iṣẹ ipe lati gbọ ẹgbẹẹgbẹrun awọn ibaraẹnisọrọ: ọlọjẹ 100% ti apẹẹrẹ dipo 1%, mimu awọn aṣa ni kutukutu ati ṣiṣe igbelewọn didara ni ibamu. Ṣugbọn ikun itara jẹ ifihan agbara, kii ṣe otitọ pipe; Ni QA, ipinnu ikẹhin jẹ ti eniyan. Kọ kaadi Dimegilio ni ifojusọna, tọka gbogbo wiwa si ẹri, fi aidaniloju silẹ fun eniyan, ki o fi idi gbogbo eto ṣiṣẹ pẹlu akoyawo, pẹlu ero ti idagbasoke ati ilọsiwaju iriri, kii ṣe ijiya.

Ohun elo iṣẹ-ṣiṣe

Ṣe apẹrẹ kaadi Dimegilio idi kan pẹlu awọn ohun 6 (ohun kọọkan yẹ ki o jẹ iwọnwọn ati iṣeeṣe). Mu iwe afọwọkọ airotẹlẹ/ailorukọ ki o lo awọn awoṣe “1) Iṣiro kaadi” ati “2) itupalẹ itara” awọn awoṣe. Ṣe afihan awọn agbegbe nibiti awoṣe ti sọ “aibikita” tabi nibiti irony le wa ki o kọ bii alamọja eniyan ṣe yẹ ki o rii daju wọn. Nikẹhin, ṣe agbejade akọsilẹ idojukọ-idagbasoke pẹlu “4) akopọ ikẹkọ.”

akojọ ayẹwo

• [] Awọn ohun kaadi Dimegilio mi jẹ idiwọn, wiwọn ati rii daju.
• [] Ayẹwo iṣaju iṣayẹwo AI; Ipinnu QA ikẹhin ati esi wa pẹlu eniyan.
• [] Mo lo awọn ikun itara bi awọn ifihan agbara, kii ṣe bi otitọ pipe.
• [] Awari kọọkan ni atilẹyin nipasẹ asọye ẹri lati ibaraẹnisọrọ; bibẹkọ ti "koyewa".
• [] Mo ṣeto eto naa fun idi ti idagbasoke ati ilọsiwaju iriri, kii ṣe ijiya.
• [] Idi ati ipari ti onínọmbà naa ni a ṣe alaye ni gbangba si awọn oṣiṣẹ.