Ẹyọ 2 / 11

Onínọmbà Data ni Iwe Iroyin Oniwadi: Yipada Awọn akopọ ti Awọn iwe sinu Awọn iroyin

Awọn anfani:

  • Agbara lati ṣawari eto data kan pẹlu oye atọwọda, ṣe agbekalẹ awọn ibeere iroyin ati jade data ifura
  • Dipo ti nini itetisi atọwọda ṣe awọn iṣiro, nini ọna ti a ṣalaye ati ṣiṣe ni ohun elo ti a ṣe ayẹwo ati gbigba ihuwasi ti ijẹrisi wiwa kọọkan lati data aise.
  • Lílóye pé ojúṣe oníròyìn ni láti kọ àwọn olùtajà sílẹ̀ àti láti ṣàkọsílẹ̀ àwọn ìbáṣepọ̀ pamosi kí o sì fìdí wọn múlẹ̀ ní orísun ìpilẹ̀ṣẹ̀.

Iwe iroyin oniwadi nigbagbogbo bẹrẹ pẹlu opoplopo: iwe kaunti tutu ti ẹgbẹẹgbẹrun awọn laini, iwe iwọntunwọnsi ti awọn ọgọọgọrun awọn oju-iwe, ile ifipamọ imeeli ti jo, ṣeto inawo inawo gbogbo eniyan. Iwe iroyin data - iṣe ti wiwa awọn ilana, awọn aiṣedeede, ati awọn ibatan ni nọmba ati data iwe-ipamọ ati yiyi wọn pada si awọn iroyin - jẹ iṣẹ gangan ti ṣiṣe oye ti ibi-iye yii. Ninu awọn akopọ wọnyi, eyiti yoo gba igbesi aye eniyan lati wo nipasẹ pẹlu ọwọ, oye atọwọda (AI) jẹ ibojuwo akọkọ ti o lagbara ati ohun elo ti ipilẹṣẹ imọran: o le ṣe akopọ tabili kan, yọ awọn orukọ ẹda-iwe jade ninu iwe-ipamọ ọrọ, daba kini awọn ibeere lati beere fun itupalẹ, paapaa ṣe apejuwe awọn igbesẹ mimọ data. Ṣugbọn jẹ ki a fi gbolohun kan sii lati ibẹrẹ: AI jẹ alabaṣepọ ni itupalẹ data; O jẹ oniroyin ti o pinnu deede ati iye iroyin ti abajade ati tun ṣe ayẹwo nọmba naa lati inu data aise. Ewu ti hallucination wa ni ewu julọ nibi, ni awọn nọmba.

Igbesẹ nipasẹ igbese: ṣawari eto data pẹlu AI

Igbesẹ 1 - Gba lati mọ data naa. Ni akọkọ ni oye awọn ọwọn, nọmba awọn ori ila, sakani ọjọ, awọn ẹya. Mọ fun ara rẹ ohun ti o jẹ ṣaaju ki o to fifuye faili aise sinu AI; Bibẹẹkọ, “awọn awari” AI wa ninu afẹfẹ.

Igbese 2 - Jade kókó data. Ti o ba ni data ti ara ẹni (orukọ, TR ID, adirẹsi, ilera), ṣe ailorukọ laisi fifun ni ohun elo AI ti gbogbo eniyan tabi firanṣẹ awọn ọwọn nikan lati ṣe itupalẹ. Awọn itọpa awọn iwe aṣẹ ti o jo ti o ṣafihan orisun naa tun jẹ imukuro (Awọn ẹya 1 ati 10).

Igbesẹ 3 - Ṣe ipilẹṣẹ awọn ibeere wiwa pẹlu AI. "Iroyin wo le ṣeto data yii pamọ?" Bẹrẹ nipa sisọ. AI wa pẹlu atokọ ti awọn ibeere lati beere: awọn ohun 10 oke, awọn olupese tun ṣe, awọn fo dani, awọn agbegbe ti o wa ni ofifo.

Igbesẹ 4 - MAA ṢE ṢE AI ṢẸṢẸ OTUTU, ṢApejuwe rẹ. Eyi ni aaye pataki. Apapọ tabi ogorun ti AI ṣe iṣiro ni ori nigbagbogbo jẹ aṣiṣe. Dipo, beere lọwọ AI fun awọn igbesẹ ti iwọ yoo ṣiṣẹ ni ohun elo ti o gbẹkẹle (agbekalẹ iwe kaakiri, ibeere, iwe afọwọkọ). Nitorinaa ṣiṣe iṣiro jẹ ohun elo iyẹwo, AI kan funni ni ọna naa.

Igbesẹ 5 - Daju wiwa naa. Wo gbogbo anomaly ti AI tọka si nipa lilọ pada si laini aise. Ṣe àlẹmọ tabili naa ki o ka ẹtọ naa "Ile-iṣẹ yii gba 31 ninu 40 awọn ifarahan". Eyikeyi awọn nọmba ti a ko rii daju kii yoo ṣe sinu awọn iroyin.

Igbesẹ 6 - Ṣeto ọrọ-ọrọ. Nọmba nikan kii ṣe iroyin. Ifiwera (odun to kọja, awọn ile-iṣẹ ti o jọra, ipin si olugbe), ọrọ-ọrọ ati imọran iwé jẹ iṣẹ ti oniroyin.

Ifarabalẹ: Nini AI sọ “ṣe iṣiro apapọ tabili yii” ati fifi abajade taara sinu awọn iroyin jẹ aṣiṣe agbejade aibikita ti o wọpọ julọ ti akọọlẹ data. AI jẹ awoṣe ede, kii ṣe iṣiro. Jẹ ki ohun elo naa ṣe iṣiro, kan beere AI fun ọna ati itumọ.

Metadata ati itupalẹ iwe

Yato si awọn tabili nọmba, iwe iroyin iwadii tun ṣe pẹlu awọn ibi ipamọ ọrọ nla: awọn imeeli, awọn iṣẹju, awọn adehun. Nibi, AI le ṣe awọn maapu ibatan gẹgẹbi “ẹniti o ba tani sọrọ nigbawo”, “akọkọ wo ni a tun sọ”, “awọn orukọ wo ni a mẹnuba papọ”. Lẹẹkansi, ofin naa jẹ kanna: AI fun maapu akọkọ; Gbogbo ọna asopọ ni a fi idi mulẹ ninu iwe atilẹba, nitori AI le ṣe alaye ni idaniloju ọna asopọ ti ko si tẹlẹ.

mẹta mini igba

Ọran 1 - Afẹfẹ ti a fi pamọ. Onirohin kan ni iwe kaakiri ti gbogbo eniyan pẹlu awọn ori ila 2,400. O ni awọn ibeere iwakiri ti AI; Ibeere naa "awọn iwe-ẹri melo ni olupese kanna gba?" wá si iwaju. Onirohin naa ko ni AI ṣe iṣiro eyi; O ṣe agbekalẹ agbekalẹ iwe kaunti ti a daba nipasẹ YZ funrararẹ o rii pe ile-iṣẹ kan gba 380 (15.8%) ti awọn ohun 2,400. O ṣayẹwo pẹlu ọwọ ati pe nọmba naa jẹ deede. “Iroye” akọkọ ti AI sọ 22% - nitorinaa ti AI ba ni igbẹkẹle, awọn iroyin yoo jẹ aṣiṣe.

Ọran 2 - Ipamọ akoko, ibi ipamọ imeeli. Yoo gba awọn ọjọ lati ṣewadii pẹlu ọwọ “awọn koko-ọrọ wo ni o nlo” ninu ile ifipamọ ti awọn imeeli 6,000. AI ṣe agbejade atokọ ti awọn iṣupọ koko ni iṣẹju 15; Lati iwọnyi, onirohin naa yan awọn iṣupọ ti o ni ileri ati ka awọn imeeli atilẹba. Lapapọ akoko wiwa ti dinku si ~ 3 ọjọ, ṣugbọn gbogbo agbasọ ọrọ ti o lọ laaye ni idaniloju ni otitọ lati imeeli atilẹba.

Ọran 3 - Hallucination mu. Onirohin ọrọ-aje gba akopọ lati YZ pe “awọn inawo eniyan pọ nipasẹ 60% ni ọdun kan” lati iwe iwọntunwọnsi. Nigbati o pada si tabili aise, o rii pe ilosoke jẹ 6% ati pe AI ti ṣi nọmba kan. Ayẹwo otitọ kan ti dina fun eke ati akọle pretentious bi “bugbamu 60%”.

Awọn awoṣe idakọ

1) Idanimọ ṣeto data ati awọn ibeere wiwa:

Emi yoo fun ọ ni awọn akọle ọwọn ati awọn ori ila 20 akọkọ ti ṣeto data kan. Ṣe agbekalẹ awọn ibeere oniroyin 10 ti o le ṣee ṣe pẹlu data yii: ni awọn ofin ti ifọkansi, itusilẹ, fo ni akoko, awọn agbegbe ti o padanu / sofo, awọn oṣere loorekoore. Ko si iṣiro nọmba; kan kọ awọn ibeere wo ni o tọ lati beere ati idi ti wọn le ṣe awọn iroyin.Data: [awọn akọle + awọn laini ayẹwo]

2) Ko ṣe awọn iṣiro, ṣugbọn ṣiṣe wọn ṣe apejuwe:

Mo fẹ lati ṣe awọn wọnyi onínọmbà: [f.eks. wa apapọ iye tutu ati ipin ogorun ti olupese kọọkan]. Mo fẹ lati ṣiṣe eyi funrararẹ ni iwe kaunti kan. Kọ mi ni igbese nipasẹ igbese eyiti awọn agbekalẹ/awọn eto pivot lati fi sori ẹrọ. Abajade ti iṣiro SEN; kan fun ọna naa. Awọn ọwọn mi: [awọn orukọ ọwọn]

3) Ọdẹ ode:

Emi yoo fun awọn iṣiro akojọpọ (min, max, apapọ, agbedemeji) ni isalẹ. Ṣe alaye awọn iye wo ni dani/ ifura ati idi ti MO yẹ ki o ṣayẹwo wọn fun awọn iroyin. Maṣe ṣe awọn idajọ ikẹhin; Akojọ ayẹwo yoo han ni ọna kika "awọn ila wọnyi yẹ ki o ṣayẹwo pẹlu ọwọ". Awọn akojọpọ: [nibi]

4) Maapu ibatan pamosi iwe-ipamọ (apẹrẹ):

Emi yoo fun ọ ni eto ọrọ iwe. Jade awọn wọnyi bi Akọpamọ: awọn orukọ ti o waye nigbagbogbo papọ, awọn koko-ọrọ loorekoore, awọn ọjọ akiyesi. Samisi iwe-ipamọ lati eyiti ọna asopọ kọọkan wa, bii [B12]. Maṣe ṣafikun eyikeyi awọn ibatan ti a ko kọ ni gbangba sinu iwe-ipamọ naa. Iwe: [nibi]

Ailagbara kiakia / Alagbara kiakia

Ibere ​​ailagbara: "Ṣayẹwo chart yii ki o sọ eyikeyi awọn awari pataki."

Abajade: AI ṣe awọn ipin ogorun ati awọn iwọn ori lori, fojuinu awọn asemase, koyewa iru laini ti o da lori. Ko le ṣe idaniloju.

Agbara agbara: "Mo fun awọn ọwọn ati awọn ori ila 20 akọkọ ti tabili yii. (1) Akojọ eyi ti awọn itupale le jẹ iroyin. (2) Daba ilana iwe kaunti fun itupalẹ kọọkan ki emi le ṣiṣe. (3) Maṣe ṣe iṣiro eyikeyi awọn esi. (4) Samisi awọn ori ila lati ṣayẹwo, bi [S45]. "

Iyatọ: Agbara ti o lagbara fi iṣiro silẹ si ọpa iṣakoso, idinku AI si ipa ti ọna ati itọsọna; idilọwọ awọn hallucination lati jijo sinu nọmba.

afiwe chart

Ipele

AI ṣe

Akoroyin ṣe

ijerisi

Ti idanimọ data

Akopọ iwe/apẹẹrẹ

O mọ ẹyọ ati ọrọ-ọrọ

Itumọ data orisun

awari ibeere

Ṣe ipilẹṣẹ atokọ ti awọn ibeere

Yan iye iroyin

-

iṣiro

Apejuwe ọna

Nṣiṣẹ agbekalẹ ninu ọkọ

Ipese ọwọ

outlier

aami awọn oludije

Wulẹ ni aise ila

Àlẹmọ ati kika

Ọrọìwòye/ọrọ

osere fireemu

Afiwera, amoye

keji orisun

Awọn aṣiṣe ti o wọpọ

  • Ṣiṣe iṣiro AI. Nini AI iṣiro apapọ, ogorun, lapapọ ati bẹbẹ lọ ati lo abajade; AI ṣe awọn aṣiṣe nigbagbogbo, jẹ ki ọkọ naa ṣe iṣiro naa.
  • Ko so wiwa si laini aise. Kikọ ẹtọ naa “Ile-iṣẹ yii gba pupọ julọ awọn ifunmọ” laisi sisẹ tabili ati kika.
  • Awọn nọmba titẹjade laisi ọrọ-ọrọ. Ijabọ awọn nọmba igboro laisi lafiwe ati ipin jẹ ṣinilọna.
  • Ikojọpọ data ifura bi o ṣe jẹ. Fifun data ti ara ẹni tabi iwe ti n ṣafihan orisun si ọkọ laisi mimọ.
  • Lerongba pe iro ibasepo jẹ otitọ. Ṣiṣe ọna asopọ ti AI “ri” ninu ile-ipamọ sinu maapu laisi ifẹsẹmulẹ ninu iwe atilẹba.

Ni soki

Ninu iwe iroyin data, AI jẹ awari ati alabaṣepọ oye: o ṣe ayẹwo opoplopo, ṣe agbejade awọn ibeere lati beere, ṣe apejuwe ọna ti itupalẹ, awọn oludije asia fun awọn olutayo. Ṣugbọn nini AI ṣe iṣiro nọmba naa funrararẹ jẹ aṣiṣe ti o lewu julọ; Jade iṣiro naa si ohun elo ti a ṣe ayẹwo, rii daju wiwa kọọkan nipa lilọ pada si data aise, ati ṣafikun ọrọ-ọrọ ati lafiwe si nọmba naa. Ni awọn iwe-ipamọ iwe, AI yoo fun maapu ibẹrẹ; Ọna asopọ kọọkan jẹ idaniloju ninu iwe atilẹba.

Ohun elo iṣẹ-ṣiṣe

Mu eto data ti o ni (tabi wa ni gbangba). Ni akọkọ, jẹ ki wọn ṣe awọn ibeere 10 pẹlu “awọn ibeere Iwakiri” tọ. Yan ibeere kan, gba agbekalẹ lati AI pẹlu “Apejuwe iṣiro” tọ, ki o ṣiṣẹ funrararẹ. Lẹhinna beere AI taara fun iṣiro kanna ki o ṣe afiwe awọn abajade meji; Ṣe akiyesi iyatọ ati ẹkọ rẹ.

akojọ ayẹwo

  • [] Mo loye awọn ọwọn, awọn ẹya ati awọn aaye ifura ṣaaju fifun data si ọpa naa.
  • [] Emi ko jẹ ki AI ṣe awọn iṣiro; Mo ṣe apejuwe ọna naa ati ṣiṣe rẹ ni ohun elo ti a ṣayẹwo.
  • [] Mo ṣe idaniloju wiwa kọọkan pẹlu ọwọ nipa lilọ pada si ori ila aise.
  • [] Mo fi lafiwe ati ọrọ-ọrọ kun nọmba naa; Emi ko ṣe ijabọ awọn nọmba igboro.
  • [] Mo jẹrisi gbogbo ibatan ninu ile ifi nkan pamosi ninu iwe atilẹba.