Hankali na wucin gadi a cikin Injiniyan ML: Matsayi, Iyakoki, Tabbatarwa da Nauyi

Riba:

• Samun damar bambance inda a cikin aikin ML (lambar, bayanai, daftarin aiki) hankali na wucin gadi yana adana lokaci tare da ƙarancin haɗari, kuma inda yanke shawara kamar ma'auni / bayanai / sanyawa cikin samarwa an bar su ga ɗan adam, gwargwadon matakin haɗarin aiki.
• Ƙarfin yin amfani da horo wanda ke tabbatar da kowane fitowar AI ta hanyar haɗa shi zuwa tushen, sake kunna shi, auna shi, da wucewa ta hanyar tace injiniya.
• Ƙarfin samun al'ada na rashin aika bayanan sirri da sirri zuwa kayan aikin waje, ta amfani da kayan aikin da kamfanoni suka amince da su, da kuma magance matsalolin tsaro kawai don dalilai na tsaro.

Hankali na wucin gadi a Injiniyan Koyon Inji: Matsayi, iyakoki, Tabbatarwa da Nauyi

Injiniyan koyon injin (Injiniya ML: ƙwararren software wanda ke tsarawa, horarwa, da kuma kawo samfura waɗanda ke koyo daga bayanai zuwa samarwa) a yau yana aiki da wani kayan aikin fasaha na wucin gadi a kowane mataki na aikinsa. Mataimakin coding yana aiki lokacin rubuta lambar, ƙirar tattaunawa lokacin binciken bayanai, da babban ƙirar harshe (LLM: cibiyar sadarwar jijiyoyi tare da biliyoyin sigogi waɗanda ke fahimta da samar da rubutu) lokacin samar da takaddun. Wannan tsarin yana ɗaukar hankali na wucin gadi azaman samfuran da aka haɓaka da kayan aikin yau da kullun na injiniyan ML. Yana aiki ta hanyar zayyana iyakokin alhakin a sarari ba tare da haɗa ayyukan biyu ba.

A cikin wannan rukunin farko, mun amsa tambaya ta asali: A ina a cikin injiniyan ML ke yin hankali na wucin gadi yana adana ainihin lokaci, kuma a ina za mu bar shawarar ga mutane? Amsar ita ce a zuciyar ilimin injiniya: wanda ya yi yana da sauri, wanda ya tabbatar yana da alhakin.

A ina ake samun basirar wucin gadi a cikin aikin injiniya na ML?

Wani aikin ML yana tafiya ta hanyar layin masu zuwa: tattara bayanai, tsaftacewa bayanai, aikin injiniyan fasalin (fassarar albarkatun bayanai cikin siginar dijital waɗanda ƙirar za ta iya fahimta), horon ƙirar ƙima, ƙima, ƙaddamarwa (aiwatarwa: buɗe samfurin ga ainihin mai amfani) da kuma saka idanu. AI yana taimakawa a kowane tasha akan wannan layin, amma matakin ikon sa ya bambanta.

Babban lada, ƙananan haɗari: samar da kwarangwal na lamba, tsara aikin canza bayanai, fassarar saƙonnin log, kwatanta tari, taƙaita bayanan gwaji, rubuta takardun shaida da READMEs, ba da shawarar shari'ar gwaji. A nan, kurakuran basirar wucin gadi ba su da arha; saboda fitarwar za ta riga ta wuce ta gwaji da bita.

Yankunan haɗari masu girma: yanke shawarar abin da bayanai ke shiga horo, tabbatar da ko samfurin ya kamata ya shiga cikin samarwa, yin la'akari da ma'auni "ya isa sosai", yanke shawarar aiwatar da bayanan sirri, rufe rashin lafiyar tsaro kamar "takalma". Waɗannan suna shafar kuɗi, keɓantawa, alhaki na doka, da amanar mai amfani. Ilimin wucin gadi yana ba da shawarwari a nan; ƙwararren injiniya ne da ƙungiyar da ke da alhakin yanke shawarar.

Tukwici: Kafin fitar da wani aiki ga AI, tambaya: "Mene ne farashin idan wannan fitowar ba ta da kyau, kuma ta yaya wani zai iya kama kuskuren cikin sauƙi?" Idan farashin yayi ƙasa kuma kama yana da sauƙi, ƙaddamar da shi. Idan farashin yana da girma ko kamawa yana da wahala, yi amfani da AI kawai don daftarin kuma ku yanke shawara.

Horon tabbatarwa: matakai uku

A cikin injiniyan ML, fitowar AI ba ta taɓa zama "aikin gama" ba; Daftari ne. Gudu kowane fitarwa ta waɗannan matakai uku:

1. Haɗa shi zuwa tushen. Idan samfurin ya ce lamba, kofa, ko "mafi kyawun al'ada," kafa shi akan takaddun hukuma, ainihin ƙima a cikin codebase, ko awo da aka auna. "Fitting na model" (hallucination: da m samar da wadanda ba na gaskiya bayanai da harshen model) yawanci kama a nan.
2. Sake kunnawa kuma auna. Gudanar da lambar da aka ƙirƙira, sake ƙididdige ma'aunin da yake samarwa akan saitin gwajin ku, inganta ƙirar SQL akan ƙaramin samfurin. Lambar da ba ta aiki ba ta da fa'ida, koda kuwa tana da kyau.
3. Wuce ta ta injin tacewa. Shin abin da ake fitarwa yana riƙe a sikelin? Shin an yi la'akari da shari'o'in gefen (Bayanan da ba komai, babban shigarwa, filaye da suka ɓace)? Akwai tsaro da keta sirri? Mutumin da ya san filin ne kawai zai iya yin wannan matakin.

Rauni mai ƙarfi / Ƙarfi mai ƙarfi

Rarraunan faɗakarwa: "Rubuta mini lambar horon ƙira."

Ƙarfi mai ƙarfi: "Rubuta rubutun horo don rarraba binary tare da scikit-koyi. Input: data/train.parquet, ginshiƙin manufa is_churn. Akwai rashin daidaituwa na aji (tabbatacciyar ƙimar ~8%), sarrafa shi tare da class_weight. Yi amfani da PR-AUC (yankin da ke ƙarƙashin madaidaicin-recall curve) a matsayin ma'auni na kimantawa ba daidai ba ne, saboda rashin daidaituwa na bayanai. zuwa 42. Gwaji a ƙarshen lambar buga saitin PR-AUC."

Bambance-bambance: aikin gaggawa na biyu ya ƙunshi gaskiyar bayanai, ma'auni daidai, bayanan rashin daidaituwa da buƙatun maimaitawa. Daga wannan mahallin ne za a iya tabbatar da fitarwa kuma ana iya amfani da ita.

Sirri da Tsaron bayanai: alhakin farko na injiniya

Injiniyan ML sau da yawa yana taɓa mahimman bayanan kamfani: bayanan abokin ciniki, tarihin ciniki, bayanan lafiya ko na kuɗi, rajistan ayyukan tsarin samarwa. Dokoki guda uku lokacin ba da bayanai ga kayan aikin leken asiri:

• Kar a aika da ɗanyen bayanan sirri da na sirri zuwa kayan aikin waje. Misali, maimakon liƙa saƙon imel na abokin ciniki a cikin gaggawar, aika samfuran ƙira da ƙira (synthetic). Yi amfani da abin rufe fuska kamar "misali: ahmet@example.com" maimakon ainihin bayanai.
• Yi amfani da motocin da aka amince da kamfani. Zaɓi kayan aikin da aka ba da kwangilar kwangilar inda ake sarrafa bayanan, ko an adana su, ko ana amfani da su don ilimi ko a'a. Gudanar da bayanan kamfani tare da asusun sirri cin zarafi ne a yawancin kamfanoni.
• Manufofin bayanai mafi ƙarancin. Ba da ƙaramin mahallin da ake buƙata don warware aikin. Ba duka teburin ba, amma ginshiƙai 5 masu dacewa da tsari.

Tsanaki: ɗauka cewa rubutun da kuke bayarwa ga ƙirar harshe ba za a iya soke shi ba. Kar a aika da danyen bayanan sirri da tunanin "zan goge shi daga baya"; Hadarin ya faru a lokacin da aka aika shi.

Amfani da tsaro a fagen tsaro

Injiniyoyin ML sau da yawa suna shigar da tsarin tsaro: gano zamba, rarrabuwar hanyoyin zirga-zirga, tantancewa. A cikin wannan tsarin, muna ɗaukar batutuwan tsaro don dalilai na tsaro kawai: gano harin, ƙarfafa tsarin, rufe rashin lahani. Yin amfani da bayanan sirri don samun izini mara izini, zubar da bayanai ko sa baki mara izini cikin tsarin wani duka biyun doka ne kuma ya saba wa ɗa'a na ƙwararru. Lokacin da kuka sami rauni, hanyar da ta dace ita ce ku ba da rahoto cikin gaskiya kuma ku gyara shi; ba amfani.

uku mini lokuta

Hali na 1 - An adana lokaci. Injiniyan ML yawanci yana ciyar da rabin yini yana yin nazarin bayanan bincike (EDA) na saitin bayanan shafi 40. Ya ba da tsarin da df.describe() fitarwa zuwa ga basirar wucin gadi kuma ya tambayi, "Wane ginshiƙai ne ke da babban matsayi da rashin kuɗi, wanne canje-canje kuke ba da shawarar?" A cikin mintuna 20, ya karɓi jerin abubuwan da aka ba da fifiko, yana tabbatar da kowane abu tare da lambar sa. Ajiye: ~ 3 hours, ƙananan haɗarin kuskure saboda auna kowane da'awar.

Case 2 - Kuskuren kama. "Tsarin horarwa shine 99%, mai girma," samfurin ya ce mataimakiyar taɗi. Injiniyan ya yi amfani da mataki na uku (tace injin injiniya) kuma ya gane: ginshiƙin da aka yi niyya ya yi kuskure da gangan ya leka sifofi (bayyanar bayanai: samfurin yana ganin bayanan da bai kamata ya gani a cikin horo ba). Ainihin aikin ya kasance ƙasa kaɗan. Rashin shakkar injiniya, ba fassarar "babban" na AI ba, ya ceci aikin.

Hali na 3 - Hana keta sirrin sirri. Wata ƙungiya tana liƙa ragi na kuskuren samarwa cikin samfurin waje yana cewa "gyara wannan kuskuren". Akwai lambobin tantance abokin ciniki a cikin rajistan ayyukan. Tawagar ta yi ka'ida ta rubuta ƙaramin rubutun da ke rufe rajistan ayyukan da farko ( yin lambobin ID ɗin su ***) kuma a aika su ta haka. Hadarin keta ya ɓace, saurin taimako bai canza ba.

Samfura masu kwafi

Aiki: [abin da za a yi, jumla ɗaya]Tsarin: [tsarin bayanai, girman, ƙuntatawa; BABU GASKIYA bayanan sirri] Ƙuntatawa: [harshe/laburare, aiki, sake fasalin] Ma'auni: [yadda ake auna nasara] Fitarwa da ake so: [lambar/bayani/jeri] da dalilin da ya sa a cikin wannan tsari

Duba wannan lambar. Auna ba wai kawai yana aiki ba, har ma dangane da: 1) Abubuwan Edge (shigarwa mara amfani, shafi mara izini, babban bayanai) 2) Haɗarin leak ɗin bayanai3) Sake haɓakawa (iri, sigar) Ba da shawarar gyara ga kowace matsala da kuka samu. Alama "tabbatar" inda ba ku da tabbas. Code: [kodi]

Fassara sakamakon wannan ma'auni, amma da farko tambaya: shin wannan ma'aunin daidai yake da wannan matsalar? Matsala: [daidaituwa / rashin daidaituwa, koma baya, martaba...]Metric da ƙimar da aka ruwaito: [misali. daidaito 0.99]Wanne awo za ku ba da shawarar kuma me yasa, kuma waɗanne alamomi zan nema don sanya ni shakkar sakamakon na yanzu?

Bincika ko akwai bayanan sirri / sirri a cikin bayanan da zan ba da sauri mai zuwa. Jera filayen (suna, e-mail, lambar ID, waya, adireshin) waɗanda ke buƙatar rufe fuska a cikin rubutun da ke ƙasa. Rubutu: [rubutu]

Matsayi da teburin iko

nema

Matsayin basirar wucin gadi

Mai yanke shawara

Code kwarangwal / aikin canji

daftarin janareta

Injiniya (bita)

EDA / taƙaitaccen bayani

hanzari

Injiniya (yana tabbatarwa ta hanyar aunawa)

Fassarar awo

Shawara

injiniya

Wadanne bayanai zasu shiga horo?

Shawara

Ƙungiyar + data

Sanya samfurin a cikin samarwa

Tunawa da jerin abubuwan dubawa

Injiniya mai alhakin + ƙungiyar

sarrafa bayanan sirri

Babu (ba a amfani)

Legal + mai sarrafa bayanai

Kuskuren gama gari

• Amfani da fitarwa ba tare da inganta shi ba. Kuskuren da ya fi kowa kuma mafi tsada. Lambobi ko awo da yayi kyau baya nufin yayi daidai.
• Manna danyen bayanan sirri cikin kayan aiki. Da zarar an aika, ba za a iya mayar da shi ba.
• Dogaro da awo mara kyau. Ma'auni marasa jituwa kamar daidaito a cikin bayanai marasa daidaituwa da RMSE a cikin matsalolin matsayi suna yaudara.
• Kuskure basirar wucin gadi a matsayin mai yanke shawara. Yana bayar da shawarwari; Alhakin yana kan mai sa hannu.
• faɗakarwa mara ma'ana. Buƙatun maɗaukaki kamar "rubutun ƙira" suna samar da fitowar da ba za a iya tantancewa ba.

A takaice

Hankali na wucin gadi duka samfurin ne wanda injiniyan ML ya haɓaka da mai kwafin sa na yau da kullun. Ƙimar sa ita ce mafi girma a cikin ƙananan haɗari, ayyuka masu sauƙi waɗanda aka tabbatar da su kamar code-data-document; Hukunce-hukuncen da suka shafi kuɗi, keɓantawa da tsaro suna tare da mutumin. Haɗa kowane fitarwa zuwa tushen, sake aunawa, wuce ta tace aikin injiniya. Kare bayanan sirri, yi amfani da motocin da aka yarda, aiki cikin tsaro don dalilai na tsaro kawai. Wannan horo shine tushen duk raka'o'in da ke gaba.

Aikin aikace-aikace

Zaɓi ɗawainiya daga aikin ku (misali rubuta aikin tsaftace bayanai). Da farko rubuta ƙararrawar faɗakarwa, sannan rubuta ƙarar faɗakarwa ta amfani da samfuri a cikin wannan rukunin. Ɗauki duka abubuwan da aka fitar, a yi amfani da tabbacin mataki uku (haɗi zuwa tushe, sake kunnawa, tace injiniyanci). Ka lura da wanne faɗakarwa ke adana mintuna nawa da gyare-gyare nawa.

jerin abubuwan dubawa

• [ ] Na ƙaddara matakin haɗari (ƙananan / babba) na aiki na.
• [ ] Ban sanya wani ainihin bayanan sirri / sirri a cikin hanzari ba; Na rufe shi ko na yi amfani da samfurin roba.
• [ ] Na haɗa abin fitarwa zuwa tushen, na sake gudu, na tace shi daga hangen nesa na injiniya.
• [ ] Na duba cewa na zaɓi ma'auni daidai.
• [] Na yi yanke shawara mai mahimmanci (sanya shi a cikin samarwa, sarrafa bayanai) kaina / tare da tawagar, ban bar shi ga basirar wucin gadi ba.
• [ ] Na yi amfani da motar da aka amince da kamfani.