Daromadlar:
- ML ish jarayonining qayerda (kod, ma'lumotlar, hujjat) sun'iy intellekt vaqtni kam xavf bilan tejashini va metrik / ma'lumotlar / ishlab chiqarishga kiritish kabi qarorlar, vazifaning xavf darajasiga ko'ra, insonga qoldirilishini ajrata olish.
- Har bir AI chiqishini manbaga ulash, uni qayta ishga tushirish, o'lchash va muhandislik filtridan o'tkazish orqali tekshiradigan intizomni qo'llash qobiliyati.
- Xom maxfiy va shaxsiy ma'lumotlarni tashqi vositalarga yubormaslik, korporativ tomonidan tasdiqlangan vositalardan foydalanish va xavfsizlik masalalarini faqat mudofaa maqsadlarida hal qilish odatiga ega bo'lish qobiliyati.
Mashina o'rganish muhandisligida sun'iy intellekt: rol, chegaralar, tasdiqlash va javobgarlik
Mashinani o'rganish bo'yicha muhandis (ML muhandisi: ma'lumotlardan ishlab chiqarishga o'rganadigan modellarni loyihalash, o'rgatish va olib keladigan dasturiy ta'minot mutaxassisi) bugungi kunda o'z ishining har bir bosqichida boshqa sun'iy intellekt vositasi bilan ishlaydi. Kodlash yordamchisi kod yozishda, suhbat modeli ma'lumotlarni o'rganishda va katta til modeli (LLM: matnni tushunadigan va ishlab chiqaradigan milliardlab parametrlarga ega neyron tarmoq) hujjatlarni ishlab chiqarishda ishlaydi. Ushbu modul sun'iy intellektni ishlab chiqilgan mahsulot va ML muhandisining kundalik ish vositasi sifatida ko'rib chiqadi. U ikkita rolni aralashtirmasdan javobgarlik chegaralarini aniq belgilash orqali ishlaydi.
Ushbu birinchi bo'limda biz asosiy savolga javob beramiz: ML muhandisligida sun'iy intellekt real vaqtni qayerda tejaydi va qayerda qarorni odamlarga topshirishimiz kerak? Javob muhandislik intizomining markazida: yaratgan tezkor, tekshirgan javobgar.
ML muhandisligida sun'iy intellekt qayerda yordam beradi?
ML loyihasi taxminan quyidagi bosqichlardan o'tadi: ma'lumotlarni yig'ish, ma'lumotlarni tozalash, xususiyat muhandisligi (xom ma'lumotlarni model tushuna oladigan raqamli signallarga aylantirish), modelni o'rgatish, baholash, joylashtirish (joylashtirish: modelni haqiqiy foydalanuvchiga ochish) va monitoring. AI bu chiziqdagi har bir to'xtashda yordam beradi, ammo uning vakolat darajasi turlicha.
Yuqori mukofotli, past xavfli sohalar: kod skeletini yaratish, ma'lumotlarni o'zgartirish funksiyasini yaratish, jurnal xabarlarini sharhlash, stek izini tavsiflash, tajriba eslatmalarini umumlashtirish, hujjatlar va README yozish, test ishini taklif qilish. Bu erda sun'iy intellektning xatolari arzon; chunki chiqish allaqachon sinov va ko'rib chiqishdan o'tadi.
Yuqori xavfli sohalar: treningga qaysi ma'lumotlar kiritilishini hal qilish, model ishlab chiqarishga kirishi kerakligini tasdiqlash, ko'rsatkichni "etarlicha yaxshi" deb baholash, shaxsiy ma'lumotlarni qayta ishlash qarori, xavfsizlik zaifligini "axlat" sifatida yopish. Bu pul, maxfiylik, yuridik javobgarlik va foydalanuvchi ishonchiga ta'sir qiladi. Sun'iy intellekt bu erda takliflar beradi; Qaror vakolatli muhandis va mas'ul guruh tomonidan qabul qilinadi.
Maslahat: AIga topshiriqni autsorsing qilishdan oldin, so'rang: "Agar bu natija noto'g'ri bo'lsa, uning narxi qancha bo'ladi va kimdir xatoni qanchalik oson ushlaydi?" Agar narx past bo'lsa va qo'lga olish oson bo'lsa, uni uzating. Agar narx yuqori bo'lsa yoki suratga olish qiyin bo'lsa, AIdan faqat qoralama uchun foydalaning va siz qaror qilasiz.
Tekshirish intizomi: uch bosqich
ML muhandisligida AI chiqishi hech qachon "tugallangan ish" emas; Bu qoralama. Har bir chiqishni quyidagi uchta bosqich orqali bajaring:
- Uni manbaga ulang. Agar model raqam, chegara yoki "eng yaxshi amaliyot" deb aytgan bo'lsa, uni rasmiy hujjatlarga, kodlar bazasidagi haqiqiy qiymatga yoki o'lchangan ko'rsatkichga asoslang. Bu erda ko'pincha "modelni moslashtirish" (gallyutsinatsiya: til modeli bo'yicha haqiqiy bo'lmagan ma'lumotlarni ishonchli ishlab chiqarish) ushlanadi.
- Qayta ishga tushiring va o'lchang. Yaratilgan kodni ishga tushiring, o'zingizning test to'plamingizda ishlab chiqaradigan ko'rsatkichni qayta hisoblang, kichik namunada taklif qilingan SQL so'rovini tasdiqlang. Ishlamaydigan kod yaxshi ko'rinsa ham, foydasiz.
- Uni muhandislik filtridan o'tkazing. Chiqish miqyosda saqlanadimi? Keng holatlar (bo'sh ma'lumotlar, juda katta kirish, etishmayotgan maydonlar) ko'rib chiqildimi? Xavfsizlik va maxfiylik buzilishi bormi? Bu qadamni faqat sohani biladigan odam amalga oshirishi mumkin.
Zaif taklif / Kuchli taklif
Zaif taklif: "Menga bir nechta namunaviy trening kodini yozing."
Kuchli maslahat: "Scikit-learn bilan binar tasniflash uchun trening skriptini yozing. Kirish: data/train.parquet, maqsad ustun is_churn. Sinf nomutanosibligi mavjud (ijobiy nisbat ~8%), uni class_weight bilan boshqaring. PR-AUC (aniqlik-eslab olish egri chizig'i ostidagi maydon) noto'g'ri, chunki noto'g'ri baholanadi maʼlumotlar tasodifiy urugʻini 42 ga mahkamlang. PR-AUC kodini bosib chiqarish oxirida test qiling.
Farqi: ikkinchi tezkor vazifada ma'lumotlar haqiqati, to'g'ri ko'rsatkich, nomutanosiblik ma'lumotlari va takroriylik talablari mavjud. Aynan shu kontekstdan kelib chiqqan holda, chiqish tekshirilishi mumkin va foydalanish mumkin.
Maxfiylik va ma'lumotlar xavfsizligi: muhandisning birinchi mas'uliyati
ML muhandisi ko'pincha kompaniyaning eng nozik ma'lumotlariga tegadi: mijozlar yozuvlari, tranzaktsiyalar tarixi, sog'liq yoki moliyaviy ma'lumotlar, ishlab chiqarish tizimlari jurnallari. Sun'iy intellekt vositalariga ma'lumot berishda uchta qoida:
- Xom shaxsiy va maxfiy ma'lumotlarni tashqi vositalarga yubormang. Misol uchun, mijozning elektron pochta xabarlarini taklifga joylashtirish o'rniga, sxema va qo'g'irchoq (sintetik) namunalarni yuboring. Haqiqiy ma'lumotlar o'rniga "masalan: ahmet@example.com" kabi niqoblangan misoldan foydalaning.
- Korporativ tasdiqlangan transport vositalaridan foydalaning. Ma'lumotlar qayerda qayta ishlanishi, saqlanganmi, ta'lim uchun foydalaniladimi yoki yo'qmi, shartnoma asosida aniq bo'lgan vositalarni tanlang. Korporativ ma'lumotlarni shaxsiy hisob bilan qayta ishlash ko'pchilik kompaniyalarda qoidabuzarlik hisoblanadi.
- Minimal ma'lumotlar siyosati. Vazifani hal qilish uchun zarur bo'lgan minimal kontekstni bering. Butun jadval emas, balki tegishli 5 ta ustun va sxema.
Diqqat: Til modeliga bergan matnni ortga qaytarib bo'lmaydi deb taxmin qiling. "Keyinroq o'chirib tashlayman" deb o'ylab, shaxsiy ma'lumotlarni yubormang; Xavf yuborilgan paytda sodir bo'ldi.
Xavfsizlik sohasida mudofaa maqsadlarida foydalanish
ML muhandislari ko'pincha xavfsizlik tizimlarini o'rnatadilar: firibgarlikni aniqlash, zararli trafik tasnifi, autentifikatsiya. Ushbu modul davomida biz faqat mudofaa maqsadlarida xavfsizlik masalalarini qamrab olamiz: hujumni aniqlash, tizimni qattiqlashtirish, zaiflikni yopish. Ruxsatsiz kirish, maʼlumotlarning sizib chiqishi yoki birovning tizimiga ruxsatsiz aralashuv uchun sunʼiy intellektdan foydalanish ham noqonuniy, ham kasbiy etikaga ziddir. Zaiflikni topsangiz, to'g'ri yo'l bu haqda mas'uliyat bilan xabar berish va uni tuzatishdir; ekspluatatsiya qilmaslik.
uchta mini holat
1-holat - Vaqt tejaldi. ML muhandisi odatda 40 ustunli ma'lumotlar to'plamining tadqiqot ma'lumotlarini tahlil qilish (EDA) uchun yarim kun sarflaydi. U sun'iy intellektga sxema va df.describe() chiqishini berdi va "Qaysi ustunlar yuqori chegara va etishmayotgan stavkaga ega, qaysi transformatsiyalarni tavsiya qilasiz?" 20 daqiqada u har bir elementni o'z kodi bilan tekshirib, ustuvor ro'yxatni oldi. Saqlash: ~3 soat, xatolik xavfi kam, chunki har bir da'vo o'lchanadi.
2-holat - tutilgan xato. "Mashg'ulotning aniqligi 99%, ajoyib", dedi model chat yordamchisi. Muhandis uchinchi bosqichni (muhandislik filtri) qo'lladi va tushundi: maqsadli ustunning atributlari tasodifan sizib ketgan (ma'lumotlarning sizib chiqishi: model treningda ko'rmasligi kerak bo'lgan ma'lumotlarni ko'radi). Haqiqiy samaradorlik ancha past edi. AIning "ajoyib" talqini emas, balki muhandisning shubhasi ishni saqlab qoldi.
3-holati - Maxfiylik buzilishining oldini olish. Jamoa ishlab chiqarish xatosi jurnallarini tashqi modelga joylashtirdi va "bu xatoni tuzating" deb aytdi. Jurnallarda mijozlarning identifikatsiya raqamlari bor edi. Jamoa birinchi navbatda jurnallarni niqoblaydigan (ularning ID raqamlarini *** qilish) va ularni shu tarzda yuborish uchun kichik skript yozish qoidasini yaratdi. Buzilish xavfi yo'qoldi, yordam tezligi o'zgarmadi.
Nusxalanadigan shablonlar
Vazifa: [nima qilish kerak, bitta jumla]Kontekst: [ma'lumotlar sxemasi, hajmi, cheklovlari; HAQIQIY shaxsiy maʼlumotlar yoʻq]Cheklovlar: [til/kutubxona, ishlash, takrorlanuvchanlik]Koʻrsatkichlar: [muvaffaqiyatni qanday oʻlchash mumkin]Istalgan natija: [kod/tavsif/roʻyxat] va nima uchun bu formatda
Ushbu kodni tekshiring. Nafaqat uning ishlayotganini, balki quyidagilar boʻyicha ham baholang: 1) Keng holatlar (boʻsh kiritish, etishmayotgan ustun, juda katta maʼlumotlar)2) Maʼlumotlarning sizib chiqib ketish xavfi3) Qayta ishlab chiqarish qobiliyati (urugʻ, versiya) Har bir topilgan muammo uchun tuzatishlarni taklif qiling. Ishonchingiz komil bo'lmagan joyda "tasdiqlash" ni belgilang. Kod: [kod]
Bu koʻrsatkich natijasini izohlang, lekin avval soʻrang: bu koʻrsatkich bu muammo uchun toʻgʻrimi? Muammo: [muvozanatli/balanssiz tasniflash, regressiya, tartiblash...] Hisobot qilingan koʻrsatkich va qiymat: [masalan. aniqlik 0.99]Qaysi koʻrsatkichni tavsiya qilasiz va nima uchun va joriy natijaga shubha qilishim uchun qanday belgilarga eʼtibor berishim kerak?
Quyidagi so'rovga beradigan ma'lumotlarda shaxsiy/maxfiy ma'lumotlar mavjudligini tekshiring. Quyidagi matnda maskalanishi kerak bo'lgan maydonlarni (ism, elektron pochta, ID raqami, telefon, manzil) sanab o'ting. Matn: [matn]
Rol va vakolatlar jadvali
Kvest
Sun'iy intellektning roli
Qaror egasi
Kod skeleti / transformatsiya funktsiyasi
qoralama generatori
Muhandis (sharhlar)
EDA / ma'lumotlar xulosasi
tezlatkich
Muhandis (o'lchash orqali tasdiqlaydi)
Metrik talqin
Taklif
muhandis
Treningga qanday ma'lumotlar kiradi?
Taklif
Jamoa + maʼlumotlar egasi
Modelni ishlab chiqarishga qo'ying
Tekshirish ro'yxati eslatmasi
Mas'uliyatli muhandis + jamoa
Shaxsiy ma'lumotlarni qayta ishlash
Yo'q (ishlatilmaydi)
Yuridik + ma'lumotlar boshqaruvchisi
Umumiy xatolar
- Chiqishni tasdiqlamasdan foydalanish. Eng keng tarqalgan va eng qimmat xato. Chiroyli ko'rinadigan kod yoki ko'rsatkich uning to'g'ri ekanligini anglatmaydi.
- Asbobga xom maxfiy ma'lumotlarni joylashtirish. Bir marta yuborilgan bo'lsa, uni qaytarib bo'lmaydi.
- Noto'g'ri ko'rsatkichga tayanish. Balanssiz ma'lumotlarning aniqligi va reyting muammolaridagi RMSE kabi mos kelmaydigan ko'rsatkichlar noto'g'ri.
- Sun'iy intellektni qaror qabul qiluvchi sifatida xato qilish. U takliflar beradi; Javobgarlik imzolagan shaxsga tegishli.
- Kontekstsiz taklif. "Model yozish" kabi noaniq so'rovlar tekshirib bo'lmaydigan natijalarni beradi.
Xulosa
Sun'iy intellekt ML muhandisi tomonidan ishlab chiqilgan mahsulot va uning kundalik replikatoridir. Kod-ma'lumotlar-hujjat kabi past xavfli, oson tekshiriladigan vazifalarda uning qiymati eng yuqori; Pul, maxfiylik va xavfsizlikka ta'sir qiluvchi qarorlar shaxsning o'zida qoladi. Har bir chiqishni manbaga ulang, yana o'lchab, muhandislik filtridan o'ting. Maxfiy ma'lumotlarni himoya qiling, tasdiqlangan transport vositalaridan foydalaning, faqat mudofaa maqsadlarida xavfsizlikda ishlang. Ushbu intizom keyingi barcha birliklar uchun asosdir.
Ilova vazifasi
O'zingizning loyihangizdan vazifani tanlang (masalan, ma'lumotlarni tozalash funksiyasini yozish). Avval zaif taklifni yozing, so'ngra ushbu birlikdagi shablondan foydalanib kuchli taklif yozing. Ikkala natijani oling, uch bosqichli tekshiruvni qo'llang (manbaga havola, qayta ishga tushirish, muhandislik filtri). Qaysi so'rov qancha daqiqa va qancha tuzatishlarni saqlashiga e'tibor bering.
nazorat ro'yxati
- [ ] Men vazifamning xavf darajasini (past/yuqori) aniqladim.
- [ ] Men taklifga hech qanday haqiqiy shaxsiy/maxfiy maʼlumotlarni kiritmadim; Men uni maskaladim yoki sintetik namunadan foydalandim.
- [ ] Men chiqishni manbaga uladim, uni qayta ishga tushirdim va uni muhandislik nuqtai nazaridan filtrladim.
- [ ] Men toʻgʻri koʻrsatkichni tanlaganimni tekshirdim.
- [ ] Men tanqidiy qarorni (ishlab chiqarishga qo'yish, ma'lumotlarni qayta ishlash) o'zim / jamoa bilan qabul qildim, men buni sun'iy intellektga qoldirmadim.
- [ ] Men korporativ tasdiqlangan transport vositasidan foydalandim.