Табыстар:
- Әртүрлі деректер көздерін (деректер базасы, API, файл, веб-скрапинг) және әрқайсысының қателерін тану және схеманы дұрыс түсіну мүмкіндігі
- Іріктеменің жиынтықты білдіретін-келмейтінін бағалау арқылы қайталанатын іріктеуді орындау мүмкіндігі
- Жинау сатысында деректердің ағып кетуін жою және әр бағандағы «Болжау кезінде менде болады ма» деген сұрақты қою арқылы заңды/этикалық шекараларды сақтау мүмкіндігі.
Әрбір талдау жинаған деректердің сапасы сияқты жақсы. Дүние жүзіндегі ең жетілдірілген модельдің өзі қате жиналған, біржақты таңдалған немесе болашақ туралы ақпаратты қамтитын деректермен жұмыс істесе, сенімсіз нәтижелер береді. Информатикада бұл принцип «қоқыс кірді, қоқыс шығару» (horbage in, garbage out) деп қысқаша сипатталады. Бұл бөлімде біз деректерді жинау кезеңін қарастырамыз: дереккөзді түсіну, іріктеу, сапалы сұрақтар қою және бірінші күннен бастап деректердің ағып кету қаупінен сақ болу. Жасанды интеллект осы кезеңде күшті көмекші болып табылады; SQL сұранысын жазады, API құжатын қорытындылайды, деректер келісімшартының жобасын жасайды. Бірақ сіз қандай деректерді жинайтыныңызды және бұл деректер сізді білдіретінін адам шешеді.
Деректер көздерімен танысу
Деректер әртүрлі жерлерден келеді және әр көздің өз қателері бар. Мәліметтер қоры (кестелерде сақталған құрылымдық деректер, әдетте SQL арқылы сұралады) ең көп тараған дереккөз болып табылады; Бұл сенімді, бірақ оның схемасын жақсы түсіну керек. API (Application Programming Interface) тірі деректерді қамтамасыз етеді, бірақ жылдамдық шектеулері мен пішімді өзгерту қаупі бар. Файлдар (CSV, Excel, JSON) икемді, бірақ пішімдеу сәйкессіздігіне бейім. Веб-скрепинг күшті, бірақ оның заңды және этикалық шектеулері бар; Әрбір сайтты қырып тастау мүмкін емес.
Назар аударыңыз: веб-скрепинг және деректерді автоматты түрде жинау үшін сайттың пайдалану шарттарын, robots.txt файлын және KVKK/GDPR талаптарын орындаңыз. Рұқсатсыз деректерді жинау заңды жауапкершілікті тудырады. Ақпараттық қауіпсіздік контекстінде деректер жинау құралдарын тек сіз рұқсат етілген жүйелерде және қорғаныс/талдау мақсаттарында пайдаланыңыз; Рұқсатсыз қол жеткізуге немесе қырып алуға тыйым салынады.
Схеманы түсіну: мәліметтермен танысу
Деректер жиынын жинамас бұрын оның схемасын (бағандардың атаулары, олардың деректер түрлері, олардың мағыналары және бір-бірімен байланысы) түсіну керек. Бұл жерде AI «деректер сөздігін» жасауда өте пайдалы — әр бағанның нені білдіретінін түсіндіретін кесте. Бірақ AI жасайтын түсініктемелер болжам болып табылады; Деректерді жасаған топпен әрбір бағанның шынайы мағынасын растаңыз. Мысалы, "күй" деп аталатын бағанда 0/1/2 болуы мүмкін; Тек бастапқы топ олардың «күтуде/бекітілген/болдырылған» немесе басқа нәрсе екенін біледі.
Төмендегі кестеде негізгі ресурс түрлері мен сақтық шаралары жинақталған:
Дереккөз
күшті нүкте
тұзақ
AI қалай көмектеседі
SQL деректер қоры
Құрылымдық, сенімді
Күрделі JOIN
Сұраныс жобасын жазады
API
тірі деректер
Жылдамдық шегі, пішіннің өзгеруі
Құжат қорытындылары, кодты тарту
CSV/Excel
Икемді, жылдам
Форматтың сәйкессіздігі
Кодты оқу/талдау
веб-скрепинг
Кең қол жетімділік
Заңды/этикалық шек
Жобаны талдау (өкілет шегінде)
Журнал/оқиға деректері
егжей-тегжейлі
үлкен көлем
Сұрауды сүзу
Көрнекілік: бөлік бүтінді бейнелей ме?
Көбінесе сіз толық деректермен емес, үлгімен (басшылықтан таңдалған жиын) жұмыс жасайсыз. Сыни сұрақ: бұл үлгі популяцияны көрсетеді ме? Таңдаудың бұрмалануы - ең көп таралған тұзақ. Мысалы, мобильді қолданбадағы пайдаланушыларды ғана таңдасаңыз, веб-пайдаланушыларды көрмейсіз және нәтижелеріңіз жаңылыстырады. Кездейсоқ іріктеу (әр жазбаның таңдалу мүмкіндігі бірдей) көп жағдайда ең қауіпсіз болып табылады; бірақ уақыттық қатарлар деректерінде бөлу кездейсоқ емес, хронологиялық түрде орындалады (мұны 7 және 10 бірліктерде көреміз).
Бірінші күннен бастап хабардар болу
Деректердің ағуы көптеген апаттардың көзі болып табылады және әдетте деректерді жинау кезеңінде пайда болады. Мысал: "ол жойылды ма" деп болжау кезінде деректерге "тоқтату күні" бағанын қоссаңыз, модель болашаққа қарайды. Жинау кезеңінде әр бағанға бір сұрақ қойыңыз: «Мен болжау жасаған кезде менде бұл ақпарат болады ма?» Жауап жоқ болса, бұл баған ағып жатыр. Бұл тақырыпты 10-бөлімде тереңірек қарастырамыз; Бірақ хабардар болу бірінші күннен басталуы керек.
үш шағын іс
1-жағдай – Өкілдік мәселесі. Бір банк өзінің несиелік тәуекел моделі үшін тек бекітілген несиелер бойынша деректерді жинады (18 500 жазба). Деректерде бас тартулар болған жоқ. Модель нақты әлемде қате болды, өйткені ол бас тартушылардың өзін қалай ұстайтынын ешқашан көрмеген. Сабақ: үлгі сіз шешім қабылдайтын барлық топтың өкілі болуы керек.
2-жағдай — дыбыссыз пішінді өзгерту. Топ күн сайын API-ден баға деректерін алып отырды. Бір күні API провайдері валютаны USD-дан EUR-ға ауыстырды, бірақ домен атауы өзгеріссіз қалды. Деректер қате бірлікте 12 күн бойы жиналды; 3200 жол бүлінген. Сабақ: API деректеріндегі көлем мен пішім сәйкестігін үнемі тексеріп отырыңыз.
3-жағдай – Ерте ағып кету. Сарапшы «шоттың жабылу себебі» бағанын «бұзу» бағалауы үшін деректерді жинау кезінде қосқан. Бұл баған тұтынушы кеткеннен кейін ғана толтырылды. Модель сынақ жиынында 97% дәлдік берді; Ол өндірісте жұмыс істемеді, себебі болжау уақытында бұл баған бос болды. Сабақ: әр бағанға «болжау кезінде менде бар ма?» деген сұрақ қойыңыз.
Көшірілетін төрт үлгі
1) Деректер сөздігін шығару:
Сіздің рөліңіз: деректанушының көмекшісі. Төменде кестенің баған атаулары мен үлгі (анонимді) мәндері берілген. Әрбір баған үшін оның болжалды мағынасын, деректер түрін және ықтимал сапа тәуекелдерін кестеде көрсетіңіз. Сіз сенімді емес бағандарды «растау қажет» деп белгілеңіз; жасау мағынасы. Бағандар: [мұнда қою]
2) Таңдау коды (кездейсоқ, қайталанатын):
Менде пандалар бар. 200 000 жолдан 5% репрезентативті таңдауды шығаратын кодты жазыңыз. random_state=42 пайдаланыңыз (қайта шығару үшін). Таңдаудың класстық үлестірімі жиынтыққа ұқсас екенін тексеру үшін кодты қосыңыз.
3) Ағып кетуді сканерлеу сұрағы:
Мен сізге осы бағандар тізімін беремін. Менің мақсатым «ол жойылды ма» (0/1) болжау. Әрбір баған үшін болжау кезінде менде оның шынымен болатын-болмайтынын бағалаңыз және оны «қауіпсіз/күдікті/ағып кету» деп белгілеңіз. Негіздемеңізді бір сөйлеммен жазыңыз. Бағандар: [тізім]
4) SQL тарту сұрауының жобасы:
Менде PostgreSQL жүйесінде «тапсырыстар» және «тұтынушылар» кестелері бар. Соңғы 90 күндегі тапсырыстарды тұтынушы қаласымен біріктіретін және қаладағы тапсырыстардың жалпы сомасы мен санын қайтаратын JOIN сұрауын жазыңыз. Күн сүзгісін және NULL қалалары қалай өңделетінін түсіндіріңіз. Мен сұрауды іске қосып, оны тексеремін.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Осы дерекқордан маған жақсы үлгі деректерін алыңыз.
«Жақсы» екі мағыналы; Қай сурет, қай кезең, қандай өлшем, қандай мақсатпен салынғаны анық емес. AI тек жалпы, мүмкін қате сұрауды шығарады.
Күшті шақыру:
Сіздің рөліңіз: SQL көмекшісі. Менде «транзакциялар» кестесі бар: бағандар идентификаторы, тұтынушы_идентификаторы, күн (уақыт белгісі), сома (сан), арна (мәтін: «веб»/'мобильді'). Тапсырма: 2024 жылға арналған әр арнадан 10 000 өкіл жолды қайтаратын қайталанатын (ORDER BY арқылы анықтаушы) сұрауды жазыңыз. Мақсаты: арнаның салыстырмалы талдауы. Сұрауыңыздың болжамдарын көрсетіңіз.
Мұнда кесте, мақсат, өлшем және қайталану анық.
Жалпы қателер
- Үлгінің репрезентативтілігіне күмән келтірмеу. Оңай қол жетімді деректер нақты деректер емес; таңдау бұрмалануы нәтижені бұрмалайды.
- Баған мағыналарын АИ-ге бейімдеу. Бастапқы топ мағынасын біледі; AI болжамын растамай қолданбаңыз.
- API пішімін/бірлікті өзгертуді қадағаламау. Үнсіз өзгерту бірнеше күн бойы бүлінген деректерді жинайды.
- Жинау кезеңінде ағып кетуді елемеу. «Болжау кезінде менде бар ма» деген сұрақ ертерек қойылмаса, модель жалған табыс береді.
- Рұқсат етілмеген немесе заңсыз деректерді жинау. Robots.txt, пайдалану шарттарын және KVKK ережелерін бұзу үлкен қауіп болып табылады.
Кеңес: Әрбір жаңа деректер көзі үшін бір беттік «деректер картасын» сақтаңыз: көз, тарту күні, жолдар саны, белгілі шекаралар және ағып кету қаупі бар бағандар. Бұл карта "бұл деректер қандай болды" деген сұрақты және бірнеше айдан кейін қайталану мүмкіндігін сақтайды.
Қысқаша айтқанда
Талдау сапасы жиналған деректердің сапасымен шектеледі. Дереккөзді (деректер базасы, API, файл, скреп) және схеманы жақсы білу; сынаманың популяцияның өкілі екеніне көз жеткізіңіз; Әрбір бағанға «болжау кезінде менде бар ма?» Деп сұрап, бірінші күннен бастап ағып кетуді жойыңыз. AI - сұраулар мен құжат жұмысы үшін тамаша үдеткіш, бірақ адамдар қандай деректерді жинау керектігін және оның репрезентативтілігін шешеді. Билік шегі, заң және құпиялылық әрқашан бірінші орында.
Қолданбалы тапсырма
Деректер көзін таңдаңыз (өз бизнесіңізден немесе гипотетикалық). Жоғарыдағы «деректер сөздігін алу» үлгісімен AI-дан деректер сөздігінің жобасын алыңыз; Содан кейін оның ағып кеткенін көру үшін әрбір бағанды қолмен бағалаңыз. Кем дегенде бір күдікті/ағып кету бағанасын табуға тырысыңыз және оның неге қауіпті екенін бір сөйлеммен жазыңыз.
бақылау парағы
- [ ] Деректер көзі мен схеманы бастапқы топпен растадым ба?
- [ ] Мен таңдалған топтың өкілі екенін тексердім бе?
- [ ] Мен әр бағанға "бағалау кезінде менде болады ма?" деген сұрақ қойдым ба?
- [ ] Үлгі алуды қайталанатын етіп жасадым ба (бекітілген тұқым)?
- [ ] Мен жинаудың заңды/этикалық (өкілетті, robots.txt, KVKK) шектеулерін тексердім бе?