Zyski:
- Umiejętność zrozumienia faz MLOps (wydanie, wdrożenie, monitorowanie, ponowne szkolenie, wycofywanie) i dryfowania modelu oraz planowania monitorowanego wdrożenia
- Umiejętność stosowania zasad rzetelności, przejrzystości i odpowiedzialności modelu oraz odróżniania dokładności statystycznej od akceptowalności etycznej
- Możliwość ochrony danych osobowych zgodnie z zasadami KVKK/RODO i przypisania ostatecznej odpowiedzialności człowiekowi w przypadku decyzji o dużym wpływie
Wyszkolenie modelki i zdobycie wysokiego wyniku to nie koniec, a środek. Prawdziwa wartość pojawia się wtedy, gdy model zostanie wprowadzony do produkcji i działa niezawodnie, jest monitorowany w czasie bez pogorszenia się, a cały proces przebiega w granicach etycznych i prawnych. Ta jednostka zamykająca łączy trzy tematy: MLOps (dyscyplina uruchamiania, monitorowania i utrzymywania modeli), etyka (uczciwość, przejrzystość, nieszkodzenie) i prywatność (ochrona danych osobowych). Sztuczna inteligencja tworzy kod, listy kontrolne i plany w tych obszarach; Ale to ludzie decydują, czy model zostanie uruchomiony, na kogo będzie to miało wpływ i jakie dane można wykorzystać. Decyzje te nie są decyzjami technicznymi, ale decyzjami odpowiedzialnymi.
MLOps: model żyje jak produkt
MLOps (Machine Learning Operations – praktyka uruchamiania, monitorowania i aktualizacji modeli uczenia maszynowego na produkcji) to adaptacja DevOps w tworzeniu oprogramowania do data science. Podstawowa idea: model nie jest plikiem, który zostanie raz przeszkolony i zapomniany, ale żywym produktem wymagającym ciągłej konserwacji. Główne etapy:
1. Wersjonowanie: Kod (Git), dane i model są wersjonowane razem; Rejestruje się, który model został wyprodukowany, z jakimi danymi i kodem.
2. Wdrożenie: Model jest uruchamiany jako zadanie API lub zadanie wsadowe. Zwykle jest najpierw przekazywany małej publiczności (dystrybucja w cieniu/kanarkach).
3. Monitorowanie: Wydajność modelu i danych wejściowych są stale monitorowane.
4. Ponowne uczenie: Gdy wydajność spada, model jest przeszkolony ze zaktualizowanymi danymi.
Przesunięcie wzorca: ciche zniekształcenie
Największym zagrożeniem w produkcji jest dryf modelu (dryf modelu/dryf danych). Świat się zmienia; Warunki, na jakich trenowałeś swój model (zachowania klientów, ceny, pora roku, ustawodawstwo) zmieniają się z biegiem czasu i model zaczyna być przestarzały. Przykładowo model popytu wytrenowany przed pandemią jest całkowicie błędny w czasie pandemii. Dryf występuje w dwóch postaciach: dryf danych (rozkład zmian danych wejściowych) i dryf koncepcji (związek między zmianami wejściowymi a docelowymi). Sposobem na ich uchwycenie jest monitorowanie: ciągłe śledzenie rozkładu danych wejściowych, rozkładu przewidywań i (jeśli to możliwe) wydajności w porównaniu z rzeczywistym wynikiem.
Uwaga: Model wprowadzony do produkcji ulegnie samoistnemu zniszczeniu; To nie jest kwestia „czy”, ale „kiedy”. Wdrażanie modeli bez skonfigurowania monitorowania jest jak prowadzenie samochodu bez kontrolowania jego silnika; Któregoś dnia po prostu siedzi cicho, a ty tego nie zauważasz.
Element MLOps
Cel
Jeśli zaniedbane
Wersjonowanie
Wiedza o tym, co jest produkowane
Nie powtarzalne, niemożliwe do wyśledzenia
Monitorowanie
Wczesne zauważenie poślizgu
Modelka cicho się załamuje
przekwalifikowanie
bądź na bieżąco
Prognozy się starzeją
Wycofanie
powrót do złego modelu
Wadliwy model pozostaje aktywny
Dokumentacja
przejrzystość, obrót
Informacje utknęły w jednej osobie
Etyka: modelowe decyzje wpływają na ludzi
Modele danych są coraz częściej wykorzystywane przy podejmowaniu decyzji mających wpływ na życie ludzi: kredyty, zatrudnienie, ubezpieczenia, wymiar sprawiedliwości. Z tą mocą wiąże się odpowiedzialność. Główne ryzyka etyczne:
Uprzedzenie i dyskryminacja: model może uczyć się i utrwalać niesprawiedliwości w danych historycznych. Jeżeli w przeszłości określonej grupie przyznano mniejsze uznanie, model zakłada, że jest to „reguła” i automatyzuje dyskryminację. Dlatego niezbędna jest analiza sprawiedliwości — sprawdzenie, czy model działa podobnie dla różnych grup (płeć, wiek, region).
Przejrzystość i wyjaśnialność: powinieneś być w stanie wyjaśnić, dlaczego model odrzucił daną osobę. „Tak powiedziała czarna skrzynka” jest etycznie i często prawnie niedopuszczalne. Dlatego narzędzia wyjaśnialności (ważność cech, wartości SHAP) są cenne.
Odpowiedzialność: Kto jest odpowiedzialny, jeśli model podejmie złą decyzję? Odpowiedzią jest zawsze osoba/instytucja, a nie model. W przypadku decyzji o dużym wpływie należy zachować nadzór człowieka (człowiek w pętli – człowiek zatwierdzający ostateczną decyzję).
Przestroga: model może być statystycznie „poprawny”, ale nie do przyjęcia z etycznego punktu widzenia. Bardzo dokładny model, który systematycznie stawia w niekorzystnej sytuacji jedną grupę, nie jest dobrym modelem. Uczciwość nie zastąpi sprawiedliwości.
Prywatność: dane osobowe są starannie chronione
Surowcem data science są często dane osobowe, a dane te są chronione prawem: KVKK w Türkiye, RODO w Europie. Podstawowe zasady to: ograniczenie celu (dane nie są wykorzystywane do celów innych niż cel, dla którego zostały zebrane), minimalizacja danych (zbieranie/przetrzymywanie nie większej ilości danych, niż jest to konieczne), anonimizacja (usuwanie danych identyfikujących) oraz bezpieczeństwo (dane są szyfrowane, a dostęp do nich ograniczony). Najważniejsza zasada podczas pracy z narzędziami AI: nigdy nie wklejaj prawdziwych danych osobowych do publicznego narzędzia AI. W większości przypadków do analizy wystarczą diagram i próbka anonimowa/syntetyczna.
Dodatkowy nacisk w kontekście bezpieczeństwa informacji: używaj narzędzi i technik analizy danych wyłącznie w odniesieniu do danych i systemów, do których masz uprawnienia, w celach obronnych i uzasadnionych analiz. Nieuprawniony dostęp do cudzych danych, ponowna identyfikacja osób (wydobywanie tożsamości z anonimowych danych) czy nieuprawnione profilowanie jest zarówno nielegalne, jak i nieetyczne.
trzy mini etui
Przypadek 1 — Nieśledzony upadek. Firma zajmująca się handlem elektronicznym uruchomiła swój model rekomendacji i nie skonfigurowała śledzenia. Po 4 miesiącach katalog produktów znacznie się zmienił; model w dalszym ciągu polecał przestarzałe produkty, a współczynnik konwersji cicho spadł o 30%. Przez wiele miesięcy nikt tego nie zauważył. Lekcja: wdrożenie bez monitorowania kończy się niepowodzeniem.
Przypadek 2 – Ukryta dyskryminacja. Model kontroli zatrudnienia wykazał brak równowagi płci w danych historycznych i systematycznie niedoceniał kandydatki. Nie zauważono tego, ponieważ nie przeprowadzono analizy uczciwości; Zostało to ujawnione w trakcie audytu, a instytucja stanęła w obliczu poważnego ryzyka reputacyjnego/prawnego. Lekcja: uczciwa kontrola oparta na grupie jest niezbędna w modelach o dużym wpływie.
Przypadek 3 – Naruszenie poufności. Jeden z analityków załadował plik zawierający e-maile prawdziwych klientów i historię zakupów do publicznego narzędzia AI i powiedział „podsumuj segmenty”. Dane osobowe opuściły instytucję; Rozpoczął się proces KVKK. Prawidłowym sposobem było usunięcie pól tożsamości i udostępnienie wyłącznie anonimowych właściwości. Lekcja: prawdziwe dane osobowe nie trafiają do otwartego narzędzia.
Cztery szablony do kopiowania
1) Lista kontrolna przed wdrożeniem:
Twoja rola: konsultant MLOps. Wymień rzeczy, które muszę sprawdzić przed wprowadzeniem modelu do produkcji: wersjonowanie, metryki monitorowania, plan wycofywania zmian, próg wydajności, alert o dryfowaniu danych, osoba odpowiedzialna. Dodaj jednozdaniowe wyjaśnienie „dlaczego to ma znaczenie” dla każdego elementu. Zdecyduję.
2) Projekt śledzenia przesunięcia modelu:
Zaproponuj plan monitorowania dryftu dla produkcyjnego modelu klasyfikacji: (1) jakie rozkłady wejściowe powinienem monitorować, (2) jaki alarm dla rozkładu predykcyjnego, (3) jak porównać wydajność, gdy pojawi się rzeczywisty wynik, (4) przy jakim progu należy uruchomić ponowne szkolenie. Podaj także szkielet kodu.
3) Kontrola uczciwości:
Napisz kod porównujący wydajność mojego modelu dla różnych grup (np. przedziału wiekowego, regionu): zapamiętywanie/precyzja i współczynnik pozytywnych decyzji dla każdej grupy. Ostrzegaj, jeśli istnieje znacząca różnica między grupami. Dokonywanie interpretacji przyczynowych/politycznych; Pokaż mi tylko różnice, a rozważę decyzję.
4) Wstępna kontrola prywatności:
Przed przekazaniem danych narzędziu AI sprawdź: czy na poniższej liście kolumn znajdują się dane osobowe/tożsamości (imię i nazwisko, adres e-mail, dowód osobisty, telefon, adres, adres IP)? Jeśli tak, wymień, które z nich należy usunąć lub zanonimizować. Kolumny: [lista]. Cel: udostępnianie wyłącznie anonimowego schematu.
Słaba zachęta/silna zachęta
Słaba zachęta:
Mój model jest gotowy, można go uruchomić.
Wdrożenie nie jest pojedynczym krokiem; Rozpoczęcie transmisji na żywo bez monitorowania, wycofywania, uczciwości i kontroli prywatności to ciche zaproszenie do katastrofy.
Potężny monit:
Twoja rola: odpowiedzialny konsultant MLOps. Mój model został przeszkolony, chcę pełnego przygotowania przed występem na żywo. Wygeneruj: (1) listę kontrolną przed wdrożeniem, (2) plan monitorowania dryfu, (3) kod kontroli rzetelności dla grupy, (4) kontrolę prywatności (czy istnieją dane osobowe). Zasugeruj także, jak chronić ludzką zgodę przy podejmowaniu decyzji o dużym wpływie. Ostateczne decyzje należą do mnie.
W tym przypadku dystrybucja, monitorowanie, uczciwość i prywatność są traktowane jako jeden odpowiedzialny proces.
Typowe błędy
- Wdrażanie modelu bez konfigurowania monitorowania. Model cicho się ślizga i zniekształca; Zauważenie tego może zająć miesiące.
- Ominięcie kontroli sprawiedliwości. Model o wysokiej wierności może systematycznie działać na niekorzyść grupy.
- Podjęcie niewyjaśnionej decyzji dotyczącej czarnej skrzynki. Decyzje o dużym wpływie muszą być łatwe do wyjaśnienia; „Modelka tak powiedziała” to za mało.
- Podanie prawdziwych danych osobowych w celu otwarcia narzędzia AI. Naruszenie KVKK/RODO; Wystarczający jest schemat i anonimowy przykład.
- Delegowanie decyzji do modelu. Odpowiedzialność zawsze spoczywa na osobie; Utrzymuje się wysoce wpływowy nadzór ludzi.
Wskazówka: zanim zaczniesz żyć z każdym modelem, zadaj na głos jedno pytanie: „Jeśli ten model jutro po cichu się zepsuje lub niesprawiedliwie ukarze grupę, jak to zauważę i wycofam?” Jeśli nie masz jasnej odpowiedzi na to pytanie, model nie jest jeszcze gotowy do produkcji.
Podsumowując
Praca modela nie kończy się na wysokim wyniku, ale na rzetelnej i odpowiedzialnej pracy na produkcji. MLOps to dyscyplina polegająca na uruchamianiu modelu, monitorowaniu dryftu, ponownym szkoleniu i wycofywaniu modelu; Wdrożenie bez śledzenia oznacza ciche załamanie. Etyka wymaga uczciwości, przejrzystości i odpowiedzialności modelu; dokładność statystyczna nie zastępuje akceptowalności etycznej. Prywatność oznacza ochronę danych osobowych zgodnie z zasadami KVKK/RODO i trzymanie prawdziwych danych z dala od otwartych narzędzi. Wszystkie te decyzje nie są decyzjami technicznymi, ale decyzjami odpowiedzialnymi i zawsze należą do człowieka.
Zadanie aplikacji
Pomyśl o tym tak, jakbyś miał zamiar wdrożyć zbudowany (lub hipotetyczny) model w środowisku produkcyjnym i wypełnić cztery listy: (1) lista kontrolna przed wdrożeniem, (2) wskaźniki dryfowania, które będziesz śledzić, (3) grupowy plan uczciwej kontroli, (4) kontrola prywatności. Następnie napisz konkretną odpowiedź na pytanie: „Jak zauważę, jeśli jutro cicho się zepsuje i odzyskam?”
lista kontrolna
- [ ] Czy wdrażam model z planem monitorowania (alarm poślizgu) i planem wycofywania?
- [ ] Czy sprawdziłem różnicę w uczciwości/wydajności dla różnych grup?
- [ ] Czy utrzymałem kontakt z człowiekiem w trakcie podejmowania decyzji o dużym wpływie?
- [ ] Czy chroniłem dane osobowe zgodnie z zasadami KVKK/RODO i trzymałem je z dala od otwartych narzędzi?
- [ ] Czy zrzuciłem ostateczną odpowiedzialność na człowieka, a nie na model?
Egzamin modułowy
1. Analityk danych pyta sztuczną inteligencję: „Jak dokładny jest losowy las na tych danych?” bez szkolenia modelu i bezpośrednio umieszcza w prezentacji odpowiedź „89%”. Jaki jest zasadniczy błąd w tym podejściu?
- A) Oczekiwanie na metryki bez podawania danych i modeli sztucznej inteligencji; Ignorowanie faktu, że wygenerowana liczba jest fałszywa i że prawdziwy wskaźnik można znaleźć jedynie poprzez szkolenie i testowanie ✔
- B) Należy zastosować regresję logistyczną zamiast losowego lasu
- C) Stopień dokładności musi zawsze przekraczać 90%.
- D) Zabrania się umieszczania w prezentacji metryk
Wyjaśnienie: Sztuczna inteligencja nie może wygenerować metryki bez dostępu do modelu i danych; Liczba, którą podaje, to halucynacja (sfabrykowana). Metrykę uzyskuje się na podstawie własnych obliczeń analityka danych dopiero po faktycznym przeszkoleniu i przetestowaniu modelu. Niezweryfikowane dane wyjściowe są jak niepodpisany raport.
2. Kolumna „Powód zamknięcia konta” uwzględniana jest przy zbieraniu danych do prognozy rezygnacji; Kolumna ta wypełniana jest dopiero po wyjściu klienta. Model na zestawie testowym daje 97%, jednak w produkcji nie sprawdza się. Jaka jest nazwa i przyczyna tego stanu?
- A) nadmierne uczenie się; Model jest zbyt skomplikowany
- B) Wyciek danych; ✔ Wykorzystanie informacji, które nie będą dostępne w momencie prognozowania, ale są wynikiem celu, jako funkcji
- C) Niewystarczająca nauka; Model jest zbyt prosty
- D) błąd selekcji; mały rozmiar próbki
Wyjaśnienie: Jest to klasyczny wyciek danych: „przyczyna zamknięcia” wynika z celu i w momencie przewidywania jest nadal pusta. Model radzi sobie z tą przyszłą wiedzą, wygląda świetnie na zestawie testowym, ale ulega awarii w produkcji, ponieważ ta kolumna jest pusta. Do każdej kolumny należy zadać pytanie „czy mam to w momencie przewidywania”.
3. Analityk uzupełnia brakujące wartości w kolumnie przychodów średnią; jednak osoby zaginione w rzeczywistości należą do segmentu osób o niskich dochodach, który nigdy nie deklarował dochodów (systematyczne braki). Dlaczego to wypełnienie jest nieprawidłowe?
- A) Średnia jest zawsze większa od mediany, więc jest błędna
- B) Brakujących wartości nigdy nie należy uzupełniać, zawsze należy je skreślić
- C) Wypełnienie luki systematycznej średnią zniekształca dane poprzez sztuczne reprezentowanie tej grupy; Napełnianie odbyło się bez pytania „dlaczego jest puste?” ✔
- D) Obliczanie średniej powoduje problemy z wydajnością, ponieważ jest zbyt wolne
Wyjaśnienie: Przyczyna niedoboru determinuje rozwiązanie. Kiedy systematyczny brak (luka skoncentrowana w określonej grupie) zostanie uzupełniony średnią, grupa ta staje się sztucznie „dochodem przeciętnym”, a dane są zniekształcone. Przed jego wypełnieniem należy zadać pytanie „dlaczego jest puste”; Nie należy uzupełniać systematycznego/istotnego brakującego środka.
4. Zespół znajduje korelację na poziomie 0,78 między „wydatkami na reklamę” a „sprzedażą” i podwaja budżet; Jednak tym, co faktycznie wyzwala oba, są kampanie sezonowe. Jaka zasada statystyczna wyjaśnia ten błąd?
- A) Korelacja nie jest przyczyną; Ukryta trzecia zmienna może mieć wpływ na obie zmienne ✔
- B) Ponieważ korelacja wynosząca 0,78 jest zbyt niska, zależność tę należy zignorować
- C) Korelacja zawsze dowodzi związku przyczynowego, zespół słusznie to ujął
- D) Nie da się matematycznie obliczyć korelacji pomiędzy reklamą a sprzedażą.
Wyjaśnienie: Korelacja nie jest przyczyną. Te dwie zmienne mogą działać razem, ponieważ ukryta trzecia zmienna (w tym przypadku kampanie sezonowe) wpływa na obie. Wniosek, że jedno powoduje drugie, można wyciągnąć jedynie na podstawie eksperymentu i wiedzy terenowej; Sama liczba korelacji nie jest dowodem na związek przyczynowy.
5. Model wykrywania oszustw wykazuje skuteczność na poziomie 99,2%, a zespół świętuje; Jednak odsetek fałszywych transakcji w danych wynosi zaledwie 0,8%, a wycofanie modelu – 6%. Co pokazuje ta tabela?
- A) Model jest idealny, ponieważ dokładność wynosi ponad 99%
- B) Dokładność wprowadza w błąd w przypadku niezrównoważonych danych; W modelu brakuje prawie wszystkich podróbek (niska pamięć), należy zwrócić uwagę na odpowiednią metrykę ✔
- C) Nie ma problemu, ponieważ pamięć modelu jest wysoka
- D) Nie było potrzeby budowania modelu, ponieważ odsetek fałszywych danych był niski
Wyjaśnienie: „Dokładność” wprowadza w błąd w przypadku niezrównoważonych danych. Kiedy model nazywa prawie każdą transakcję „czystą”, uzyskuje wysoką dokładność, ponieważ podróbek jest bardzo niewiele, ale nie wychwytuje podróbek, co jest jego głównym celem (przypomnijmy 6%). Dlatego w przypadku problemów niezrównoważonych nacisk nie jest kładziony na dokładność, ale na macierz zamieszania i metryki odpowiednie do celu zadania, takie jak przypominanie/precyzja.
6. W projekcie prognozowania popytu dane zależne od czasu są losowo dzielone na szkolenia/testy. Model daje 93% dokładności, ale ulega awarii w produkcji. Jakie powinno być prawidłowe podejście do podziału?
- A) Powiększanie zestawu testowego, np. podział 50%/50%
- B) Użycie bardziej złożonego modelu
- C) Całkowicie usuń partycję i trenuj ze wszystkimi danymi
- D) Podział chronologiczny: trening ze starym okresem i testowanie z nowym okresem, uniemożliwiając w ten sposób modelowi widzenie przyszłości ✔
Wyjaśnienie: Jeśli w szeregach czasowych dokonano losowego podziału, model widzi przyszłość i przewiduje przeszłość podczas uczenia; jest to przeciek powodujący sukces, który w rzeczywistości nie istnieje. Prawidłowym podejściem jest podział chronologiczny: uczenie ze starym okresem i testowanie z nowym okresem, imitujące rzeczywistą sytuację w produkcji (przewidywanie od przeszłości do przyszłości).
7. Z jakich danych należy obliczać parametry skalowania (StandardScaler) w inżynierii cech i jak je stosować?
- A) Należy go wyliczyć na podstawie wszystkich danych (trening + testowanie łącznie), aby był bardziej dokładny
- B) Należy go obliczyć osobno dla każdego wiersza, z wartości tego wiersza
- C) Należy obliczyć wyłącznie na podstawie danych testowych
- D) Należy go obliczyć wyłącznie na podstawie danych uczących, następnie te same parametry należy zastosować do danych testowych; w przeciwnym razie wycieknie ✔
Wyjaśnienie: Parametry wszystkich transformacji (średnia, odchylenie standardowe itp.) takie jak skalowanie, kodowanie i dopełnienie należy uczyć się wyłącznie z danych uczących, a następnie to samo należy zastosować do danych testowych. Uwzględnienie danych testowych powoduje również, że informacje testowe zakłócają trening, czyli wycieki i sprawiają, że model wygląda lepiej niż jest. Zapewnia to użycie Pipeline.
8. Model daje 98% dokładności na zbiorze treningowym i 72% na zbiorze testowym. O czym świadczy ten objaw i co należy zrobić?
- A) Niewystarczająca nauka; model powinien być bardziej złożony
- B) Wyciek danych; należy zmienić zestaw testowy
- C) Nadmierne dopasowanie; model należy uprościć, zastosować regularyzację i walidację krzyżową ✔
- D) Normalna sytuacja; Wynik wykształcenia i tak jest zawsze wyższy, środki ostrożności są niepotrzebne
Wyjaśnienie: Bardzo wysoki wynik w treningu i znacząco niski wynik w testowaniu to klasyczny objaw nadmiernego dopasowania: model zapamiętał szum danych treningowych, a nie rzeczywisty wzorzec. Rozwiązania obejmują uproszczenie modelu, więcej danych, regularyzację i weryfikację stanu za pomocą walidacji krzyżowej. Opieranie się wyłącznie na wynikach w zakresie wykształcenia pozwala ukryć tę pułapkę.
9. W prezentacji zarządczej oś Y wykresu słupkowego, na którym wzrost sprzedaży z 1000 do 1020 rozpoczyna się od wartości 980, aby wzrost wydawał się ogromny. Rzeczywisty wzrost wynosi 2%. Dlaczego jest to kwestia etyczna?
- A) Ścięta oś Y wizualnie wyolbrzymia niewielką różnicę i wprowadza widza w błąd; Dla uczciwości oś słupków porównawczych powinna zaczynać się od 0 ✔
- B) Wykresów słupkowych nigdy nie można używać do danych sprzedażowych
- C) Nie ma problemu; Zawsze dobrze jest sprawić, aby wykres wyglądał imponująco
- D) Oś Y powinna zawsze zaczynać się od największej wartości danych
Objaśnienie: Na wykresach słupkowych do celów porównawczych oś Y powinna zazwyczaj zaczynać się od 0. Obcięcie osi i rozpoczęcie od 980 sprawia, że niewielka różnica wynosząca 2% wydaje się wizualnie ogromna i wprowadza widza w błąd. Etycznym obowiązkiem specjalisty ds. danych jest sporządzenie rzetelnych wykresów, które nie zawyżają ani nie zaniżają danych.
10. Analityk po POŁĄCZENIU zamówień z tabelą produktów wylicza całkowity obrót 3 razy; Liczba linii wzrosła z 240 tys. do 690 tys. Co należało zrobić, aby zapobiec temu cichemu błędowi?
- A) Podziel całkowity obrót przez 3
- B) Zawsze używaj oddzielnych zapytań zamiast JOIN
- C) Całkowite usunięcie tabeli produktów
- D) Sprawdzenie liczby wierszy po łączeniu/JOIN i sprawdzenie, czy są one połączone za pomocą odpowiedniego klucza; Wczesne łapanie replikacji ✔
Objaśnienie: Jeśli w tabeli produktów dla każdego produktu znajduje się wiele wierszy (na przykład inny kolor), polecenie JOIN przy użyciu niewłaściwego klucza spowoduje zduplikowanie każdego zamówienia i zawyżenie sumy. Kod działa bez błędów, ale wynik jest błędny. Aby tego uniknąć, należy sprawdzić liczbę wierszy po każdym łączeniu/dołączeniu i połączyć je za pomocą odpowiedniego klucza.
11. Model kontroli zatrudnienia uczy się o braku równowagi płci w danych historycznych i systematycznie zaniża wyniki kandydatek, ale jego ogólna dokładność jest wysoka. Co to oznacza?
- A) Nie ma problemu, ponieważ model ma dużą dokładność
- B) Dokładność statystyczna nie zastępuje akceptowalności etycznej; model dowiedział się o dyskryminacji w przeszłości, wymagana jest grupowa weryfikacja sprawiedliwości ✔
- C) Dalsze zwiększanie dokładności modelu rozwiązuje problem
- D) Uczciwość wykracza poza zakres nauki o danych
Wyjaśnienie: Nawet jeśli model jest poprawny statystycznie, może być nie do przyjęcia z etycznego punktu widzenia. Model uczy się niesprawiedliwości w danych z przeszłości i automatyzuje dyskryminację. Wysoka uczciwość nie zastąpi sprawiedliwości; W modelach o dużym wpływie kontrola uczciwości, która mierzy różnicę w wynikach/decyzjach dla różnych grup, jest niezbędna, a ostateczna odpowiedzialność spoczywa na człowieku.
12. Pracownik przesyła plik zawierający e-maile prawdziwych klientów i historię zakupów do publicznego narzędzia AI i mówi „podsumuj segmenty”. Dlaczego jest to poważny błąd i jaki jest właściwy sposób?
- A) Nie ma problemu; Narzędzia AI nigdy nie przechowują danych
- B) Błąd polega na tym, że plik jest za duży; powinien był zostać zmniejszony
- C) Podanie prawdziwych danych osobowych do otwartego narzędzia stanowi naruszenie KVKK/RODO; pola tożsamości powinny zostać usunięte i udostępniony tylko anonimowy schemat/właściwość ✔
- D) Należało użyć pliku CSV zamiast samego Excela
Wyjaśnienie: W przypadku przekazania prawdziwych danych osobowych (takich jak adres e-mail, imię i nazwisko itp.) publicznie dostępnemu narzędziu sztucznej inteligencji, nastąpi naruszenie prywatności w zakresie KVKK/RODO; dane opuszczają organizację. W większości przypadków do analizy wystarczą diagram i próbka anonimowa/syntetyczna. Prawidłowym sposobem jest usunięcie pól tożsamości i udostępnienie tylko anonimowych właściwości.
13. Model rekomendacji zostaje wprowadzony do produkcji, ale nie ustalono śledzenia; Kiedy po 4 miesiącach zmienia się katalog produktów, modelka nadal poleca stare produkty, a współczynnik konwersji po cichu spada o 30%. Jak nazywa się to zjawisko?
- A) nadmierne uczenie się; Model zapamiętuje zbiór treningowy
- B) Dryft modelu; Wraz ze zmianą świata model staje się przestarzały po cichu, niezauważony, ponieważ nie jest ustanowiony monitoring ✔
- C) błąd selekcji; stronniczość próbki
- D) Naruszenie minimalizacji danych
Wyjaśnienie: To jest dryf modelu (dryf modelu/danych): kiedy świat się zmienia (katalog, zachowanie, pora roku), warunki, w jakich model był szkolony, zmieniają się, a model po cichu się psuje. Model wprowadzony do produkcji sam ulega degradacji; To kwestia „kiedy”. Wdrożenie bez monitorowania (śledzenie danych wejściowych i wydajności) uniemożliwia wykrycie degradacji.
14. Model, który uzyskuje dokładność 88% w pojedynczym podziale treningu/testu, ma 5-krotne wyniki walidacji krzyżowej wynoszące 88%, 71%, 83%, 64%, 79%. Co to oznacza i dlaczego weryfikacja krzyżowa jest ważna?
- A) Model jest stabilny; 88% to rzeczywista wydajność
- B) Walidacja krzyżowa jest niepotrzebna; Wystarczy jedna komora
- C) Duża zmienność wyników wskazuje, że model jest niestabilny; weryfikacja krzyżowa opiera wydajność na średniej i dystrybucji wielu pojemników, a nie pojedynczego szczęśliwego pojemnika ✔
- D) Najlepiej zgłosić najwyższy wynik (88%)
Wyjaśnienie: Pojedynczy przedział może przynosić szczęście lub pecha; 88% było wynikiem tego łatwego podziału. Walidacja krzyżowa dzieli dane wielokrotnie, opierając wydajność na średniej (tutaj ~77%) i pokazując zmienność wyników. Wysoka zmienność sugeruje, że model jest niestabilny; Opieranie się na jednym przedziale jest mylące.