Zyski:
- Możliwość wyboru miernika odpowiedniego do rodzaju problemu i kontekstu biznesowego (PR-AUC/wycofanie w danych niezbilansowanych, MAE/RMSE w regresji) i rozpoznania nadmiernego/niedostatecznego uczenia się
- Możliwość interpretacji każdego wskaźnika względem wartości bazowej oraz pomiaru odchyleń i oddzielania szumu od postępu za pomocą walidacji krzyżowej
- Możliwość raportowania nieoptymistycznych wyników poprzez dostrajanie hiperparametrów za pomocą zestawu walidacyjnego i wykorzystanie zestawu testowego dopiero na końcu
Trening modeli (trening: proces uczenia się wzorców z danych) jest najbardziej widocznym, ale najbardziej mylącym etapem inżynierii ML. Wydaje się, ponieważ daje zadowalającą liczbę, taką jak „dokładność 95%”. Wprowadza w błąd, ponieważ liczba ta często jest właściwą odpowiedzią na niewłaściwe pytanie. W tej jednostce kształcenie i ewaluacja są omawiane z dyscypliną inżynierską; Wykorzystujemy sztuczną inteligencję jako partnera w projektowaniu eksperymentów i opieramy decyzję na pomiarach.
Logika cyklu szkoleniowego
Model uczy się wzorca w danych, minimalizując funkcję straty: funkcję, która numerycznie mierzy błąd modelu. Algorytm optymalizacji (np. opadanie gradientu) zmniejsza straty poprzez stopniową regulację parametrów. Celem nie jest zapamiętanie danych szkoleniowych, ale uogólnienie ich na niespotykane wcześniej dane.
Dwa główne zagrożenia:
- Nadmierne dopasowanie: model zapamiętuje dane szkoleniowe i nie sprawdza nowych danych. Sukces szkolenia jest wysoki, sukces weryfikacji jest niski.
- Niedopasowanie: model nie może uchwycić wzoru; Zarówno skuteczność szkolenia, jak i walidacji jest niska.
Znalezienie równowagi jest sztuką edukacji. Zestaw walidacyjny ma za zadanie monitorować tę równowagę: jeśli skuteczność walidacji zaczyna spadać, podczas gdy skuteczność szkolenia wzrasta, rozpoczyna się nadmierne uczenie się.
Wskazówka: na każdym etapie wykreśl razem stratę podczas uczenia i walidacji. Punkt, w którym obie krzywe zaczynają się rozchodzić, to moment, w którym rozpoczyna się nadmierne uczenie się i jest to właściwy moment na „wcześniejsze zatrzymanie”.
Wybór metryki: najważniejsza decyzja
Niewłaściwa metryka sprawia, że dobry model wygląda źle, a zły model wygląda dobrze. Problem wyznacza metrykę:
- Klasyfikacja niezrównoważona (jedna klasa jest bardzo rzadka, np. oszustwo): Dokładność wprowadza w błąd. Model, który mówi „nazywaj wszystko normalnym”, uzyska 99% dokładności, ale nie wyłapie ani jednego oszustwa. Zamiast tego stosuje się precyzję (ile z tego, co złapałem, jest rzeczywiście pozytywne), przypomnienie (ile z tego, co złapałem, jest naprawdę pozytywne) i ich równowagę F1 lub PR-AUC.
- Klasyfikacja zrównoważona: odpowiednia może być dokładność i ROC-AUC.
- Regresja (oszacowanie liczbowe): MAE (średni błąd bezwzględny), RMSE (karze duże błędy), MAPE (błąd procentowy).
- Ranking/rekomendacja: NDCG, MRR, Recall@K.
To, czy precyzja czy zapamiętywanie jest ważne, zależy od kontekstu biznesowego. Przypomnienie (niepominięcie żadnego pacjenta) jest priorytetem w badaniach przesiewowych w kierunku raka; Ważna jest precyzja filtra spamu (nie wysyłanie ważnych e-maili do spamu). Jest to decyzja biznesowa, a nie techniczna, podejmowana wspólnie przez inżyniera i właściciela.
Słaba zachęta/silna zachęta
Słaby monit: „Oceń wydajność mojego modelu, dokładność 0,97”.
Potężna podpowiedź: „Mam model wykrywania oszustw; wskaźnik klasy dodatniej wynosi 1,5%. Dokładność jest podawana jako 0,97. Wyjaśnij, dlaczego ten wskaźnik może wprowadzać w błąd, powiedz, które wskaźniki (precyzja, wycofanie, PR-AUC) powinienem preferować i dlaczego. Oblicz także, jak dokładny model bazowy „nazywaj wszystko negatywnym” uzyskałby na podstawie tych danych, abym mógł zobaczyć rzeczywistą wartość dodaną.
Różnica: potężny monit podaje stosunek klasy i kontekst biznesowy; wymaga również porównania modelu bazowego — jest to najważniejsza kotwica określająca, czy metryka ma znaczenie.
Linia bazowa: metryka bez porównania jest bez znaczenia
Metryka sama w sobie nie jest ani dobra, ani zła; W zależności od podstawowego modelu jest to dobre lub złe. Podstawowy model to najprostsze rozwiązanie, jakie przychodzi na myśl: „zawsze mów klasie większości”, „powtórz wartość z poprzedniego tygodnia”, „zgadnij średnią”. Jeśli Twój model nie może wyraźnie przejść przez to proste rozwiązanie, cała złożoność jest na nic.
Uwaga: Zdanie „Mój model jest dokładny w 85%” samo w sobie nic nie mówi. Jeśli model podstawowy uzyskał już 84%, Twój model jest prawie bezwartościowy; Jeśli model podstawowy uzyska 50%, Twój model będzie idealny. Zawsze wypowiadaj się w odniesieniu do modelu podstawowego.
Weryfikacja krzyżowa i zaufanie
Pojedynczy podział szkolenia/testowania może być dziełem przypadku. Walidacja krzyżowa: podzielenie danych na k części i sekwencyjne testowanie każdej części pokazuje, jak stabilna jest wydajność. W 5-krotnej walidacji krzyżowej otrzymujesz pięć różnych wyników; Istotna jest ich średnia i odchylenie standardowe. Jeśli średnia wynosi 80%, ale odchylenie wynosi ±12%, Twój model jest niestabilny — w następnej partii danych może zachowywać się zupełnie inaczej.
Ma to również kluczowe znaczenie dla „porównania dwóch modeli”. Jeśli Model A uzyskał 81%, a Model B 82%, czy B jest naprawdę lepszy? Jeżeli odchylenie wynosi ±3%, różnicą tą może być szum. Przed podjęciem decyzji zastanów się, czy różnica jest znacząca.
Strojenie hiperparametrów: z walidacją, a nie testowaniem
Hiperparametry (ustawienia ustalane ręcznie przed uczeniem – szybkość uczenia się, głębokość drzewa itp.) są ustawiane za pomocą zestawu walidacyjnego. Zestaw testowy używany jest tylko na końcu, jednorazowo. Jeśli wybierzesz hiperparametry, patrząc na zestaw testowy, zestaw testowy zostanie zanieczyszczony, a raportowana wydajność będzie optymistyczna, co nie ma miejsca w rzeczywistości.
Sztuczna inteligencja jest dobrym pomocnikiem w projektowaniu przestrzeni poszukiwań hiperparametrów i pisaniu kodu wyszukiwania (przeszukiwanie siatki, wyszukiwanie losowe, optymalizacja bayesowska). Ale nadal decydujesz, „które dane będziemy optymalizować?”
trzy mini etui
Przypadek 1 – Pułapka dokładności. Zespół medyczny był dumny z modelu, który wykrył rzadką chorobę: dokładność na poziomie 98%. Kiedy dokonano podstawowego porównania modeli, wyszła na jaw prawda: skoro wskaźnik zachorowalności wynosił 2%, model, który mówił „nazywaj wszystkich zdrowymi”, również uzyskał 98%. Model wycofano tylko z 11% – brakowało większości pacjentów. Po przekształceniu metryki na PR-AUC zmierzono rzeczywistą wydajność i przeprojektowano model.
Przypadek 2 – Mylenie hałasu z postępem. Zespół spędził miesiące na ulepszaniu modelu z 86,2% do 86,9%. Walidacja krzyżowa wykazała, że odchylenie wynosiło ±1,4%, więc „poprawa” o 0,7 punktu była szumem statystycznym. Zespół zmarnował trzy tygodnie na nierealne zarobki. Lekcja: nie ogłaszaj zwycięstwa bez sprawdzenia, czy poprawa jest większa niż odchylenie.
Przypadek 3 – Zanieczyszczenie zestawu testowego. Inżynier wielokrotnie przeglądał zestaw testowy, aby wybrać najlepsze hiperparametry. Zgłoszone 91% spadło do 83% w produkcji. Dlaczego: nieświadomie wybrał odpowiedni model, przyglądając się wielokrotnie zestawowi testowemu (nadmierne uczenie się na zestawie testowym). Zgłoszona i rzeczywista wydajność pokrywały się, gdy zastosowano oddzielny zestaw walidacyjny.
Szablony do kopiowania
Pomóż mi wybrać właściwą metrykę dla tego problemu klasyfikacji. Problem: [co jest przewidywane] Rozkład klas: [wskaźnik dodatni
Oceń porównanie następujących dwóch modeli. Walidacja krzyżowa modelu A: [lista wyników] Walidacja krzyżowa modelu B: [lista wyników] Oblicz średnią i odchylenie standardowe. Czy różnica jest istotna statystycznie, czy jest to tylko szum w obrębie odchylenia? Który z nich polecilibyście mi wybrać i dlaczego?
Sprawdź ten kod szkoleniowy pod kątem następujących elementów: 1) Czy hiperparametry zostały wybrane w zestawie testowym lub zestawie walidacyjnym? 2) Czy wczesne zatrzymanie jest monitorowane przy użyciu prawidłowego zestawu? 3) Czy są jakieś oznaki nadmiernego uczenia się (różnica strat w treningu/walidacji)? Kod: [kod]
Które z MAE, RMSE i MAPE powinienem zgłosić dla tego problemu regresji?Skala zmiennej docelowej: [zakres]Czy duże błędy są nieproporcjonalnie złe (RMSE), czy też wszystkie są równe (MAE)?Czy występują wartości bliskie zeru (czy zniekształcają MAPE)?Zasugeruj z krótkim uzasadnieniem.
Tabela wyboru metryki
Typ problemu
Odpowiednia metryka
Należy unikać
Dlaczego
Niezrównoważona klasyfikacja
PR-AUC, F1, przypomnienie
Dokładność
Klasa większości zawyża metrykę
Klasyfikacja zrównoważona
Dokładność, ROC-AUC
—
Niezawodny w przypadku zrównoważonych danych
Regresja (znaczna wartość odstająca)
RMSE
MAPA (jeśli zero)
Karze główne błędy
Regresja (równa waga)
MAE
—
Łatwe do zinterpretowania
Ranking/rekomendacja
NDCG, Recall@K
Dokładność
Porządek jest ważny
Typowe błędy
- Korzystanie z dokładności w przypadku niezrównoważonych danych. Najczęstszy błąd metryczny.
- Nie porównuję modeli podstawowych. To sprawia, że metryka traci swoje znaczenie.
- Patrząc na zestaw testowy dla hiperparametrów. Wynik optymistyczny, nierealny.
- Opierając się na jednej komorze. Bez weryfikacji krzyżowej nie zobaczysz stronniczości.
- Mylenie hałasu z postępem. Małe „ulepszenia” wynikające z odchyleń to głównie szczęście.
- Ignorowanie kontekstu biznesowego. Bilans precyzji/wycofania jest decyzją biznesową.
Podsumowując
Prawdziwą umiejętnością w szkoleniu modeli nie jest tworzenie dużej liczby, ale wiedza, co ta liczba oznacza. Problem i kontekst biznesowy określają właściwy miernik; interpretować każdą metrykę zgodnie z modelem bazowym; mierz stronniczość za pomocą weryfikacji krzyżowej i nie myl hałasu z postępem; Zestawu testowego użyj tylko na końcu, jeden raz. Sztuczna inteligencja jest Twoim partnerem w projektowaniu eksperymentów, ale decyzja, czy jest „wystarczająco dobry”, zależy od Ciebie i Ciebie.
Zadanie aplikacji
W przypadku modelu klasyfikacyjnego: (1) zapisz rozkład klas, (2) zbuduj odpowiedni model bazowy i zmierz jego wynik, (3) oceń swój model za pomocą 5-krotnej walidacji krzyżowej i podaj średnią i odchylenie standardowe, (4) oblicz metrykę odpowiednią do problemu (np. PR-AUC) zamiast dokładności. Zapisz, czy Twój model jest znacznie lepszy od modelu bazowego i bez uprzedzeń.
lista kontrolna
- [ ] Wybrałem metrykę na podstawie rodzaju problemu i kontekstu biznesowego.
- [ ] Zbudowałem model podstawowy i porównałem go z nim.
- [ ] Podałem średnią i odchylenie w drodze walidacji krzyżowej.
- [ ] Potwierdziłem, że poprawa jest większa niż odchylenie.
- [ ] Wybrałem hiperparametry z zestawem walidacyjnym.
- [ ] Zestaw testowy użyłem tylko raz, na samym końcu.