Zyski:
- Rozpoznawanie lekkich, zrównoważonych i wydajnych etapów modelu oraz trybu rozumowania
- Wybór odpowiedniego poziomu modelu w oparciu o trudność zadania
- Możliwość świadomego ustalenia równowagi pomiędzy opóźnieniami, dokładnością i kosztami
Nauczyliśmy się obliczać cenę; Porozmawiajmy teraz o tym, co dostajemy w tej cenie, a mianowicie o poziomach modeli i możliwościach. Przy wyborze modelu stale rywalizują trzy siły: jakość (dokładność), szybkość (opóźnienie) i koszt. Ulepszenie dwóch z tych trzech często oznacza pogorszenie trzeciego. W tym module dowiesz się o poziomach światła, wyważenia i mocy, trybie rozumowania oraz preferencjach małych/dużych modeli; Będziesz w stanie świadomie ustalić właściwą równowagę w zależności od trudności zadania.
Trzy poziomy, trzy różne postacie pracy
Prawie każdy dostawca oferuje trzy poziomy w ramach tej samej rodziny. Dopasujmy je do charakteru zadania:
- Poziom lekki (mały model): Bardzo szybki, bardzo tani, „wystarczająco dobry”. Idealny do prostych, powtarzalnych zadań o dużej objętości: klasyfikacji, odpraw, tagowania, czyszczenia danych, prostych wersji roboczych odpowiedzi.
- Zrównoważony poziom (model średni): Dobra jakość, rozsądna prędkość, rozsądny koszt. „Domyślny” wybór do większości codziennych prac: produkcja treści, analizy średniej długości, odpowiedzi klientów.
- Potężny poziom (duży model): Najwyższa jakość, najwolniejszy, najdroższy. Do złożonego rozumowania, długich i wieloetapowych analiz, trudnego kodu, precyzyjnej oceny prawno-finansowej.
Wskazówka: Dobra zasada na początek: zacznij od zrównoważonego poziomu. Jeśli jakość jest słaba, przejdź na wyższy poziom; Jeśli jakość jest wyjątkowo dobra, a głośność wysoka, zejdź do poziomu światła. Podejście „zacznij od wystarczająco dobrego”, a nie „zacznij od najsilniejszego”, pozwala zaoszczędzić zarówno pieniądze, jak i czas.
Co to jest tryb rozumowania?
Niektóre modele mogą najpierw „przemyślać” odpowiedź krok po kroku, zamiast generować ją bezpośrednio. Nazywa się to trybem rozumowania. Model dzieli problem na części, przetwarza w sobie etapy pośrednie i dopiero wtedy podaje ostateczną odpowiedź. Przypomina to sytuację, w której uczeń rozwiązuje krok po kroku zadanie matematyczne na papierze.
Kiedy jest to cenne? W wieloetapowych, logicznych problemach: złożone obliczenia, wykrywanie sprzeczności, długi łańcuch wnioskowania, trudny błąd w kodzie. W tego typu pracy rozumowanie znacznie zwiększa dokładność.
Jaki jest koszt? Rozumowanie zwiększa koszty i opóźnienia, ponieważ model generuje więcej „tokenów myślenia”. Będzie więc i drożej, i wolniej. Proste pytanie: „Czy ta recenzja jest pozytywna?” Rozumowanie w tej kwestii jest jak zabicie muchy młotkiem; powoduje niepotrzebne koszty i opóźnienia.
Uwaga: nie pozostawiaj otwartego trybu rozumowania dla każdego zadania. Szybciej i taniej jest trzymać go zamkniętym do prostych zadań. Niektóre nowoczesne modele są wyposażone w „adaptacyjny” tryb myślenia, który sam decyduje, kiedy musi myśleć; Twoim zadaniem jest jednak świadome zarządzanie tym.
Jakość, szybkość, trójkąt kosztów
priorytet
Odpowiedni poziom
rozumowanie
Najniższy koszt, duża objętość
lekki
Zamknięte
Saldo (większość zawodów)
zrównoważony
w zależności od sytuacji
Najwyższa dokładność, krytyczna decyzja
silny
otwarte
Natychmiastowa reakcja, małe opóźnienia (czat)
Lekki/zrównoważony
Zamknięte
Złożona, wieloetapowa analiza
silny
otwarte
Patrząc na tę tabelę, zadaj sobie pytanie: „Jaki będzie koszt, jeśli popełnię błąd w tym zadaniu?” Jeśli cena jest wysoka (błędna ocena prawna, zła decyzja finansowa) inwestycja o dużym kalibrze i uzasadnieniu jest uzasadniona. Jeśli cena jest niska (błędna klasyfikacja etykiety produktu), wystarczy lekki i szybki model.
Mały model czy duży model?
Wbrew powszechnemu przekonaniu, nie każda praca wymaga dużej modelki. Mniejsze modele stały się zaskakująco wydajne, wykonując wiele zadań za jedną dziesiątą kosztów i kilka razy szybciej niż większy model. Trzy pytania do decyzji:
- Czy zadanie jest proste i schematyczne? (Klasyfikacja, ekstrakcja, krótkie podsumowanie) → Mały model.
- Czy głośność jest zbyt duża, a prędkość jest krytyczna? → Mały model, ponieważ duży model jest drogi i powolny.
- Czy zadanie wymaga szczegółowego rozumowania, rozszerzonego kontekstu lub kreatywności? → Duży model.
Trzy realistyczne przypadki
Przypadek 1 — Wystarczający jest lekki model. Zespół ds. handlu elektronicznego codziennie sortuje 40 000 komentarzy klientów na pozytywne/negatywne/neutralne. Próbują tego z mocnym modelem, a następnie porównują z lekkim modelem: dokładność jest prawie taka sama (96% vs 94%), ale lekki model jest 8 razy tańszy i 3 razy szybszy. Lekki model jest zdecydowanie właściwym wyborem do tego zadania; Dodatkowe 2% dokładności nie uzasadnia 8-krotności kosztów.
Przypadek 2 — Silny model + rozumowanie jest koniecznością. Firma doradztwa podatkowego chce obliczyć złożony, wieloetapowy scenariusz podatkowy. Lekki model popełnia błędy w etapach pośrednich i daje nieprawidłowe wyniki. Kiedy używają potężnego modelu z włączonym trybem wnioskowania, model postępuje krok po kroku i dochodzi do właściwych wniosków. W tym przypadku dodatkowe koszty i opóźnienia są dopuszczalne, ponieważ koszt błędu jest wysoki; Jednak ekspert potwierdza wynik.
Przypadek 3 – Zastosowanie mieszane. Call center przetwarza transkrypcje rozmów w dwóch etapach: najpierw krótko podsumowuje każdą rozmowę za pomocą lekkiego modelu (duża liczba rozmów, proste zadanie), następnie przekazuje tylko połączenia oznaczone jako „skargi” do zaawansowanego modelu i przeprowadza analizę pierwotnej przyczyny (mała liczba rozmów, złożone zadanie). Dlatego przetwarzają większość wolumenu tanio, rezerwując moc silnego wzorca dla kilku naprawdę ważnych połączeń.
Słaba podpowiedź/silna podpowiedź
Słaba zachęta:
Rozwiąż ten scenariusz podatkowy. [złożony scenariusz]
Nie jest jasne, jak dokładnie model rozważy.
Potężny monit:
Twoja rola: starszy specjalista podatkowy. Zadanie: Rozwiąż krok po kroku następujący wieloetapowy scenariusz. Najpierw wypisz założenia, następnie oblicz i pokaż każdy krok z osobna, a na koniec podaj wynik netto. Jeśli jest jakiś punkt, którego nie jesteś pewien lub który zależy od przepisów, oznacz go jako „wymagane potwierdzenie eksperta”. Pomijanie etapów pośrednich. [scenariusz]
Potężny podpowiedzi prowadzi model przez myślenie krok po kroku (zachęcając do rozumowania) i sprawia, że etapy pośrednie stają się widoczne w celu sprawdzenia.
Szablony do kopiowania
Diagnoza etapu 1:
Moja misja: [ZADANIE]. Objętość: [NUMBER/dzień]. Koszt błędu: [NISKI/ŚREDNI/WYSOKI].Priorytet prędkości: [NISKI/WYSOKI]. W oparciu o ten profil, jaki poziom (lekki/zrównoważony/silny) i rozumowanie (otwarty/zamknięty) poleciłbyś? Uzasadniać.
2. Decyzja o małym/dużym modelu:
Definiuję następujące zadanie: [TASK]. Czy ten problem można rozwiązać za pomocą małego (lekkiego) modelu, czy też potrzebny jest duży model? Zaproponuj mi 3 przypadki testowe i próg sukcesu, które mogę spróbować rozwiązać za pomocą małego modelu.
3. Słuszność rozumowania:
Czy tryb rozumowania (myślenia krok po kroku) byłby korzystny czy kosztowny w zadaniu: [ZADANIE]? Uzasadnij swoją decyzję liczbą kroków i logiczną złożonością zadania.
4. Dwuetapowy projekt przepływu pracy:
Zaprojektuj dwuetapowy przepływ, aby obniżyć koszty następującego zadania o dużej objętości [ZADANIE]: która część powinna trafić do lekkiego modelu, która część powinna trafić do mocnego modelu? Zapisz poziom i uzasadnienie każdego kroku.
Typowe błędy
- Potężny model do każdego zadania: tworzenie niepotrzebnych kosztów i opóźnień dzięki zastosowaniu najpotężniejszego modelu w prostych i obszernych zadaniach.
- Zawsze zostawiaj włączone rozumowanie: Utrzymuj włączony tryb myślenia przy prostych zadaniach i marnuj czas i pieniądze na próżno.
- Podejmowanie decyzji bez pomiaru jakości: Zakładanie, że „większe jest lepsze” bez porównywania dwóch poziomów z własnymi danymi.
- Zapominając o potrzebie szybkości: w miejscach, gdzie wymagana jest natychmiastowa reakcja, takich jak czat, wybór powolnego, wydajnego modelu i utrzymywanie użytkownika w oczekiwaniu.
- Nie myśleliśmy w ogóle o przepływie dwuetapowym: nie budowaliśmy całej objętości w ramach jednego modelu i nie oszczędzaliśmy na części, którą można zrobić tanio.
Podsumowując
- Wybór modelu to balansowanie w trójkącie jakości, szybkości i kosztów; Poprawa dwóch często wymaga kompromisu w przypadku trzeciego.
- Lekka scena nadaje się do prostych/nieporęcznych prac, mocna scena nadaje się do złożonych/krytycznych prac; Zrównoważony etap to dobry początek w przypadku większości zawodów.
- Tryb wnioskowania poprawia dokładność w przypadku problemów wieloetapowych, ale zwiększa koszty i opóźnienia; Nie należy pozostawiać otwartego na każde zadanie.
- „Jaka jest cena niepowodzenia w tej misji?” Pytanie jest kompasem decyzji na poziomie i rozumowaniu. Przepływy dwuetapowe zapewniają duże oszczędności w przypadku zadań masowych.
Zadanie aplikacji
Wybierz zadanie w swojej pracy i określ, który etap i ustawienie rozumowania są odpowiednie, korzystając z szablonu 1 (diagnoza etapu). Jeśli zadanie wymaga dużej objętości, wymyśl projekt, który skieruje część objętości do lekkiego modelu, a krytyczną część do mocnego modelu, korzystając z szablonu 4 (dwuetapowy przepływ pracy). Wykorzystamy ten projekt w badaniu portfela modeli w części 9.
lista kontrolna
- [ ] Potrafię dopasować charakter pracy do scen lekkich, zrównoważonych i mocnych.
- [ ] Potrafię wyjaśnić, co robi tryb rozumowania i ile to kosztuje.
- [ ] Potrafię świadomie ustalić równowagę między jakością, szybkością i kosztami zadania.
- [ ] Mogę odpowiedzieć na pytanie dotyczące małego lub dużego modelu za pomocą trzech pytań.
- [ ] Potrafię zaprojektować dwuetapowy przepływ dla zadań o dużej objętości.