Zyski:
- Potrafi zaprojektować sposób, w jaki podpowiedzi systemowe prowadzą model przez całą konwersację
- Rozumie rolę i wpływ na koszty myślenia adaptacyjnego i parametrów wysiłku
- implementuje kontrole wyjściowe, takie jak max_tokens, sekwencje zatrzymujące i uporządkowane wyjście
Dwa różne produkty tego samego modelu mogą zachowywać się zupełnie inaczej. Różnica nie polega na samym modelu, ale na podpowiedzi systemowej i podanych mu parametrach. Podpowiedź systemowa to „umowa o pracę” modelu, a parametry to „ustawienia pracy”. W tej części dowiesz się, jak zaprojektować potężny komunikat systemowy, do czego służą ustawienia myślenia i wysiłku w nowoczesnych modelach oraz jak kontrolować format/długość wydruku. Prawidłowe ustawienie tych ustawień umożliwia jednoczesne zarządzanie jakością i kosztami.
Podpowiedź systemowa: Stała dyrektywa modelu
Podpowiedź systemowa to instrukcja wysokiego poziomu, która ma zastosowanie podczas całej rozmowy. Reguły te pozostają ważne bez względu na to, co użytkownik wpisze. Dobry wiersz systemowy zawiera następujące komponenty:
- Rola/tożsamość: Kto jest modelem? („Jesteś asystentem wsparcia korporacyjnego.”)
- Zakres i granice: co robi, a czego nie? („Na podstawie dostarczonego dokumentu polisy.”)
- Reguły formatowania: jak powinien wyglądać wynik? („Maksymalnie 3 artykuły, język urzędowy.”)
- Zachowanie w niepewności: co zrobić, gdy nie jest się pewnym? („Jeśli nie ma informacji, wymyśl ją i skieruj do odpowiedniej jednostki.”)
- Bezpieczeństwo/prywatność: Czego nie chce/nie chce? („Poproś o podanie danych osobowych.”)
Wskazówka: nie zmieniaj monitu systemowego. Nie osadzaj informacji zmieniających się przy każdym żądaniu (bieżąca data, nazwa użytkownika, identyfikator sesji). To zarówno zakłóca spójność, jak i unieważnia pamięć podręczną podpowiedzi w jednostce 6. Umieść zmienną informację w komunikacie użytkownika.
Pułapka nadmiernie agresywnych instrukcji
Nowoczesne modele ściśle przestrzegają instrukcji. Agresywne zwroty typu „MUSI”, „ZAWSZE”, „ZDECYDOWANIE to zrobić” itp., które sprawdzały się w starszych modelach, dziś prowadzą do overtriggeringu: model wzywa agenta, gdy nie jest on potrzebny lub działa niepotrzebnie długo. Złagodź zasadę: Zamiast „MUSISZ skorzystać z wyszukiwarki” bardziej trafne jest „Jeśli odpowiedzi nie ma w rozmowie, użyj wyszukiwarki”.
Parametry modelu: myśl i wysiłek
Klasyczne LLM miały parametr temperatury: niższa wartość dawała bardziej konkretny/spójny wynik, wyższa wartość dawała bardziej zróżnicowany/kreatywny wynik. Modele współczesnej generacji (takie jak Opus 4.8, Sonnet 5) zastępują to podejście dwoma mocniejszymi mechanizmami i nie akceptują już parametrów próbkowania, takich jak temperatura.
- Myślenie adaptacyjne: model rozumuje krok po kroku w swojej „głowie”, zanim odpowie. Model decyduje, ile myśleć, na podstawie trudności zadania. Znacząco poprawia dokładność w przypadku złożonych, wieloetapowych problemów; Myśli mniej, aby uniknąć niepotrzebnych opóźnień w przypadku prostych pytań.
- Wysiłek: Pokrętło wysokiego poziomu, które reguluje, jak głęboko model zagłębia się w zadanie i ile łącznie wydaje żetonów. Typowe poziomy: niski, średni, wysoki i wyższy. Duży wysiłek może poprawić jakość, ale zwiększa również opóźnienia i koszty; Niewielki wysiłek zapewnia szybkość i oszczędności.
Ustawienie
Co robi
kiedy
Myślenie bez wysiłku/niski wysiłek
Szybko, tanio, powierzchownie
Prosta klasyfikacja, krótka reakcja, zadania wrażliwe na opóźnienia
Myślenie adaptacyjne + średni wysiłek
Zrównoważona jakość/koszt
Większość zadań ogólnego przeznaczenia
Myślenie adaptacyjne + duży wysiłek
najwyższa dokładność
Złożone rozumowanie, kodowanie, praca agenta dalekiego zasięgu
Uwaga: odruch „maksymalnego wysiłku bez względu na wszystko” zwiększa koszty. Dostosuj wysiłek do zadania; W przypadku prostych zadań niewielki wysiłek często daje ten sam dokładny wynik przy znacznie niższej cenie. Idź wysoko tam, gdzie wymagana jest krytyczna dokładność.
Kontrola wyników: format, długość, struktura
Oprócz parametrów sterujesz także samym wyjściem:
- max_tokens: Twardy pułap wyjścia (1. i 3. jednostka).
- Zatrzymaj sekwencje: Zatrzymanie modelu, gdy zobaczy określony ciąg. Przydatne do ustawiania punktów przerwania w ustrukturyzowanej produkcji.
- Ustrukturyzowane dane wyjściowe: wymuś zgodność odpowiedzi modelu z podanym schematem JSON. Zapewnia, że dane wyjściowe są programowo analizowalne i prawidłowe. Jest to bardziej niezawodne niż powiedzenie „po prostu zwróć JSON” z monitem.
{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["faktura", "techniczne", "zwrot", "inne"] }, "pilność": { "type": "string", "enum": ["niski", "średni", „wysoki”] } }, „wymagane”: [„kategoria”, „pilność”] } } }}
Kopiowalne szablony podpowiedzi systemowych
# Asystent wsparcia korporacyjnegoJesteś asystentem wsparcia korporacyjnego.- Polegaj wyłącznie na dostarczonym dokumencie polityki; Jeśli nie ma tego w dokumencie, powiedz „Nie mam tej informacji”. - Podaj formalną i jasną odpowiedź w maksymalnie 3 zdaniach. - Zapytaj o dane osobowe (numer identyfikacyjny TC, numer karty) i nie powtarzaj ich w swojej odpowiedzi. - Jeśli nie jesteś pewien, nie zgaduj.
# Klasyfikator wymuszający ustrukturyzowane wyjścieJesteś klasyfikatorem popytu. Dane wejściowe to wiadomość od klienta. Zwróć tylko żądane pola, nie pisz komentarzy. Jeżeli nie jesteś pewien, użyj słowa „inne”.
# Analityk o zdefiniowanym zachowaniu polegającym na pozostawaniu w niepewności Jesteś analitykiem danych. Z podanej tabeli wyciągaj wyłącznie możliwe do sprawdzenia wnioski. Nigdy nie wyciągaj wniosków, których nie ma w danych. Jeśli wniosek jest niejasny, wpisz „dane niewystarczające”.
# Autor treści z kontrolą tonu i długościJesteś autorem treści. Używaj ciepłego, ale profesjonalnego tonu. Ogranicz każdy tekst do 120 słów lub mniej. Unikaj banalnego języka marketingowego.
Słaba zachęta/silna zachęta
# SŁABYBądź pomocny i udzielaj dobrych odpowiedzi. Daj z siebie wszystko.
# SILNARola: Specjalista ds. wsparcia technicznego.Zakres: Dostępny jest tylko przewodnik po produkcie.Format: Szczegółowa lista numerowana, maksymalnie 5 kroków.Limit: Polecanie rozwiązania, którego nie ma w przewodniku; Powiedz „Nie mogłem tego znaleźć w instrukcji”. Prywatność: Nie powtarzaj numeru seryjnego udostępnionego przez użytkownika w odpowiedzi.
Potężna wersja; Odrębnie określa rolę, zakres, format, granice i poufność. Spójność wyników wynika bezpośrednio z tej przejrzystości.
Trzy mini etui
Przypadek 1 — Redukcja kosztów poprzez dostosowanie nakładu pracy. Jeden zespół wykonywał wszystkie swoje polecenia, wymagając dużego wysiłku i myślenia; Nawet proste podsumowania e-maili były drogie i powolne w tworzeniu. Proste zadania, takie jak podsumowania, przypisywali do zadań wymagających niewielkiego wysiłku, a analiza kontraktów do zadań wymagających dużego wysiłku. Utrzymano dokładność, średnie opóźnienia zmniejszono o połowę, a miesięczne koszty zmniejszono o jedną trzecią.
Przypadek 2 – gwarancja JSON. Zespół operacyjny poprosił o wynik klasyfikacji, wyświetlając monit „po prostu daj JSON”, ale model czasami zapisywał „Oto wynik:” i parser zawieszał się. Kiedy podłączyłem skonfigurowany schemat wyjściowy, dane wyjściowe za każdym razem zwracały prawidłowy JSON; błędy analizy zostały zresetowane.
Przypadek 3 — Agresywny, natychmiastowy odrzut. Asystent powiedział: „MUSISZ wyszukać KAŻDE PYTANIE”; Model dokonywał niepotrzebnych poszukiwań nawet prostych pytań, na które znał już odpowiedź, spowalniając i zwiększając koszty. Złagodzili zasadę do „Jeśli odpowiedź nie znajduje się w kontekście, wyszukaj”; Liczba niepotrzebnych połączeń spadła o 70%, a liczba odpowiedzi wzrosła.
Typowe błędy
- Osadzanie zmiennych danych w wierszu poleceń: przerywa spójność i unieważnia pamięć podręczną.
- Zbyt agresywna instrukcja: nadmierne wyzwalanie i niepotrzebne koszty w nowoczesnych modelach.
- Duży wysiłek w każdym zadaniu: Marnotrawstwo w prostych zadaniach; dostosuj wysiłek do zadania.
- Żądanie JSON tylko poprzez zachętę: czasami się psuje; jeśli jest to krytyczne, użyj uporządkowanego wyniku.
- Brak określenia zachowania granicznego/niejednoznaczności: Model wypełnia lukę fabrykacją (halucynacją).
- Stary nawyk „temperatury”: nowoczesne modele tego nie akceptują; Kieruj zachowaniem szybko i z wysiłkiem.
Deeper: Pisanie podpowiedzi jak umowy
Doświadczone zespoły traktują podpowiedzi systemowe jak umowę, a nie tekst literacki: jasne klauzule, mierzalne zasady, jednoznaczne granice. Takie podejście ma trzy konkretne korzyści. Pierwszą z nich jest spójność: te same dane wejściowe dają podobny wynik w różnym czasie. Po drugie, testowalność: możesz przetestować każdy element osobno na próbce. Po trzecie, łatwość konserwacji: jeśli zachowanie jest nieprawidłowe, wiesz, który element wymienić.
Dobrą praktyką jest dawanie pozytywnych przykładów. Zamiast podawać listę „nie rób tego”, w nowoczesnych modelach znacznie skuteczniejsze jest podanie przykładu, który mówi „dokładnie tak wygląda pożądany wynik”. Na przykład w klasyfikatorze dodanie jednej lub dwóch próbek oczekiwanego formatu JSON do podpowiedzi znacznie zmniejsza liczbę błędów formatowania.
Inną skuteczną techniką jest jawne zapisanie zachowania niepewności. Klauzula taka jak „Jeśli nie jesteś pewien, nie zgaduj; powiedz „niewystarczające dane”” tłumi tendencję modelu do wypełniania pustych miejsc za pomocą fabrykacji (halucynacji). To pojedyncze zdanie odciąża warstwę weryfikacji, którą omówimy w części 11: gdy w modelu oznaczono już niepewność, łatwiej jest doprowadzić do walidacji przez człowieka.
Na koniec wspólnie rozważcie wysiłek i podpowiedź. Przy dużym wysiłku model bada więcej i czasami wykonuje niechcianą „dodatkową pracę” (niepotrzebne wyjaśnienia, dodatkowa sugestia). Powiedzenie „podaj tylko żądany wynik, nie dodawaj dodatkowych komentarzy” w wierszu zachęty kompensuje ten efekt uboczny dużego wysiłku.
Podsumowując
Podpowiedź systemowa jest stałą dyrektywą modelu: definiuje rolę, zakres, format, zachowanie niejasności i poufność. We współczesnych modelach zachowaniem kieruje się myślenie adaptacyjne i parametry wysiłku, a nie temperatura; Dostosowanie wysiłku do zadania pozwala jednocześnie zarządzać jakością i kosztami. Zabezpieczasz dane wyjściowe za pomocą max_tokens, tablic stop i uporządkowanego wyjścia.
Zadanie aplikacji
Wybierz zadanie. (1) Napisz zachętę systemową składającą się z pięciu elementów (rola, zakres, format, niejednoznaczność, poufność). (2) Określ, jaki poziom wysiłku wybrałbyś do wykonania tego zadania i dlaczego. (3) Jeśli dane wyjściowe powinny mieć strukturę, naszkicuj mały schemat JSON. (4) Sprawdź, czy w Twoim monicie nie występuje zbyt agresywny wzór i złagodź go.
lista kontrolna
- [ ] Potrafię wymienić pięć elementów dobrego podpowiedzi systemowej.
- [ ] Potrafię wyjaśnić, do czego służą parametry myślenia adaptacyjnego i wysiłku.
- [ ] Potrafię zrównoważyć jakość/koszt, dostosowując wysiłek do zadania.
- [ ] Wiem, dlaczego uporządkowane dane wyjściowe są bezpieczniejsze niż żądanie JSON za pośrednictwem podpowiedzi.
- [ ] Potrafię rozpoznać ryzyko stosowania zbyt agresywnych instrukcji we współczesnych modelach.