Jednostka 10 / 12

Typowe błędy i rozwiązania monitów

Zyski:

  • Rozpoznaje najczęstsze błędy podpowiedzi na podstawie rzeczywistych przykładów
  • Potrafi zastosować praktyczną i powtarzalną poprawkę dla każdego błędu
  • Zdaje sobie sprawę, że złe wyniki są często spowodowane złym monitem

W tym module poznaliśmy techniki pisania dobrych podpowiedzi, jedna po drugiej. Teraz wzmocnijmy je z innej perspektywy: przyglądając się najczęstszym błędom i ich rozwiązaniom. Zdecydowana większość złych wyników AI jest spowodowana złymi podpowiedziami, a nie nieadekwatnością modelu. Jeśli rozpoznasz błędy w tym urządzeniu, możesz szybko zdiagnozować i naprawić problemy za pomocą własnych podpowiedzi; Zamiast mówić „AI nie może tego zrobić”, możesz powiedzieć „pozwól mi naprawić monit w ten sposób”.

Dlaczego rozpoznawanie błędów jest ważne?

Kiedy wynik nie spełnia Twoich oczekiwań, możesz zareagować na dwa sposoby: zrzucić winę na narzędzie lub zakwestionować monit. Doświadczony użytkownik robi to drugie. Ponieważ w większości przypadków źródło problemu jest oczywiste, a wynik zmienia się po niewielkiej korekcie. Poniżej przyjrzymy się ośmiu najczęstszym błędom, ich objawom i rozwiązaniom.

Osiem najczęstszych błędów

Błąd

objaw

Rozwiązanie

dwuznaczność

Ogólna odpowiedź „jeden rozmiar pasuje do wszystkich”.

Daj wymierne instrukcje

Zerowy kontekst

Dane wyjściowe, które nie pasują do sytuacji

Dodaj kto/dlaczego/historię

Nieokreślenie formatu

Dane wyjściowe w złym formacie

Wymuś formatowanie

brak ograniczeń

Nadmierna, dewiacyjna treść

Dodaj listę „nie”.

przeciążenie

Model pomija niektóre żądania

Dziel pracę, ustalaj priorytety

brak potwierdzenia

Używanie fałszywych informacji

Sprawdź fakty ze źródłem

Oczekiwanie na jeden strzał

Nie poddawaj się przy pierwszym wyjściu

Powtarzaj

sprzeczna instrukcja

niespójne wyjście

Wyrównaj wiązania

Metoda diagnostyczna krok po kroku

Gdy otrzymany zostanie uszkodzony wydruk, postępuj zgodnie z poniższą kolejnością:

  1. Czy misja jest jasna? Czy czasownik jest konkretny, czy oznacza jedyną rzecz, której chcesz?
  2. Czy kontekst wystarczy? Czy model zna sytuację?
  3. Czy wspomniano o formacie? Czy format jest taki, jak chcesz?
  4. Czy są jakieś ograniczenia? Czy jest napisane, czego nie chcesz?
  5. Czy załadowałem za dużo? Czy poprosiłem o 5 różnych zadań w jednym poście?
  6. Czy zweryfikowałem? Czy sprawdzono numer, imię i nazwisko, datę?

W tych sześciu pytaniach wychwytuje się prawie wszystkie błędy.

Cztery szablony korekty do kopiowania

1) Usuwanie niejednoznaczności:

Spraw, aby ta instrukcja była mierzalna: [niejasna instrukcja] Przetłumacz każdy niejasny punkt na konkretną liczbę, ilość lub kryterium.

2) Dzielenie przeciążenia:

Nie rób tego zadania od razu. Postępuj w tej kolejności i zatrzymuj się po każdym kroku, czekaj na moje potwierdzenie:1) [podzadanie 1]2) [podzadanie 2]3) [podzadanie 3]

3) Dopasowanie ograniczające:

Wystarczy oprzeć się na informacjach, które podałem poniżej. Jeżeli nie ma informacji, należy wpisać „brak danych”; nie zgaduj i nie dodawaj. Wskaż, z którego wiersza pochodzi każde ważne twierdzenie, którego używasz. Źródło: [tekst]

4) Rozwiązanie sprzeczności:

Sprawdź, czy w instrukcji, którą Ci przekazałem, nie ma sprzeczności. Jeśli tak, wypisz sprzeczne punkty i zapytaj, któremu z nich nadać priorytet; następnie odpowiednio wyprodukuj.

Słaba podpowiedź/silna podpowiedź

Słabe (łącznie wiele błędów):

Napisz kompleksowy plan dla naszej firmy dotyczący marketingu, budżetu i rekrutacji i gotowe.

Potężny (naprawiono błędy):

Rola: Jesteś specjalistą ds. rozwoju biznesu doradzającym MŚP. Kontekst: firma zajmująca się oprogramowaniem zatrudniająca 12 osób; celem jest 20 nowych klientów w tym kwartale. Zadanie: Napisz TYLKO plan marketingowy (nie uwzględniaj budżetu i zatrudnienia). Format: 5-punktowa lista działań; każda pozycja: działanie + odpowiedzialność + kryteria. Ograniczenie: Płatny budżet reklamowy 0; Polecaj tylko kanały organiczne. Nie podawaj fałszywych danych; Uzasadnij sugestię.

Wydajna wersja dzieli przeciążenie (wpychając trzy tematy do jednego monitu), zastępuje niejednoznaczność („powodzenia”) kryteriami oraz dodaje formatowanie i ograniczenia.

Trzy mini etui

Przypadek 1 — Przeciążenie. Menedżer zażądał podsumowania raportu, planu prezentacji i wiadomości e-mail w jednym komunikacie; Modelka przełożyła wszystkie trzy na pół. Dzieląc zadanie na trzy oddzielne monity, każdy wynik był kompletny i nadawał się do użytku. Całkowity czas był krótszy niż zmaganie się z pojedynczym złożonym monitem.

Przypadek 2 – Brak potwierdzenia. Zespół merytoryczny opublikował „statystykę branżową” podaną przez model bez jej weryfikacji; Numer okazał się błędny i musieli wystawić korektę. Następnie przyjęli zasadę „podaj każdy numer wraz ze źródłem, ja sprawdzę źródło” i wyeliminowali to ryzyko.

Przypadek 3 — Sprzeczne instrukcje. Kiedy sprzedawca powiedział „jest bardzo krótki, ale zawiera wszystkie funkcje”, model pominął niektóre funkcje. Kiedy uczyniłem instrukcję niesprzeczną, „opisz 3 najważniejsze cechy w 60 słowach”, wynik był zarówno krótki, jak i kompletny.

Wskazówka: przed publikacją przeprowadź monit przez „sześć pytań diagnostycznych”. Ta 30-sekundowa kontrola sprawia, że ​​większość rund iteracji od początku jest niepotrzebna.
Uwaga: najniebezpieczniejszym błędem jest „brak walidacji”, ponieważ jest on pomijany, ponieważ wynik wygląda gładko i przekonująco. Model może z dużą pewnością dopasować numer, nazwę lub źródło. Niezależnie weryfikuj wszelkie fakty, które mają zostać opublikowane lub wykorzystane jako podstawa decyzji. Pogłębimy ten temat w następnej jednostce.

Niewidoczny błąd: Wynik „prawie poprawny”.

Niektóre błędy można łatwo wyłapać: dane wyjściowe mają niewłaściwy format, odbiegają od tematu lub są puste. Ale najbardziej podstępnym błędem jest to, że wynik jest prawie poprawny. Tekst jest płynny, struktura gładka, tonacja trafna; Jest tylko jedna błędna liczba, przeoczone ograniczenie lub mały błąd logiczny. Tego typu wyniki są niebezpieczne, ponieważ wymykają się kontroli, ponieważ „dobrze wyglądają”.

Chronią przed tym dwa nawyki. Po pierwsze, nie używaj wyników bez ich przeczytania: niezależnie od tego, jak bardzo się spieszysz, przeczytaj je przed wysłaniem. Po drugie, sprawdzenie wyników modelu: „sprawdź, czy zastosowałeś się do wszystkich ograniczeń, które ci dałem” lub „wypisz wszystkie liczby w tym tekście”, wydobędzie ukryte błędy na powierzchnię. Te dwa kroki zajmują kilka sekund, ale koszt błędnych decyzji spowodowanych „prawie poprawnym” wynikiem jest znacznie wyższy.

Unikanie błędów: projektowanie ponad kontrolą

Zamiast szukać błędów w wynikach, doświadczony użytkownik od samego początku stara się im zapobiec, sygnalizując je. To jest różnica w mentalności. Zamień każdy powtarzający się błąd w „trwałą regułę”: jeśli model nadal dodaje komentarze w zadaniu sumarycznym, ustaw teraz ograniczenie „nie dodawaj komentarzy” do każdego monitu podsumowującego. Jeśli model zawsze generuje zbyt wiele elementów na liście zadań, umieść w szablonie ograniczenie „dokładnie X elementów”. W ten sposób zamiast ciągle łapać ten sam błąd, w pierwszej kolejności zapobiegniesz jego wystąpieniu. Dobrze zaprojektowany monit zastępuje dziesiątki kolejnych poprawek; Dzięki temu diagnostyka błędów przestaje być obciążeniem i staje się narzędziem do nauki i doskonalenia.

Typowe błędy

  • Obwinianie pośrednika. Powiedzieć „AI nie może tego zrobić” zamiast szukać problemu w podpowiedzi.
  • Wkładanie zbyt dużej ilości pracy w jeden monit. Skompresowanie pięciu oddzielnych zadań w jedną instrukcję i wykonanie ich w połowie.
  • Pomijanie weryfikacji. Zakładając, że płynne wyjście jest prawidłowe.
  • Nadanie sprzecznego ograniczenia. Wymagania sprzeczne ze sobą, takie jak „krótkie, ale kompleksowe”.
  • Próbuję ponownie bez diagnozy. Powtarzanie tego samego błędu bez sprawdzania, co jest zepsute.

Podsumowując

  • Większość błędnych wyników wynika z podpowiedzi, a nie z modelu; można zdiagnozować i skorygować.
  • Najczęstsze błędy: niejednoznaczność, zerowy kontekst, brak formatu, brak ograniczeń, przeciążenie, brak weryfikacji, jednorazowe oczekiwanie i sprzeczność.
  • Większość błędów wychwytuje sześć pytań diagnostycznych (zadanie, kontekst, format, ograniczenie, obciążenie, weryfikacja).
  • Dzielenie złożonych zadań pozwala uzyskać szybsze wyniki o wyższej jakości niż ładowanie ich w jednym wierszu.
  • Najbardziej podstępnym błędem jest brak weryfikacji; Płynny wydruk nie oznacza dokładny.

Zadanie aplikacji

Znajdź stary wydruk, który Ci się nie podoba, i przeprowadź jego monit poprzez „sześć pytań diagnostycznych”. Zaznacz, które błędy wystąpiły, zastosuj poprawkę w tym urządzeniu dla każdego i ponownie uruchom monit. Zwróć uwagę, która pojedyncza korekta przyniosła największą poprawę, a nie liczba rund.

lista kontrolna

  • [ ] W przypadku nieprawidłowego wyniku najpierw wysyłam zapytanie do podpowiedzi, a nie do agenta.
  • [ ] Potrafię zadać sześć pytań diagnostycznych.
  • [ ] Dzielę złożone zadania na wiele podpowiedzi.
  • [ ] Zauważam sprzeczne i niejednoznaczne instrukcje i poprawiam je.
  • [ ] Sprawdzam treść merytoryczną przed jej publikacją.