Guadagni:
- Riconoscere le fasi del modello leggero, equilibrato e potente e la modalità di ragionamento
- Selezione del livello di modello appropriato in base alla difficoltà di un'attività
- Capacità di stabilire consapevolmente l'equilibrio tra latenza, accuratezza e costo
Abbiamo imparato a calcolare il prezzo; Ora parliamo di ciò che otteniamo per quel prezzo, ovvero i livelli e le capacità del modello. Tre forze competono costantemente quando si sceglie un modello: qualità (precisione), velocità (latenza) e costo. Migliorare due di questi tre spesso significa compromettere il terzo. Nell'unità imparerai i livelli di luce, bilanciati e potenti, la modalità di ragionamento e la preferenza del modello piccolo/grande; Sarai in grado di stabilire consapevolmente il giusto equilibrio in base alla difficoltà del compito.
Tre livelli, tre diversi ruoli lavorativi
Quasi tutti i fornitori offrono tre livelli all’interno della stessa famiglia. Abbiniamoli al carattere dell'attività:
- Livello leggero (modello piccolo): molto veloce, molto economico, "abbastanza buono". Ideale per attività semplici, ripetitive e ad alto volume: classificazione, briefing, tagging, pulizia dei dati, semplici bozze di risposta.
- Livello bilanciato (modello medio): buona qualità, velocità ragionevole, costo ragionevole. La scelta “predefinita” per la maggior parte del lavoro quotidiano: produzione di contenuti, analisi di medio livello, risposte ai clienti.
- Livello potente (modello grande): qualità massima, più lento, più costoso. Per ragionamenti complessi, analisi lunghe e in più fasi, codici difficili, valutazioni giuridiche/finanziarie precise.
Suggerimento: una buona regola iniziale: iniziare con un livello equilibrato. Se la qualità è scarsa, sali al livello forte; Se la qualità è estremamente buona e il volume è alto, scendi al livello della luce. L'approccio "inizia con qualcosa di abbastanza buono", non l'approccio "inizia con il più forte", fa risparmiare tempo e denaro.
Cos'è la modalità Ragionamento?
Alcuni modelli potrebbero prima "pensare" alla risposta passo dopo passo invece di generarla direttamente. Questa è chiamata modalità di ragionamento. Il modello scompone il problema in parti, elabora al suo interno i passaggi intermedi e solo successivamente fornisce la risposta finale. Questo è simile a uno studente che risolve un problema di matematica passo dopo passo su carta.
Quando ha valore? Nei problemi logici a più fasi: un calcolo complesso, il rilevamento di contraddizioni, una lunga catena di inferenza, un errore di codice difficile. In questo tipo di lavoro, il ragionamento aumenta significativamente la precisione.
Qual è il costo? Il ragionamento aumenta i costi e la latenza poiché il modello genera più “gettoni pensanti”. Quindi sarà più costoso e più lento. Un semplice “questa recensione è positiva?” Ragionare sulla questione è come uccidere una mosca con un martello; crea costi e ritardi inutili.
Attenzione: non lasciare aperta la modalità di ragionamento per ogni attività. È più veloce ed economico tenerlo chiuso per compiti semplici. Alcuni modelli moderni sono dotati di una modalità di pensiero "adattiva" che decide da sola quando ha bisogno di pensare; Tuttavia, è tuo compito gestirlo consapevolmente.
Triangolo Qualità, Velocità, Costo
priorità
Livello adeguato
ragionamento
Costo più basso, volume elevato
leggero
Chiuso
Saldo (la maggior parte dei lavori)
equilibrato
a seconda della situazione
Massima precisione, decisione critica
forte
aperto
Risposta immediata, bassa latenza (chat)
Leggero/equilibrato
Chiuso
Analisi complessa e multi-step
forte
aperto
Mentre osservi questa tabella, chiediti: “Quale sarà il costo se commetto un errore in questo compito?” Se il prezzo è alto (valutazione giuridica sbagliata, decisione finanziaria sbagliata) l’investimento di forte calibro e ragionamento è giustificato. Se il prezzo è basso (errata classificazione dell'etichetta di un prodotto), è sufficiente un modello leggero e veloce.
Modello piccolo o modello grande?
Contrariamente alla credenza popolare, non tutti i lavori richiedono un modello di grandi dimensioni. I modelli più piccoli sono diventati sorprendentemente capaci, eseguendo molte attività a un decimo del costo e molte volte più velocemente del modello più grande. Tre domande per la decisione:
- Il compito è semplice e stereotipato? (Classificazione, estrazione, breve sintesi) → Piccolo modello.
- Il volume è troppo alto e la velocità è critica? → Modello piccolo, perché il modello grande è costoso e lento.
- Il compito richiede un ragionamento sfumato, un contesto esteso o creatività? → Modello grande.
Tre casi realistici
Caso 1 — Il modello leggero è sufficiente. Un team di e-commerce classifica 40.000 commenti dei clienti al giorno in positivi/negativi/neutri. Lo provano con il modello potente e poi lo confrontano con il modello leggero: la precisione è quasi la stessa (96% contro 94%), ma il modello leggero è 8 volte più economico e 3 volte più veloce. Il modello leggero è di gran lunga la scelta giusta per questo compito; La precisione extra del 2% non giustifica un costo 8 volte superiore.
Caso 2: un modello forte e un ragionamento sono obbligatori. Una società di consulenza fiscale desidera calcolare uno scenario fiscale complesso in più fasi. Il modello leggero commette errori nei passaggi intermedi e fornisce risultati errati. Quando utilizzano il modello potente con la modalità di ragionamento attivata, il modello progredisce passo dopo passo e raggiunge la conclusione corretta. In questo caso costi aggiuntivi e ritardi sono accettabili perché il costo dell’errore è elevato; Tuttavia, un esperto conferma il risultato.
Caso 3 — Uso misto. Un call center elabora le trascrizioni delle chiamate in due fasi: in primo luogo, riassume brevemente ciascuna chiamata con un modello leggero (volume elevato, lavoro semplice), quindi fornisce solo le chiamate contrassegnate come "reclami" al modello potente ed esegue un'analisi della causa principale (volume basso, lavoro complesso). Quindi elaborano la maggior parte del volume in modo economico, riservando il potere del modello forte per le poche chiamate che contano davvero.
Prompt debole / Prompt forte
Suggerimento debole:
Risolvi questo scenario fiscale. [scenario complesso]
Non è chiaro con quanta attenzione il modello prenderà in considerazione.
Suggerimento potente:
Il tuo ruolo: specialista fiscale senior. Compito: risolvere passo dopo passo il seguente scenario a più fasi. Per prima cosa elenca le ipotesi, quindi calcola e mostra ogni passaggio separatamente e infine fornisci il risultato netto. Se c'è un punto di cui non sei sicuro o che dipende dalla legislazione, contrassegnalo come "è necessaria la conferma di un esperto". Saltare i passaggi intermedi.[scenario]
Il potente suggerimento guida il modello attraverso il pensiero passo dopo passo (incoraggiando il ragionamento) e rende visibili i passaggi intermedi per la verificabilità.
Modelli copiabili
Diagnosi della fase 1:
La mia missione: [COMPITO]. Volume: [NUMERO/giorno]. Costo errore: [BASSO/MEDIO/ALTO]. Priorità velocità: [BASSO/ALTO]. Sulla base di questo profilo, quale livello (leggero/equilibrato/forte) e ragionamento (aperto/chiuso) consiglieresti? Giustificare.
2. Decisione sul modello piccolo/grande:
Definisco il seguente compito: [TASK]. Questo problema può essere risolto con un modello piccolo (leggero) o è necessario un modello grande? Suggeriscimi 3 casi di test e una soglia di successo da provare a risolvere con il modello piccolo.
3. Adeguatezza del ragionamento:
La modalità di ragionamento (pensiero passo passo) sarebbe utile o costosa nel seguente compito: [COMPITO]? Motiva la tua decisione in base al numero di passaggi e alla complessità logica dell'attività.
4. Progettazione del flusso di lavoro in due fasi:
Progettare un flusso in due fasi per ridurre i costi della seguente attività ad alto volume [COMPOSIZIONE]: quale parte dovrebbe andare al modello leggero, quale parte dovrebbe andare al modello potente? Scrivi il livello e la motivazione di ogni passaggio.
Errori comuni
- Un modello potente per ogni lavoro: creare costi e ritardi inutili utilizzando il modello più potente in lavori semplici e voluminosi.
- Lasciare sempre attivo il ragionamento: mantenere attiva la modalità di pensiero in compiti semplici e sprecare tempo e denaro invano.
- Prendere decisioni senza misurare la qualità: dare per scontato che "più grande è meglio" senza confrontare due livelli con i propri dati.
- Dimenticare la necessità di velocità: nei luoghi in cui è richiesta una risposta immediata, come la chat, scegliere un modello lento e potente e far aspettare l'utente.
- Non pensare affatto al flusso a due stadi: non avere l’intero volume costruito da un unico modello e non risparmiare sulla parte che può essere fatta a buon mercato.
In sintesi
- La selezione del modello è un atto di equilibrio nel triangolo qualità, velocità e costo; Per migliorarne due spesso è necessario compromettere il terzo.
- Il palco leggero è adatto a lavori semplici/ingombranti, il palco robusto è adatto a lavori complessi/critici; La fase equilibrata è un buon inizio per la maggior parte dei lavori.
- La modalità di ragionamento migliora la precisione nei problemi a più fasi ma aumenta i costi e la latenza; Non dovrebbe essere lasciato aperto a ogni compito.
- "Qual è il prezzo del fallimento di questa missione?" La domanda è la bussola della decisione del livello e del ragionamento. I flussi a due stadi garantiscono grandi risparmi nei lavori di volume.
Compito dell'applicazione
Seleziona un'attività nel tuo lavoro e determina quale fase e impostazione di ragionamento sono appropriate con il modello 1 (diagnosi della fase). Se l'attività prevede un volume elevato, elaborare un progetto che indirizzi parte del volume al modello leggero e la parte critica al modello forte con il modello 4 (flusso di lavoro in due fasi). Utilizzeremo questo disegno nello studio del portafoglio modello nell'unità 9.
lista di controllo
- [ ] Posso eguagliare il carattere del lavoro di palcoscenici leggeri, equilibrati e potenti.
- [ ] Posso spiegare cosa fa la modalità di ragionamento e quanto costa.
- [] Posso stabilire consapevolmente il rapporto qualità-velocità-costo per un'attività.
- [ ] Posso rispondere alla domanda sul modello piccolo o grande con tre domande.
- [ ] Posso progettare un flusso a due fasi per un lavoro ad alto volume.