Guadagni:
- Capacità di spiegare i livelli di business intelligence (sorgente, ETL, data warehouse, report) e la corretta definizione delle principali metriche aziendali (KPI).
- Capacità di utilizzare l'intelligenza artificiale per produrre definizioni di metriche, bozze SQL e resoconti narrativi e fornire il risultato con dati reali
- Capacità di riconoscere i rischi di confusione tra correlazione e causa e metriche fuorvianti negli output delle analisi supportate dall'intelligenza artificiale
La business intelligence (BI) è la disciplina che raccoglie i dati dispersi dell'organizzazione, li rende pronti per l'analisi e da questi dati produce informazioni di supporto alle decisioni. Per un professionista MIS, la BI è il livello in cui “i dati si trasformano in decisioni”. I dati grezzi degli ordini da soli non sono significativi; ma "in quale regione il fatturato è diminuito questo mese, perché?" Produce valore quando diventa un resoconto in grado di rispondere alla domanda. In questa unità vedremo i livelli della BI, il giusto design metrico e dove l’intelligenza artificiale è un acceleratore e una trappola in questo processo.
L'architettura BI è generalmente costituita dai seguenti livelli. Sistemi di origine: luoghi da cui hanno origine i dati, come ERP, CRM, e-commerce. Processo ETL (inglese Extract-Transform-Load): Il processo che estrae i dati dalle sorgenti (Extract), li pulisce e li converte in una struttura standard (Transform) e li carica nella destinazione (Load). Data warehouse: un repository centrale in cui vengono raccolti dati storici e coerenti progettati per l'analisi. Livello di reporting/visualizzazione: dashboard, report e query ad hoc. In questa catena, la qualità di ogni strato determina quello successivo; Se la fonte è sporca, anche il rapporto è sporco.
Definire correttamente metriche e KPI
Una metrica è un valore numerico misurato: fatturato totale, numero di ordini. Un KPI (Key Performance Indicator) è una metrica critica che misura le prestazioni rispetto a un obiettivo: "tasso di abbandono mensile dei clienti inferiore al 5%". Non tutte le metriche sono KPI; Un KPI è una metrica legata a un obiettivo aziendale e innesca una decisione.
Il problema più insidioso dei progetti BI è la vaga definizione delle metriche. Cosa significa "cliente attivo"? Ordinato negli ultimi 30 giorni o 90 giorni? Vengono conteggiati i rimpatriati? Se due team intendono cose diverse per “numero di clienti attivi”, la stessa dashboard mostra due fatti diversi. Ecco perché ogni KPI dovrebbe avere una definizione di una sola frase ampiamente accettata. L’intelligenza artificiale produce rapidamente bozze di queste definizioni; ma spetta alla business unit decidere quale definizione sia "corretta".
Suggerimento: quando si progetta un KPI, annotare tre cose: (1) formula (cos'è esattamente il numeratore/denominatore), (2) intervallo temporale, (3) casi esclusi. Il fatto che l'intelligenza artificiale dica "estrai le ambiguità nella definizione di questo KPI come domande" rivela presupposti nascosti.
Passo dopo passo: generazione di report basata sull'intelligenza artificiale
Passaggio 1: chiarire la domanda. A quale decisione servirà il rapporto? Un obiettivo concreto come "decideremo su quale regione trasferire il bilancio", non "dovrebbe avere una bella figura".
Passaggio 2: definire le metriche. Scrivi i KPI richiesti con formule, finestre ed eccezioni. L’intelligenza artificiale può produrre bozze di definizioni.
Passaggio 3: genera una bozza SQL. Fornisci informazioni sullo schema all'intelligenza artificiale e produci una bozza di query. Ma leggi e comprendi la query prima di eseguirla.
Passaggio 4: verifica con dati di piccole dimensioni. Eseguire prima la query su un piccolo campione con risultati noti; Controlla i totali manualmente. L'SQL dell'intelligenza artificiale può essere sintatticamente corretto ma logicamente errato.
Passaggio 5: aggiungi la narrazione e verifica le affermazioni. L’intelligenza artificiale può produrre un testo narrativo per il rapporto; ma dimostrare ogni affermazione causale (“ecco perché le vendite sono diminuite”).
La trappola della correlazione e della causalità
L'errore più pericoloso nella BI è interpretare due metriche che agiscono insieme come se "una crea l'altra". La correlazione è quando due valori cambiano insieme; La causalità è quando uno causa l’altro. La frase "Con l'aumento delle vendite di gelati, aumentavano i casi di annegamento" è vera, ma il gelato non provoca annegamento; La causa comune è l’estate (clima caldo). L’intelligenza artificiale può facilmente formulare frasi causali quando si produce la narrazione di un rapporto; L'esperto del MIS risponde a queste affermazioni chiedendo "esiste qualche altra spiegazione?" Dovrebbe testarlo. Altrimenti, verrà presa la decisione sbagliata in base al motivo sbagliato.
Tre mini custodie: i numeri
Caso 1: costo della metrica non definita. In una società di telecomunicazioni, il numero di "abbonati attivi" presentati al consiglio di amministrazione era di 2,1 milioni e il rapporto del team finanziario era di 1,7 milioni. La differenza era che uno contava 90 giorni come "attivi" mentre l'altro contava 30 giorni. Il tasso di crescita sbagliato è stato discusso per due settimane finché non è stata chiarita la definizione comune. Una definizione KPI di una frase eviterebbe questa confusione.
Caso 2: SQL sbagliato dell'IA. Presso un rivenditore, l’intelligenza artificiale ha aggiunto le righe di reso al totale durante la generazione della query “carrello medio per cliente”; Il risultato è stato del 12% superiore al valore reale. SQL era sintatticamente perfetto. Quando l'esperto verificava manualmente il totale di un giorno noto, rilevava la deviazione e aggiungeva il filtro dei rendimenti.
Caso 3 – Errore di causalità. In un'azienda di e-commerce, la dashboard diceva che "le vendite sono superiori del 18% nei giorni in cui viene inviata una campagna e-mail" e il team stava per aumentare il budget della campagna. L'analisi ha mostrato che le campagne erano già programmate in modo da coincidere con i giorni di campagna ad alto traffico (periodi di sconto). È stato il periodo, non l’e-mail, a incrementare le vendite. Se il budget venisse aumentato senza effettuare test con un gruppo di controllo, il denaro verrebbe sprecato.
Prompt debole / Prompt forte
Suggerimento debole:
Scrivi il report sulle vendite SQL da questa tabella.
Suggerimento potente:
Il tuo ruolo: sei un attento analista BI. Scrivi una BOZZA di query SQL secondo il diagramma seguente. Regole: - Utilizza solo le tabelle/campi indicati; campo non adatto.- EXCLUDE restituisce (status='Return') dal totale.- Finestra temporale: ultimi 30 giorni.- Commenta riga per riga cosa fa la query.- Suggerisce 1 riga campione che può essere convalidata manualmente per il test alla fine.Schema:Ordine(id, customer_id, data, importo, stato)Cliente(id, nome, segmento)Scopo: fatturato netto degli ultimi 30 giorni per segmento.
Il potente prompt limita lo schema, impone la regola aziendale (esclusa la restituzione), specifica la finestra e richiede un output verificabile.
Quattro modelli copiabili
1) Chiarimento sulla definizione di KPI:
Scrivere una descrizione completa per il seguente KPI: formula (numeratore/denominatore), finestra temporale, casi esclusi. Aggiungi qualsiasi ambiguità nella definizione come domanda.KPI: [nome, es. "tasso di abbandono dei clienti"]
2) Controllo della logica SQL:
Esamina la seguente query SQL: esiste il rischio di errori logici, JOIN errati, filtri mancanti o doppio conteggio? Scrivi una giustificazione per ogni risultato. Non modificare la query, basta controllarla. SQL: [interrogazione]
3) Narrazione del report + controllo del reclamo:
Scrivi un breve riepilogo esecutivo dalla tabella dei risultati di seguito. Etichetta [PROVE RICHIESTE] accanto a ciascuna affermazione causale e suggerisci una spiegazione alternativa. Basta fare affidamento sui dati nella tabella. Tabella: [dati]
4) Verifica di coerenza metrica:
Nei due report seguenti, le metriche con lo stesso nome forniscono valori diversi. Vengono elencate le possibili differenze di definizione (finestra temporale, filtro, calcolo). Rapporti: [A] [B]
Grafico comparativo: KPI buoni e cattivi
caratteristica
KPI pessimo
Buon KPI
Descrizione
"Cliente attivo"
"Cliente con ≥1 ordine completato negli ultimi 30 giorni"
legame con l'obiettivo
Nessuno
"Restare al di sotto del tasso di perdita del 5%"
misurabilità
ambiguo
formula chiara
eccezione
incerto
Resi esclusi
Fa scattare una decisione?
no
Sì
Errori comuni
- Lasciando la metrica indefinita. Se parole come "attivo", "riuscito", "completato" vengono utilizzate senza una formula, ogni squadra conta in modo diverso.
- Esecuzione dell'SQL dell'IA senza verifica. Una query sintatticamente corretta potrebbe essere logicamente errata; sono comuni doppi conteggi e JOIN errati.
- Correlazione confusa con la causalità. Pensare che "è aumentato con quello" significhi "questo ha causato quello" porterebbe a una decisione sbagliata.
- Ricerca della metrica della vanità. Confondere metriche fantasiose ma non decisive come i "clic totali" come KPI.
- Presentare numeri senza contesto. Il solo "fatturato 4,2 milioni" non ha senso; È necessario il contesto in base al mese scorso, all'obiettivo o al budget.
Attenzione: le narrazioni dei resoconti prodotte dall'intelligenza artificiale sono convincenti e fluide; Questo amplifica esattamente il rischio. Una frase fluente può contenere una falsa affermazione di causalità. Metti alla prova ogni affermazione "perché" e "quindi" con prove.
In sintesi
La business intelligence è il livello che trasforma i dati sparsi in decisioni ed è costituito da fonte, ETL, data warehouse e catena di reporting. Un KPI è una metrica critica legata a un obiettivo aziendale, con una formula ed eccezioni chiaramente definite; la metrica non definita è l'errore BI più comune. L'intelligenza artificiale fornisce una notevole velocità nella produzione della definizione dei KPI, della bozza SQL e della narrativa del report; ma ogni SQL deve essere giustificato logicamente, ogni numero deve essere supportato da dati noti e ogni affermazione causale deve essere testata con prove. La correlazione non è causalità; La narrazione fluida non garantisce l'accuratezza.
Compito dell'applicazione
Progettare un KPI del "tasso di completamento" per una piattaforma di corsi online. (1) Scrivi una descrizione di una frase con formula, finestra temporale ed eccezioni (ad esempio, vengono conteggiate le registrazioni cancellate?). (2) Crea uno schema semplice (registrazione, corso, avanzamento) e genera la bozza SQL per questo KPI con un potente prompt. (3) Trovare almeno un possibile rischio di doppio conteggio o di filtraggio errato nella query. (4) Stampare un riassunto della conclusione e contrassegnare in esso ogni affermazione causale. (5) Prepara un esempio della trappola correlazione-causa e spiega come lo testeresti.
lista di controllo
- [ ] Vengono scritte la formula, la finestra temporale e l'eccezione di ciascun KPI.
- [ ] Ho letto e compreso riga per riga l'SQL generato dall'intelligenza artificiale.
- [ ] Ho convalidato manualmente la query con dati poco conosciuti.
- [] Ho testato ogni affermazione causale nel rapporto con prove.
- [ ] Ho contestualizzato ogni numero con un benchmark (target/ultimo periodo).
- [ ] Ho raggiunto il consenso tra i team sulle definizioni delle metriche.