Guadagni:
- Capacità di distinguere il flusso di lavoro in sei fasi della scienza dei dati (definizione del problema, raccolta, pulizia, scoperta, modellazione, comunicazione) e l'autorità sotto la quale l'intelligenza artificiale opera in ciascuna fase, in base al livello di rischio dell'attività
- Capacità di applicare una disciplina che verifica ogni output dell'intelligenza artificiale collegandolo alla fonte, eseguendolo, confrontandolo e passandolo attraverso il filtraggio esperto.
- Capacità di trasformare i principi di riproducibilità e privacy (scrittura in codice, anonimizzazione) in abitudini di analisi fin dal primo giorno
Ogni giorno sulla scrivania di un data scientist arrivano dati grezzi, disordinati e spesso “mentitori”. Nella tabella delle vendite la colonna della data è scritta in tre formati diversi; i numeri dei clienti sono vuoti in alcune righe; Il nome di una colonna è "reddito", ma contiene sia valori TL che USD. Il compito della scienza dei dati è prendere una decisione affidabile da questo caos: raccogliere i dati, pulirli, esplorarli, costruire un modello, convalidare il risultato e trasformarlo in una storia. L'intelligenza artificiale (AI, o AI in breve: sistemi informatici in grado di generare testo e codice, riconoscere modelli, riassumere e fare previsioni) può toccare ogni anello di questa catena: scrivere codice di pulizia in pochi minuti, consigliare grafici per analisi esplorative, interpretare la metrica di un modello, correggere una query SQL. Ma la stessa intelligenza artificiale può anche darti un’invenzione sicura come “correlazione 0,72” per dati che non ha mai visto.
Questa prima unità non è un'introduzione alla biblioteca. Il suo scopo è chiarire dove inserire l’intelligenza artificiale nel flusso di lavoro della scienza dei dati e dove non inserirla mai. Esponiamo fin dall'inizio il principio di base: l'intelligenza artificiale è un assistente, non un data scientist. La decisione su quali dati raccogliere, su quale metrica decidere, se mettere in produzione un modello e dove tracciare i confini etici spetta all’esperto competente. Un output dell'IA non verificato è rischioso, così come un rapporto di analisi non firmato.
Flusso di lavoro della scienza dei dati: mappa end-to-end
Per comprendere un progetto dati, è utile suddividerlo in sei fasi. L'intero modulo segue questa mappa.
1. Definizione del problema: cosa misuriamo, perché, per supportare quale decisione? Questa fase non è delegata all'AI; È la persona che definisce il lavoro.
2. Raccolta dati: identificazione delle fonti, estrazione dei dati, campionamento. (Unità 2)
3. Pulizia e preelaborazione dei dati: valore mancante, valore anomalo, conversione di tipo. (Unità 3)
4. Analisi esplorativa dei dati (EDA - Exploratory Data Analysis, la fase di riconoscimento della distribuzione e delle relazioni dei dati "a occhio"): (Unità 4)
5. Ingegneria e modellazione delle caratteristiche: generazione di variabili, selezione di algoritmi, formazione, valutazione. (Unità 5, 6, 7)
6. Comunicazione e produzione: visualizzazione, storia, MLOps (disciplina di prendere il modello dal vivo e monitorarlo). (Unità 8, 11)
L’intelligenza artificiale opera con un’autorità diversa in ciascuna di queste sei fasi. La tabella seguente riassume questa distribuzione di autorità; Questa è la tabella più importante del modulo.
Palcoscenico
Ruolo dell'intelligenza artificiale
Livello di rischio
Chi approva
Definizione del problema
compagno di brainstorming
basso
Data scientist + stakeholder
Scrivi un codice di pulizia
Generatore di schizzi di codice
medio
Scienziato dei dati (legge il codice)
Commento dell'EDA
suggeritore di modelli
medio
scienziato dei dati
Generazione di funzionalità
Generatore di idee e codici
medio-alto
Il controllo delle perdite è un must
Selezione/metrica del modello
consulente
alto
scienziato dei dati
Decisione di mettere in produzione
ingresso ausiliario
molto alto
Squadra + imprenditore
Approvazione etica/privacy
stimolante
molto alto
umano, sempre
Tieni presente l'unica frase di questo grafico: man mano che la posta in gioco aumenta, il ruolo dell'intelligenza artificiale si riduce e l'approvazione umana aumenta.
Perché la verifica è il cuore di questo business
I modelli linguistici dell’intelligenza artificiale sembrano sicuri, ma potrebbero non esserlo. Nel linguaggio tecnico questa si chiama allucinazione: è la fabbricazione da parte del modello di informazioni inesistenti in una frase scorrevole come se fossero vere. Nella scienza dei dati, questo si presenta in tre forme. Il primo è un numero falso: se chiedi alla modella "qual è l'importo medio dell'ordine" senza fornire alcun dato, ti dirà con sicurezza un numero, anche se non ha mai visto i tuoi dati. La seconda è una funzione che non esiste: il modello può suggerire una funzione che non esiste affatto, come pandas.read_excel_fast(). Terzo, interpretazione statistica errata: il modello può ripetere senza problemi un classico errore statistico come “il valore p è 0,04, quindi l’ipotesi è corretta al 96%”.
La disciplina di verifica si compone di tre fasi:
- Link alla fonte: ogni numero, tasso e tendenza dovrebbe provenire dai tuoi dati, non dalla memoria dell'intelligenza artificiale. Utilizzare l'intelligenza artificiale per il codice che opera sui dati, non per ricordare i dati.
- Esegui e confronta: esegui tu stesso ogni pezzo di codice fornito dall'IA; Confronta ogni metrica prodotta con una linea di base indipendente.
- Filtro esperto: verifica tu stesso se l'output contraddice le statistiche e la conoscenza del dominio.
Attenzione: inserire un'analisi scritta dall'intelligenza artificiale in una presentazione senza eseguirla e leggerla è come presentare un rapporto non firmato. Solo perché il codice funziona non significa che sia corretto; Anche un codice che somma la colonna sbagliata funziona senza errori.
Riproducibilità: essere in grado di produrre due volte lo stesso risultato
Il principio silenzioso ma fondamentale della scienza dei dati è la riproducibilità: quando si esegue nuovamente un’analisi sei mesi dopo o su un computer diverso, si ottiene lo stesso risultato. Questo rischio aumenta quando si lavora con l'intelligenza artificiale, perché quando si dice all'intelligenza artificiale di "creare questo grafico" e riprodurlo manualmente, i passaggi scompaiono. Regola: ogni passaggio deve essere registrato nel codice e nel controllo versione (come Git); Nei passaggi che coinvolgono la casualità, il seme casuale (il valore iniziale del generatore di numeri casuali; se fisso, il risultato sarà ripetibile) dovrebbe essere fisso. Approfondiremo questo argomento nell'Unità 10; Per ora, prendi questa abitudine: "Non fare clic a mano, scrivi in codice".
tre mini custodie
Caso 1 — Accelerazione sicura. Un analista di e-commerce normalmente impiega mezza giornata a pulire una tabella degli ordini di 240mila righe. Ha dato i nomi delle colonne e delle prime 5 righe (senza dati personali) all'IA e ha chiesto il codice di pulizia dei panda. L'intelligenza artificiale ha prodotto la bozza in 8 secondi; L'analista ha letto il codice riga per riga, ha corretto un errore nell'analisi della data e lo ha eseguito. Durata: 35 minuti invece di 4 ore. L'intelligenza artificiale ha fornito il codice, la verifica è rimasta all'umano.
Caso 2 – La trappola metrica inventata. Uno stagista ha chiesto all'IA: "Quanto è precisa la foresta casuale su questi dati?" senza addestrare affatto il modello. “Circa l’89%”, ha detto AI. Lo stagista lo ha inserito nella presentazione; Quando è stato addestrato il modello reale, la precisione era del 71%. Errore: attendere le metriche senza fornire dati e modelli all'intelligenza artificiale.
Caso 3 — Perdita silenziosa. Un team ha implementato l’idea suggerita dall’intelligenza artificiale di “aggiungere la media della variabile target come caratteristica” senza metterla in discussione. Il modello ha funzionato al 98% sul set di test, ma si è bloccato in produzione perché la funzionalità faceva trapelare informazioni future (fuga di dati, Unità 10). Errore: non filtrare statisticamente la raccomandazione dell'IA.
Prompt debole / Prompt forte
Suggerimento debole:
Analizza questi dati di vendita e dimmi le entrate medie.
Questa affermazione è errata: all’IA non sono stati forniti dati, quindi il “reddito medio” può solo essere inventato. Né le colonne, né il punto, né la valuta sono chiari.
Suggerimento potente:
Il tuo ruolo: assistente che aiuta un data scientist. Ho un DataFrame panda: df. Colonne:- order_date (testo, in formato "2024-03-01")- amount_tl (decimale, NaN in alcune righe)- customer_id (intero) Attività: (1) scrivere il codice panda che calcola l'importo medio, (2) spiegare come gestisce i valori NaN, (3) elencare le ipotesi formulate dal codice. Non inventare il contenuto dei dati; basta generare il codice e io eseguirò e verificherò il risultato.
In questa richiesta sono chiari lo schema, l'aspettativa e il “divieto di fabbricazione”. Esegui comunque e verifica tu stesso l'output.
Gli inizi dell'etica e della privacy
La scienza dei dati lavora spesso con dati personali: record di clienti, pazienti e dipendenti. KVKK (Legge sulla protezione dei dati personali) in Turchia e GDPR in Europa proteggono questi dati. Incollare il tuo vero nome, ID, email o indirizzo in uno strumento pubblico di intelligenza artificiale costituisce una violazione. Regola: rendere anonimi i dati prima della condivisione, fornire solo lo schema (nomi delle colonne, tipi) e una riga di esempio fittizia se necessario. Approfondiremo il tema dell'etica nell'Unità 11; Mettiamo il principio dall'inizio: per comprendere i dati, spesso è sufficiente condividerne la struttura, non il contenuto.
Errori comuni
- In attesa di numeri/metriche senza fornire dati all'intelligenza artificiale. Il modello non può accedere ai dati; Il numero che dà è falso. Calcola sempre il risultato ed esegui.
- Pensare che il codice funzionante sia corretto. Anche il codice che manipola la colonna sbagliata viene eseguito senza errori; Non fidarti senza leggere la logica.
- Incollare dati personali reali nello strumento aperto. Nome, numero identificativo, e-mail non vengono mai condivisi; E' sufficiente lo schema.
- Eseguendo i passaggi manualmente e non scrivendoli nel codice. L'analisi non riproducibile non è affidabile.
- Accettare senza dubbio l'interpretazione delle statistiche da parte dell'IA. L’intelligenza artificiale può ripetere errori classici in concetti come valore p e correlazione.
Suggerimento: includi una breve "linea regola" in ciascuna delle tue sessioni di intelligenza artificiale: "Non inventare il contenuto dei dati; genera semplicemente codice/analisi e io eseguirò e verificherò il risultato; indica 'non sicuro' dove non sei sicuro." Questa singola frase riduce significativamente il rischio di allucinazioni.
In sintesi
L’intelligenza artificiale è un potente assistente nella scienza dei dati: accelera la pulizia del codice, l’interpretazione EDA, la raccomandazione e la visualizzazione dei modelli. Ma la definizione del problema, la selezione dei parametri, la decisione sulla produzione e i confini etici appartengono agli esseri umani. Il flusso di lavoro prevede sei fasi e il ruolo dell'intelligenza artificiale si riduce all'aumentare del rischio. Tre abitudini sono alla base di tutto: collegamento alla fonte (convalida), riproducibilità (codifica) e anonimizzazione (riservatezza). Una volta interiorizzati questi tre, ogni strumento nel resto del modulo diventa per te un acceleratore sicuro.
Compito dell'applicazione
Crea semplicemente uno schema di una piccola tabella che hai (o una ipotetica): nomi di colonne, tipi e 2-3 righe di esempio fittizie (senza dati personali reali). Chiedi all'IA un codice statistico riepilogativo utilizzando il modello "Powerful prompt" riportato sopra. Esegui il codice, confronta l'output con un valore manuale, verifica eventuali presupposti spuri e annota i risultati in 5 punti elenco.
lista di controllo
- [ ] Ho appena fornito all'IA uno schema e un campione falso invece dei dati personali reali?
- [] Ho letto ed eseguito il codice prodotto riga per riga?
- [ ] Ho verificato in modo indipendente ciascun numero nell'output?
- [ ] Ho scritto ogni passaggio dell'analisi nel codice e l'ho reso ripetibile?
- [ ] Ho determinato il livello di rischio della missione e ho assegnato la decisione finale a un essere umano?