Winst:
- Vermogen om onderscheid te maken tussen de zes fasen van de datawetenschap (probleemdefinitie, verzameling, opschoning, ontdekking, modellering, communicatie) en de autoriteit waaronder kunstmatige intelligentie in elke fase werkt, afhankelijk van het taakrisiconiveau
- Mogelijkheid om een discipline toe te passen die elke output van kunstmatige intelligentie verifieert door deze te verbinden met de bron, deze uit te voeren en te vergelijken, en deze door deskundige filtering te laten gaan.
- Mogelijkheid om reproduceerbaarheids- en privacyprincipes (schrijven in code, anonimisering) vanaf dag één om te zetten in analysegewoonten
Ruwe, rommelige en vaak “leugenachtige” data belanden elke dag op het bureau van een datawetenschapper. In de verkooptabel wordt de datumkolom in drie verschillende formaten geschreven; klantnummers zijn op sommige regels blanco; De naam van een kolom is 'inkomen', maar deze bevat zowel TL- als USD-waarden. De taak van datawetenschap is om uit deze chaos een betrouwbare beslissing te nemen: verzamel de gegevens, maak ze schoon, verken ze, bouw een model, valideer het resultaat en verander er een verhaal van. Kunstmatige intelligentie (AI, of kortweg AI: computersystemen die tekst en code kunnen genereren, patronen kunnen herkennen, samenvatten en voorspellingen kunnen doen) kunnen elke schakel in deze keten raken: binnen enkele minuten opschooncode schrijven, grafieken aanbevelen voor verkennende analyse, de metriek van een model interpreteren, een SQL-query corrigeren. Maar dezelfde AI kan je ook een zelfverzekerde verzinsel geven, zoals "correlatie 0,72" voor gegevens die het nog nooit heeft gezien.
Dit eerste deel is geen bibliotheekintroductie. Het doel ervan is om duidelijk te maken waar AI in de data science-workflow moet worden geplaatst en waar het nooit moet worden geplaatst. Laten we het basisprincipe vanaf het begin uiteenzetten: AI is een assistent, geen datawetenschapper. De beslissing welke gegevens moeten worden verzameld, welke maatstaf moet worden genomen, of een model in productie moet worden genomen en waar ethische grenzen moeten worden getrokken, ligt bij de bevoegde deskundige. Een niet-geverifieerde AI-output is riskant, net als een niet-ondertekend analyserapport.
Datawetenschapsworkflow: end-to-end kaart
Om een dataproject te begrijpen, is het handig om het in zes fasen op te delen. Deze hele module volgt deze kaart.
1. Probleemdefinitie: Wat meten we, waarom, ter ondersteuning van welke beslissing? Deze fase wordt niet gedelegeerd aan de AI; Het is de persoon die de taak definieert.
2. Gegevensverzameling: bronnen identificeren, gegevens extraheren, steekproeven nemen. (Eenheid 2)
3. Opschonen en voorbewerken van gegevens: ontbrekende waarde, uitbijter, typeconversie. (Eenheid 3)
4. Verkennende data-analyse (EDA - Exploratory Data Analysis, de fase waarin de distributie en relaties van de gegevens "met het oog" worden herkend): (Unit 4)
5. Functie-engineering en modellering: genereren van variabelen, selectie van algoritmen, training, evaluatie. (Eenheid 5, 6, 7)
6. Communicatie en productie: visualisatie, verhaal, MLOps (discipline van het live nemen van het model en het monitoren ervan). (Eenheid 8, 11)
In elk van deze zes fasen opereert AI met een andere autoriteit. De onderstaande tabel vat deze bevoegdheidsverdeling samen; Dit is de belangrijkste tabel van de module.
Stadium
Rol van AI
Risiconiveau
Wie keurt het goed
Probleemdefinitie
brainstormpartner
laag
Datawetenschapper + stakeholder
Schrijf een opruimcode
Codeschetsgenerator
middelmatig
Datawetenschapper (lees code)
EDA-opmerking
patroon suggestie
middelmatig
data wetenschapper
Functiegeneratie
Idee- en codegenerator
middelhoog
Lekcontrole is een must
Modelselectie/metrisch
adviseur
hoog
data wetenschapper
Beslissing om in productie te nemen
extra ingang
zeer hoog
Team + bedrijfseigenaar
Ethiek/privacygoedkeuring
stimulerend
zeer hoog
menselijk, altijd
Houd de ene zin uit dit diagram in gedachten: naarmate de inzet toeneemt, wordt de rol van AI kleiner en groeit de menselijke goedkeuring.
Waarom verificatie de kern van dit bedrijf is
AI-taalmodellen lijken zeker, maar zijn dat misschien niet zeker. In technische termen wordt dit hallucinatie genoemd: het is het model dat niet-bestaande informatie in een vloeiende zin verzint alsof het waar is. In data science komt dit in drie vormen voor. De eerste is een vals getal: als je het model vraagt "wat is het gemiddelde bestelbedrag" zonder gegevens op te geven, zal het je vol vertrouwen een getal vertellen, ook al heeft het je gegevens nog nooit gezien. De tweede is een functie die niet bestaat: het model kan een functie suggereren die helemaal niet bestaat, zoals pandas.read_excel_fast(). Ten derde, onjuiste statistische interpretatie: het model kan probleemloos een klassieke statistische fout herhalen, zoals “p-waarde is 0,04, dus de hypothese is voor 96% correct”.
De verificatiediscipline bestaat uit drie stappen:
- Link naar bron: elk getal, elke snelheid en trend moet uit uw gegevens komen, niet uit het geheugen van de AI. Gebruik AI voor code die op data werkt, niet om data te onthouden.
- Uitvoeren en vergelijken: Voer elk stukje code dat door de AI wordt gegeven zelf uit; Vergelijk elke metriek die het produceert met een onafhankelijke basislijn.
- Expertfilter: Test zelf of de output in tegenspraak is met statistieken en domeinkennis.
Let op: een door de AI geschreven analyse in een presentatie stoppen zonder deze uit te voeren en te lezen, is als het presenteren van een niet-ondertekend rapport. Het feit dat de code werkt, betekent niet dat deze correct is; Een code die de verkeerde kolom optelt, werkt ook zonder fouten.
Reproduceerbaarheid: tweemaal hetzelfde resultaat kunnen opleveren
Het stille maar cruciale principe van data science is reproduceerbaarheid: als je een analyse zes maanden later of op een andere computer opnieuw uitvoert, krijg je hetzelfde resultaat. Dit risico neemt toe als je met AI werkt, want als je de AI vertelt ‘deze grafiek te maken’ en deze handmatig af te spelen, verdwijnen de stappen. Regel: iedere stap moet geregistreerd worden in de code en versiebeheer (zoals Git); Bij stappen waarbij sprake is van willekeur, moet de willekeurige kiem (de beginwaarde van de generator van willekeurige getallen; indien vastgezet, zal het resultaat herhaalbaar zijn) worden vastgesteld. We zullen dit onderwerp verdiepen in Unit 10; Maak voorlopig deze gewoonte aan: "Klik niet met de hand, schrijf in code."
drie minikoffers
Geval 1 — Veilige acceleratie. Een e-commerceanalist zou normaal gesproken een halve dag besteden aan het opruimen van een ordertabel van 240.000 rijen. Hij gaf de kolomnamen en de eerste 5 rijen (zonder persoonlijke gegevens) aan de AI en vroeg om de panda's schoonmaakcode. AI produceerde diepgang in 8 seconden; De analist las de code regel voor regel, repareerde een fout bij het parseren van de datum en voerde deze uit. Duur: 35 minuten in plaats van 4 uur. AI zorgde voor code, verificatie bleef bij de mens.
Geval 2 — De verzonnen metrische val. Een stagiair vroeg aan de AI: "Hoe nauwkeurig is willekeurig bos op basis van deze gegevens?" zonder het model überhaupt te trainen. “Ongeveer 89%,” zei AI. De stagiair heeft dit in de presentatie verwerkt; Toen het echte model werd getraind, was de nauwkeurigheid 71%. Fout: wachten op statistieken zonder gegevens en modellen aan AI te geven.
Geval 3 — Stil lek. Eén team implementeerde het door AI voorgestelde idee van “het gemiddelde van de doelvariabele als een kenmerk toevoegen” zonder het in twijfel te trekken. Het model presteerde 98% op de testset, maar crashte tijdens de productie omdat de functie toekomstige informatie lekte (datalek, eenheid 10). Fout: Het niet statistisch filteren van de AI-aanbeveling.
Zwakke prompt/sterke prompt
Zwakke prompt:
Analyseer deze verkoopgegevens en vertel mij de gemiddelde omzet.
Deze bewering klopt niet: de AI kreeg geen gegevens, dus het ‘gemiddelde inkomen’ kan alleen maar worden verzonnen. Noch de kolommen, noch de periode, noch de valuta zijn duidelijk.
Krachtige prompt:
Jouw rol: assistent bijstaan van een datawetenschapper. Ik heb een panda's DataFrame: df. Kolommen: - order_date (tekst, in formaat "01-03-2024") - bedrag_tl (decimaal, NaN in sommige rijen) - klant_id (geheel getal) Taak: (1) schrijf pandacode die het gemiddelde bedrag berekent, (2) leg uit hoe het omgaat met NaN-waarden, (3) vermeld de aannames die de code doet. Verzin de gegevensinhoud niet; genereer gewoon code en ik zal het resultaat uitvoeren en verifiëren.
In dit verzoek zijn het plan, de verwachting en het ‘verbod op fabricage’ duidelijk. U voert de uitvoer nog steeds zelf uit en verifieert deze.
Het begin van ethiek en privacy
Data science werkt vaak met persoonsgegevens: klant-, patiënt-, personeelsgegevens. KVKK (Wet bescherming persoonsgegevens) in Türkiye en GDPR in Europa beschermen deze gegevens. Het plakken van uw echte naam, ID, e-mailadres of adres in een openbare AI-tool is een overtreding. Regel: anonimiseer gegevens voordat u ze deelt, geef indien nodig alleen een schema (kolomnamen, typen) en een dummy-voorbeeldrij op. We zullen het onderwerp ethiek verdiepen in Unit 11; Laten we het principe vanaf het begin stellen: om de gegevens te begrijpen, is het delen van de structuur ervan, en niet de inhoud, vaak voldoende.
Veel voorkomende fouten
- Wachten op cijfers/statistieken zonder gegevens aan de AI te geven. Het model heeft geen toegang tot de gegevens; Het nummer dat hij geeft is vals. Laat altijd het resultaat berekenen en uitvoeren.
- Denken dat de werkende code correct is. Ook de code die de verkeerde kolom manipuleert, draait foutloos; Vertrouw niet zonder de logica te lezen.
- Echte persoonlijke gegevens in de open tool plakken. Naam, ID-nummer, e-mail worden nooit gedeeld; Het diagram is voldoende.
- De stappen handmatig uitvoeren en ze niet in de code schrijven. Analyse die niet reproduceerbaar is, is onbetrouwbaar.
- Zonder twijfel de interpretatie van statistieken door AI accepteren. AI kan klassieke fouten herhalen in concepten als p-waarde en correlatie.
Tip: Neem een korte ‘regelregel’ op in elk van uw AI-sessies: ‘Verzin de gegevensinhoud niet; genereer gewoon code/analyse en ik voer het resultaat uit en verifieer het; geef ‘niet zeker’ aan als u het niet zeker weet.’ Deze enkele zin vermindert het risico op hallucinaties aanzienlijk.
Samengevat
AI is een krachtige assistent in data science: het versnelt het opschonen van code, EDA-interpretatie, modelaanbeveling en visualisatie. Maar probleemdefinitie, metrische selectie, productiebeslissingen en ethische grenzen zijn van de mens. De workflow kent zes fasen en de rol van AI wordt kleiner naarmate het risico toeneemt. Drie gewoonten vormen de basis van alles: bronkoppeling (validatie), reproduceerbaarheid (codering) en anonimisering (vertrouwelijkheid). Zodra u deze drie heeft geïnternaliseerd, wordt elk hulpmiddel in de rest van de module een veilige versneller voor u.
Applicatie taak
Maak gewoon een schema van een kleine tabel die je hebt (of een hypothetische tabel): kolomnamen, typen en twee tot drie dummy-voorbeeldrijen (zonder echte persoonlijke gegevens). Vraag de AI om een samenvattende statistiekcode met behulp van de bovenstaande 'Krachtige prompt'-sjabloon. Voer de code uit, vergelijk de uitvoer met een handmatige waarde, controleer op eventuele valse aannames en noteer uw bevindingen in vijf opsommingstekens.
controlelijst
- [ ] Heb ik de AI zojuist een schema en een nepvoorbeeld gegeven in plaats van echte persoonlijke gegevens?
- [ ] Heb ik de code die het produceerde regel voor regel gelezen en uitgevoerd?
- [ ] Heb ik elk getal in de uitvoer onafhankelijk geverifieerd?
- [ ] Heb ik elke stap van de analyse in de code geschreven en herhaalbaar gemaakt?
- [ ] Heb ik het risiconiveau van de missie bepaald en de uiteindelijke beslissing aan een mens toevertrouwd?