Autode andmete analüüs Pythoniga: otsast lõpuni

Kasu:

• Võimalus luua korratav analüüsi töövoog, mis laadib ja puhastab pandadega telemeetria-, katse- ja tootmisandmeid
• Võimalus mõista ja kontrollida väljundit rida-realt, saades samal ajal tehisintellektilt koodi, atribuute ja visualiseerimisabi
• Võimalus auditeerida analüüsitulemusi üksuste järjepidevuse, andmete lekke ja reprodutseeritavuse osas

Varasemates üksustes kasutasime tehisintellekti nagu "nõuandjat". Selles üksuses astume sammu edasi ja loome töövoo, mis analüüsib Pythoni abil meie enda kätega autode andmeid. Eesmärk ei ole teha teist tarkvaraarendajat; Selle eesmärk on teha insener, kes mõistab ja kontrollib seda koodi rida rea ​​haaval, saades samal ajal AI-lt koodiabi. Kuna AI toodetud kood võib olla vigane, täpselt nagu AI toodetud tekst; võib segi ajada helitugevust, lekkida andmeid, keskele vale veeru. Koodi käivitamine ilma sellest aru saamata on nagu allkirjastamata aruande avaldamine.

Python miks? Sest see on andmeanalüüsi de facto standard: saate hõlpsalt töödelda telemeetria-, katse- ja tootmisandmeid pandade (tabeliandmed), numpy (arvuline töötlemine), matplotlib (plot) ja scikit-learn (masinõpe) raamatukogudega.

Kuus sammu reprodutseeritava analüüsini

Tugev analüüs järgib alati sama raamistikku:

1. Laadige: loe andmeid failist.
2. Kontrollige: dimensioon, veerud, andmetüübid, puuduvad väärtused.
3. Puhas: puudub/kõrvalväärtus, ühik, ajatempli parandus.
4. Väljavõttefunktsioon: tuletage tähendusrikkaid muutujaid.
5. Analüüs/mudel: statistika, visualiseerimine või mudel.
6. Kontrollige ja teatage: tulemuste esitamine, mahu/lekke kontroll, salvestamine.

Näpunäide: tehisintellektilt koodi küsides öelge "kommenteerige igal sammul, mida teete, ja kirjutage oma eeldused." Nii saate koodi lugemise ajal kontrollida.

Samm-sammult näide: telemeetriaanalüüs

Järgmine kood laadib CAN-/telemeetriakirje ja teeb põhikontrolli. (Märkus. Enne koodide käivitamist veenduge, et mõistaksite koode; veergude nimed sõltuvad teie andmetest.)

import pandad pd# 1) Laadimine: pooleldi punktidega CSV, esimene veerg timestampdf = pd.read_csv("telemetry.csv", parse_dates=["time"])# 2) Checkprint(df.shape) # mitu rida, mitu veerguprint(df.dtypes) # iga veeru tüüp (df. number(isna) print)(number). väärtused veerutrüki kohta(df.describe()) # kokkuvõtlik statistika: min, max, keskmine

Kirjelda() väljund on teie esimene võimalus kontrollida: kui mootori pöörlemissageduse max väärtus on 45 000 p/min (tavaline reisimootor ~7000 p/min), on seadme või anduri viga.

Auditi käigus kõige sagedamini kasutatavad pandakäsud ja nende tegevus:

käsk

Mis teeb

Mida see kinnitab?

df.kuju

Ridade/veergude arv

Kas see on oodatud suurus?

df.dtypes

Veergude tüübid

Kas numbriveerg on muutunud tekstiks?

df.isna().sum()

Puuduv väärtuste arv

Kui palju ruumi on?

df.describe()

Min/max/keskmine

Kas see on füüsiliselt mõistlik?

df.duplicated().sum()

topeltrida

Kas on olemas topeltregistreerimine?

# 3) Selge: märkige füüsiliselt võimatud väärtused

Ettevaatust: ärge kustutage kõrvalekallet kohe; Kõigepealt mõista, miks see on kõrvalekalle. Kas see on reaalne sündmus (äkiline kuumenemine) või anduri rike? Pimesi kustutamine võib varjata tegelikku viga.

# 4) Väljavõtte funktsioon: temperatuuri tõusu kiirus (tuletis)df = df.sort_values("time")df["sic_increase_speed"] = df["motor_sic"].diff() / df["time"].diff().dt.total_seconds()#libpy.matplot visualization # 5. pltplt.plot(df["aeg"], df["mootor_sic"])plt.xlabel("Aeg"); plt.ylabel("Mootori temperatuur (C)")plt.title("Mootori temperatuuri kurss")plt.show()

Andmelekke vältimine Pythonis

Kõige ohtlikum viga ennustusmudeli koostamisel on andmete leke (üksus 5): kui mudel näeb teavet, mida ennustamise hetkel teada ei saa. Kuldreegel selle vältimiseks aegridades: treenige minevikuga, testige tulevikuga – ei mingit juhuslikku segamist.

from sklearn.model_selection import train_test_split# VÄÄR: aegridade juhuslik jagamine lekib tulevikku# df[df["aeg"] > lävi] # viimased 20% tulevik

Ettevaatust: train_test_split segab andmed vaikimisi (shuffle=True). Aegreas ajab see tuleviku segamini haridusega ja annab vale kõrge skoori. Kui AI on seda oma toodetavas koodis teinud, parandage see kindlasti.

Ühiku konsistents: vaikne tapja

Kõige salakavalamad vead autotööstuses on ühikuvead: km/h kuni m/s, Nm kuni lb-ft, bar kuni kPa, °C kuni K. Sõnastiku pidamine selle kohta, milline on iga veeru ühik analüüsis ja konversioonide üleskirjutamine päästab selgelt elusid.

# Dokumenteerige ühikud selgesõnaliselt = {"kiirus": "km/h", "motor_sic": "C", "rõhk": "bar"}# Vajadusel selgesõnaline teisendus (km/h -> m/s)df["speed_ms"] = df["kiirus"] / 3.6

Minijuhtumiuuringud

Juhtum 1 – Viga tabas funktsiooni description() abil. Analüütik käivitab AI koodi ja teeb vahemiku hinnangu; Tulemus on absurdselt kõrge. Kui vaatame description() väljundit, näeme, et aku mahutavus on mõnel real sisestatud Wh-des ja teistes kWh-des (1000-kordne erinevus). Kui seade viiakse ühtsesse tüüpi, paraneb tulemus. Järeldus: lihtne kokkuvõtlik statistika hoidis ära halva ennustuse.

Juhtum 2 – segaduse lõks. Praktikumi pidurikulumise mudel oli testikomplektis 98% täpne. Kui koodi uurida, on näha, et train_test_split(shuffle=True) ja aegread on segunenud, mis tähendab, et tulevased punktid lekivad koolitusse. Ajaga jagades langeb täpsus 80%-ni, kuid nüüd on see realistlik. Järeldus: lihtsalt sellepärast, et AI-kood töötas, ei olnud see õige; Inimene tabas lekke.

3. juhtum – kõrvalekalde mõistmine. Vastupidavuskirjes kustutab AI-kood automaatselt kõrvalekallete deformatsiooniväärtused. Insener vaatab kustutatud punkte; Need olid just need mõra alguse hetked, mis testile huvi pakkusid. Kustutamine eemaldatakse ja rikkumised vaadatakse eraldi üle. Tulemus: "Cleaning" all saab tegelikku signaali kustutada; küsi igal sammul.

viipade mallid

Mall 1 – taotlege koodi (koos selgitusega):

Roll: olete Pythoni andmeanalüütik mentor.Ülesanne: Kirjutage kood, mis laadib ja kontrollib telemeetria-CSV-d.Kontekst: Veerud: aeg, kiirus(km/h), engine_sic(C), pööre(rpm).Piirang: kommenteerige iga rida; Selgitage, milline kontroll tehti ja miks; lisada füüsiliselt võimatu väärtuse kontroll; vaikselt ei kustuta midagi.Väljund: Kommenteeritud kood + millist väljundit peaksin vaatama ja miks.

Mall 2 – lekkekontroll:

Roll: olete masinõppe koodide ülevaataja. Ülesanne: Kontrollige järgmist koolituse/testi jaotuse koodi andmelekete suhtes. Kontekst: see on aegrida (sõiduki telemeetria). Piirang: hoiatab juhusliku segamise korral; Soovitage ja põhjendage aja järgi jagamist. Väljund: leiud + parandatud kood + selgitus.

Mall 3 – ühiku kinnitamine:

Roll: olete andmekvaliteedi audiitor.Ülesanne: soovitada kontrolle, mis otsivad DataFrame'is ühikute vastuolusid.Kontekst: Võimsus võib mõnel real olla kWh ja teistel Wh.Väljund: Kontrolli koodi + kuidas leida kahtlane muster.

Mall 4 – visualiseerimine + kommentaar:

Roll: olete andmete visualiseerimise ekspert. Ülesanne: Kirjutage kood, mis kujutab mootori temperatuuri kulgu ja tõusukiirust. Piirang: Märgistage teljed ühikuga; visuaalselt märkige anomaalia; ei väida graafiku tõlgendamisel lõplikku viga. Väljund: Kood + mida graafikult otsida.

Nõrk viip / Tugev viip

Nõrk viip:

Koostage nende andmetega mudel.

Ei ole selge, milline sihtmärk, milline sektsioon, milline kontroll; AI saab väljastada skrambleeritud, lekkivat, ühikupimedat koodi.

Võimas viip:

Roll: olete Python ML mentor. Ülesanne: kirjutage esialgne töövoog, et ennustada piduriklotside kulumist ja näidata valideerimise lõkse. Kontekst: aegridade telemeetria; sihtmärk: padja allesjäänud paksus. Piirang: aegridade jagamine aja järgi (ei mingit segamist); lipu atribuudid, millel on andmete lekke oht; dokumendiühikud; iga sammu tõlgendamine; Kirjutage üles, millised kontrollid on vajalikud enne, kui tulemus väljale jõuab. Väljund: kommenteeritud kood + kontrollimise kontrollnimekiri.

Levinud vead

• Koodi käivitamine ilma sellest aru saamata. AI kood võib samuti olla vigane; Loe rida-realt.
• Aegridade segamine. shuffle=True lekib tulevikku ja annab võltsitud skoori.
• Kustutage kõrvalekalle pimesi. Tegeliku signaali (tõrke algus) saab kustutada.
• Üksust ei dokumenteerita. Vead nagu km/h vs m/s, Wh vs kWh kasvavad vaikselt.
• Kirjelda()/check sammu vahelejätmine. Enamik vigu ilmub esimeses kokkuvõtlikus statistikas.

Kokkuvõttes

• Python (pandas, numpy, matplotlib, scikit-learn) on autotööstuse andmete analüüsi de facto standard.
• Korratav analüüs: laadige, kontrollige, puhastage, lisage, analüüsige, kinnitage ja teatage.
• On hädavajalik mõista ja kontrollida koodi, mida tehisintellekt rida rea ​​haaval toodab; See, et see töötab, ei tähenda, et see on õige.
• Säilitada aegridade mineviku/tuleviku vahe; Juhuslik segamine põhjustab andmete lekke.
• Üksuse järjepidevus ja kõrvalekallete tõlgendamine on vaikivad, kuid kriitilised kontrollipunktid.

Rakenduse ülesanne

Võtke väike andmekogum (päris või sünteetiline telemeetria). (1) Järgides kuueastmelist raamistikku, genereerige laadimis- ja juhtimiskood malliga 1 ning kinnitage, et mõistate iga rida. (2) Leidke väljundist description() vähemalt üks kahtlane väärtus ja uurige, miks. (3) Prognoosimisülesandes määrake treeningu/testi vaheaeg ja kontrollige lekkeohtu malliga 2. (4) Dokumenteerige sõnastikku iga kasutatava veeru ühik.

kontrollnimekiri

• [ ] Panin analüüsi paika kuueastmelise raamistikuga.
• [ ] Lugesin tehisintellekti loodud koodi rida-realt läbi ja sain sellest aru.
• [ ] Otsisin kahtlaseid väärtusi funktsiooniga description()/audit.
• [ ] Jagasin aegread aja järgi (ei mingit segamist).
• [ ] Märkisin ära atribuudid, millel on andmete lekkimise oht.
• [ ] Dokumenteerisin iga veeru ühiku ja kirjutasin teisendused selgesõnaliselt üles.