zisky:
- Schopnosť rozpoznať štruktúru, jednotky a typické problémy s kvalitou SCADA, inteligentných meračov a trhových údajov
- Schopnosť odhaliť chýbajúce údaje, odľahlé hodnoty a problémy s časovou pečiatkou s umelou inteligenciou a vytvoriť pracovný postup čistenia
- Schopnosť overiť pasce, ako je rozlíšenie, časové pásmo a letný čas v energetických časových radoch vo výstupe AI
Takmer všetky energetické analýzy začínajú časovým radom: merania usporiadané pozdĺž časovej osi. 15-minútová spotreba elektromera, druhá rýchlosť otáčania turbíny, hodinový prúd podávača (distribučného vedenia) – to všetko sú časové rady. V tomto celku sa dozvieme, odkiaľ energetické údaje pochádzajú, aké úskalia obsahujú a ako využiť umelú inteligenciu, aby boli tieto údaje spoľahlivé. Stanovme si tento princíp od začiatku: aj tá najinteligentnejšia analýza so špinavými údajmi dáva špinavý výsledok. V energetickom inžinierstve sa väčšina času nestrávi na modeli, ale na tom, aby boli údaje spoľahlivé, a umelá inteligencia v tejto časti poskytuje najbezpečnejší príspevok.
Zdroje a štruktúra energetických údajov
Údaje o energii pochádzajú predovšetkým z viacerých zdrojov. SCADA (dozorný riadiaci a zberný systém dát) zhromažďuje okamžité merania z rozvádzačov a zariadení siete; Zvyčajne je rozlíšenie v sekundách alebo minútach a zahŕňa veličiny ako napätie, prúd, výkon a teplota. Údaje inteligentného merača zvyčajne merajú spotrebu v 15-minútových intervaloch a sú základom pre fakturáciu a analýzu dopytu. Meteorologické údaje (teplota, ožiarenosť, rýchlosť vetra) sú vstupom do prognóz výroby a dopytu. Trhové údaje (hodinové ceny) sú vstupom do ekonomickej analýzy.
Spoločným znakom týchto údajov je, že obsahujú časovú značku (značku dátumu a času, ku ktorej patrí každé meranie) a jednu alebo viac hodnôt merania. Toto je najkritickejší bod: ak časová pečiatka nie je správne pochopená, všetko ostatné sa zrúti.
Rozlíšenie, časové pásmo a pasce letného času
Prekvapivo veľká časť chýb v energetických údajoch pochádza z časovej osi. Vyzdvihnime najmä tri nástrahy.
Zmätok v rozlíšení. Hlási elektromer 15-minútovú energiu (kWh) alebo okamžitý výkon (kW)? Ich sčítanie dáva rôzne výsledky: priemer zo štyroch hodnôt kW za 15 minút je výkon, zatiaľ čo súčet štyroch nezodpovedá hodinovej energii (vyžaduje sa súčet štvrťhodinových energií). Bez pochopenia jednotky a rozlíšenia dohromady nie je možné urobiť žiadne zhrnutie.
Časové pásmo. Uchovávajú sa údaje v miestnom čase (TRT/UTC+3 pre Turecko) alebo svetovom čase (UTC)? Dve série pochádzajúce z rôznych systémov môžu byť v rôznych časových pásmach; Trojhodinová zmena pri kombinovaní narúša celú analýzu špičkových hodín.
Letný čas (DST). V krajinách, ktoré prechádzajú na letný čas, hodina raz za rok „zmizne“ a raz za rok sa „zopakuje“. To vytvára 23 alebo 25-hodinové dni v týchto dňoch a prerušuje hodinové profily. Keďže Türkiye od roku 2016 zaviedol trvalý letný čas (UTC+3), tento problém sa na lokálnych dátach neprejavuje, no pri práci s medzinárodnými alebo starými dátami sa s ním stále stretávate.
Poznámka: Je označenie pre časovú pečiatku „začiatok rozsahu“ alebo „koniec rozsahu“? Označuje záznam s označením 14:00 14:00-14:15 alebo 13:45-14:00? Toto jediné rozhodnutie by mohlo posunúť špičkové hodiny o jeden dielik. Ujasnite si toto pravidlo na začiatku každého súboru údajov.
Krok za krokom: Pracovný postup prípravy údajov s umelou inteligenciou
Krok 1 – Objav. Poznať údaje: koľko riadkov, aký rozsah, aké rozlíšenie, aká jednotka? Poskytnutie prvých stoviek riadkov AI a zhrnutie štruktúry rýchlo odhalí význam stĺpcov a možné jednotky. Ale jednotkový odhad AI je hypotéza; Je to potvrdené zo zdrojového dokumentu.
Krok 2 – Štandardizujte časovú os. Prichytiť na jedno časové pásmo, opraviť rozlíšenie, určiť pravidlo značky (začiatok/koniec). AI dokáže generovať kód, ktorý zisťuje nepravidelné intervaly a chýbajúce časové pečiatky.
Krok 3 — Neúplné a duplicitné záznamy. Poruchy komunikácie vytvárajú opäť prázdnotu a dvojitý záznam. AI vytvára súbor pravidiel, ktoré označujú medzery a duplicity; krátke medzery (napr. jednorazových 15 minút) možno vyplniť vhodnou metódou, dlhé medzery sa z analýzy vylúčia a zaznamenajú.
Krok 4 – Odľahlé hodnoty. Negatívna spotreba (žiadna výroba), výkon presahujúci fyzickú hornú hranicu, náhle skoky. AI ponúka štatistickú detekciu odľahlých hodnôt a na základe pravidiel; Odľahlá hodnota však nie je vždy chybou – môže to byť aj skutočná udalosť (napríklad prechod továrne online). Inžinier robí tento rozdiel.
Krok 5 – Overenie. Vyčistené údaje sa testujú pomocou fyzických kotiev: východ/západ slnka musí resetovať solárnu výrobu, nočná záťaž musí byť nižšia ako denná, celková energia musí byť v súlade s účtom.
Tri mini prípady: Podľa čísel
Prípad 1 – hodinový sklz. Údaje o slnečnej produkcii jedného analytika ukázali vrchol na poludnie o 14:00 namiesto o 13:00. Problém nebol s panelom; Údaje boli UTC, ale predpokladalo sa, že ide o miestny čas. Keď bola zaznamenaná trojhodinová zmena (vzhľad produkcie pred východom slnka prezrádzal kotvu), celá analýza sa zlepšila; Investičným rozhodnutiam sa zabránilo na základe nesprávnej interpretácie.
Prípad 2 – Duplicitné nahrávky. V 30-dňových hodinových údajoch jedného distribučného podávača bola celková spotreba približne o 4 percentá vyššia, ako sa očakávalo. Detekcia prehrávania pomocou AI ukázala, že niektoré hodiny boli zaznamenané dvakrát pri opätovnom pripojení komunikácie. Po vymazaní 68 opakovaných záznamov sa súčet zhodoval s účtom.
Prípad 3 – Falošné nuly. Jeden merač hlásil spotrebu ako "0" počas straty komunikácie; Spotreba však pokračovala. Tieto falošné nuly znížili priemer a skreslili prognózu dopytu. AI navrhla pravidlo „Skontrolovať hodnoty 0 spolu s príznakom prítomnosti“; falošné nuly boli označené ako chýbajúce údaje a oddelené od pravých núl (napr. uzavreté pracovisko).
Slabá výzva / silná výzva
Slabá výzva:
Vymazať tieto údaje počítadla.[data]
Výkonná výzva:
Vaša úloha: Analytik energetických údajov. Nasledujúce údaje merača sú pre 15-minútové intervaly, miestny čas (UTC+3), časová pečiatka označuje ZAČIATOK intervalu, jednotka kWh.Úlohy:1) Vypísať chýbajúce časové pečiatky a duplicitné záznamy (počet a čas).2) Označiť samostatne zápornú hodnotu a hodnoty presahujúce fyzickú hornú hranicu (zmluvný výkon 25 kW); nemažte, iba označte.3) Ponúknite kontrolu na rozlíšenie falošných núl od skutočných núl, ktoré sú podozrivé z nesprávnej komunikácie. Nevypĺňajte žiadne hodnoty sami; Najprv to identifikujte a ja vám potvrdím plnenie.
Výkonná výzva poskytuje rozlíšenie, časové pásmo, pravidlo značky a horný limit od začiatku; Ukladá AI disciplínu „najskôr zisti, potom sa spýtaj“. Týmto spôsobom nebudú dáta ticho poškodené.
Štyri kopírovateľné šablóny
1) Profilovanie údajov:
Vytvorte profil nasledujúcich údajov: počet riadkov, rozsah dátumov, rozlíšenie, odhadovaná jednotka a význam každého stĺpca, miera chýbania, min/max/priemer. Označte odhady jednotiek štítkom „treba overiť“.
2) Ovládanie časovej osi:
V tomto časovom rade zistite: (a) medzery mimo očakávaného rozsahu, (b) opakujúce sa časové pečiatky, (c) možné posuny v dôsledku letného času/časového pásma. Uveďte každý nález s jeho časovým rozsahom. Svoj návrh na opravu napíšte samostatne; APLIKÁCIA.
3) Odľahlé pravidlo:
Označte odľahlé hodnoty pomocou týchto fyzikálnych limitov: výkon 0-[X] kW, teplota [A]-[B] °C. Vytvorte aj samostatný zoznam štatistických odľahlých hodnôt (napr. príliš ďaleko od mediánu). Pre každú odľahlú hodnotu položte otázku „možná chyba alebo skutočná udalosť“; Nechaj ma rozhodnúť.
4) Overenie po vyčistení:
Otestujte vyčistené údaje s nasledujúcimi fyzickými kotvami a nahláste nezrovnalosti: slnečná produkcia by mala byť v noci nulová; celková energia musí byť v rámci očakávanej úrovne účtu; Nočná záťaž musí byť nižšia ako denná špička. Pre každú kotvu napíšte vyhovel/nevyhovel.
Tabuľka problémov s kvalitou údajov
problém
symptóm
overovacia kotva
Posun časového pásma
Horné hodiny sú na nelogickom mieste
Zarovnajte s východom/západom slnka
letný čas (DST)
23/25 hodinové dni
Počítajte dĺžku dňa
falošná nula
0 v prípade straty komunikácie
Zhoda s komunikačným príznakom
preregistrovať
Nad celkovým účtom
Skontrolujte jedinečnosť časovej pečiatky
Zmätok jednotiek
Hodnosť 60/1000 krát zvrátená
Overte konverziu kW↔kWh
záporná hodnota
Negatívna spotreba, keď nie je produkcia
Pravidlo fyzického znaku
Časté chyby
- Tiché doplnenie chýbajúcich údajov nulou. Nula znamená „žiadna spotreba“, nie „žiadne dáta“; miešanie oboch skresľuje priemer a prognózu.
- Automaticky odstrániť odľahlé hodnoty. Odľahlá hodnota môže byť skutočnou udalosťou; Pred odstránením sa vyžaduje kontrola inžiniera.
- Predpokladajme časové pásmo. Povedať „pravdepodobne je to miestne“ je jednou z najdrahších chýb; Vždy overte zo zdroja.
- Zhromažďovanie rozpustnosti miešaním. Pripočítaním hodnôt výkonu (kW) ako energie (kWh) získate nesprávny súčet.
- Neoveruje sa čistota. Vyčistené údaje môžu byť tiež poškodené; Nezabudnite to otestovať s fyzickými kotvami.
Tip: Zapíšte si každý krok čistenia dát do „datalogu“: koľko záznamov bolo označených, koľko bolo vyplnených, aké pravidlo bolo použité. Tento protokol zabezpečuje reprodukovateľnosť aj auditovateľnosť; o rok neskôr "odkiaľ pochádza toto číslo?" odpovedá na otázku.
V súhrne
Základom energetickej analýzy je čistý časový rad. Údaje pochádzajú zo SCADA, meračov, meteorológie a trhu; každý má rozlíšenie, jednotku, časové pásmo a pasce na letný čas. Umelá inteligencia je veľmi výkonná pri urýchľovaní detekcie chýbajúcich/duplikátov/odľahlých hodnôt, ale rozhodnutia o vymazaní a vyplnení by mali zostať na inžinierovi a výsledok by mal byť overený fyzickými kotvami. Žiadna analýza nie je spoľahlivá bez správneho pochopenia časovej pečiatky.
Aplikačná úloha
Vezmite do ruky časový rad energie (meter, výroba alebo teplota). Vyžiadajte si správu o kvalite od AI pomocou šablón „Audit časovej osi“ a „Profilovanie údajov“. Potom manuálne overte tri veci: sú jednotky a rozlíšenie správne, sú maximálne hodiny fyzicky primerané, je celková energia v súlade s účtom? Stručne opíšte problém s kvalitou údajov, ktorý ste našli, a spôsob, akým ste ho vyriešili.
kontrolný zoznam
- [ ] Potvrdil som zdroj, rozlíšenie a jednotku údajov
- [ ] Objasnil som pravidlo označenia časového pásma a časovej pečiatky (začiatok/koniec)
- [ ] Skontroloval som riziko 23/25 hodinových dní kvôli letnému času
- [ ] Zistil som chýbajúce a duplicitné záznamy a nahlásil som ich
- [ ] Skúmal som odľahlé hodnoty s rozlíšením „chyba alebo udalosť“
- [ ] Rozlíšil som falošné nuly od skutočných núl
- [ ] Vyčistené údaje som overil fyzickými kotvami a viedol som si denník údajov