Dobici:
- Sposobnost prepoznavanja strukture, jedinica i tipičnih problema kvalitete SCADA-e, pametnih brojila i tržišnih podataka
- Sposobnost otkrivanja podataka koji nedostaju, ekstremnih vrijednosti i problema s vremenskom oznakom pomoću umjetne inteligencije i uspostavljanje tijeka rada čišćenja
- Mogućnost provjere zamki kao što su rezolucija, vremenska zona i ljetno računanje vremena u energetskim vremenskim serijama u AI izlazu
Gotovo sve energetske analize počinju vremenskim nizom: mjerenja poredana duž vremenske osi. 15-minutna potrošnja mjerača, druga brzina vrtnje turbine, satna struja napojnog voda (razdjelnog voda) — sve su vremenske serije. U ovoj jedinici naučit ćemo odakle dolaze podaci o energiji, koje zamke sadrže i kako upotrijebiti umjetnu inteligenciju da ti podaci budu pouzdani. Postavimo ovo načelo od početka: čak i najpametnija analiza s prljavim podacima daje prljav rezultat. U energetici se najviše vremena ne troši na modeliranje, već na to da podaci budu pouzdani, a u tom dijelu umjetna inteligencija daje najsigurniji doprinos.
Izvori i struktura energetskih podataka
Podaci o energiji primarno dolaze iz nekoliko izvora. SCADA (sustav nadzorne kontrole i prikupljanja podataka) prikuplja trenutna mjerenja iz centrale i mrežne opreme; Obično je razlučivost u sekundama ili minutama i uključuje veličine kao što su napon, struja, snaga i temperatura. Podaci pametnog brojila obično mjere potrošnju u intervalima od 15 minuta i osnova su za naplatu i analizu potražnje. Meteorološki podaci (temperatura, zračenje, brzina vjetra) ulaz su za predviđanje proizvodnje i potražnje. Tržišni podaci (cijene po satu) su input ekonomske analize.
Zajedničko obilježje ovih podataka je da sadrže vremensku oznaku (oznaku datum-vrijeme kojoj pripada svako mjerenje) i jednu ili više mjernih vrijednosti. Ovo je najkritičnija točka: ako vremenska oznaka nije ispravno shvaćena, sve ostalo se urušava.
Rezolucija, vremenska zona i zamke za ljetno računanje vremena
Iznenađujuće velik dio pogrešaka u podacima o energiji dolazi s vremenske osi. Istaknimo posebno tri zamke.
Zbunjenost rezolucije. Prijavljuje li mjerač energiju za 15 minuta (kWh) ili trenutnu snagu (kW)? Njihovo zbrajanje daje različite rezultate: prosjek četiri kW vrijednosti za 15 minuta je snaga, dok zbroj četiri ne odgovara satnoj energiji (potreban je zbroj četvrtsatne energije). Nijedan zbroj se ne može napraviti bez razumijevanja jedinice i rezolucije zajedno.
Vremenska zona. Čuvaju li se podaci u lokalnom vremenu (TRT/UTC+3 za Tursku) ili univerzalnom vremenu (UTC)? Dvije serije koje dolaze iz različitih sustava mogu biti u različitim vremenskim zonama; Smjena od tri sata pri kombiniranju remeti cjelokupnu analizu vršnih sati.
Ljetno računanje vremena (DST). U zemljama koje prelaze na ljetno računanje vremena sat godišnje "nestaje" jednom godišnje, a "ponovi se" jednom godišnje. To stvara dane od 23 ili 25 sati na te dane i prekida profile po satu. Budući da je Turska od 2016. implementirala stalno ljetno računanje vremena (UTC+3), ovaj se problem ne pojavljuje na lokalnim podacima, ali se s njime i dalje susrećete kada radite s međunarodnim ili starim podacima.
Napomena: je li oznaka za vremensku oznaku "početak raspona" ili "kraj raspona"? Označava li zapis s oznakom 14:00 14:00-14:15 ili 13:45-14:00? Ova jedina odluka mogla bi pomaknuti vršni sat za jedan dio. Jasno navedite ovo pravilo na početku za svaki skup podataka.
Korak po korak: tijek rada pripreme podataka s umjetnom inteligencijom
Korak 1 — Otkriće. Znati podatke: koliko redaka, koji raspon, koja rezolucija, koja jedinica? Davanje AI prvih nekoliko stotina redaka i sažimanje strukture brzo otkriva značenja stupaca i moguće jedinice. Ali procjena AI jedinice je hipoteza; Potvrđeno je iz izvornog dokumenta.
Korak 2 — Standardizirajte vremensku traku. Priključite se na jednu vremensku zonu, popravite rezoluciju, odredite pravilo oznake (početak/kraj). AI može generirati kod koji otkriva nepravilne intervale i nedostajuće vremenske oznake.
Korak 3 — Nepotpuni i dvostruki zapisi. Komunikacijski lomovi opet stvaraju prazninu i dvostruko snimanje. AI proizvodi skup pravila koja označavaju praznine i dupliciranja; kratke praznine (npr. jednokratnih 15 minuta) mogu se popuniti prikladnom metodom, duge praznine isključene su iz analize i prijavljene.
Korak 4 — Outliers. Negativna potrošnja (nema proizvodnje), snaga preko fizičke gornje granice, nagli skokovi. AI nudi statističko otkrivanje odstupanja temeljeno na pravilima; Ali outlier nije uvijek pogreška - to može biti i stvarni događaj (na primjer, tvornica uključena). Inženjer pravi ovu razliku.
Korak 5 — Provjera. Očišćeni podaci testirani su fizičkim sidrima: izlazak/zalazak sunca mora resetirati solarnu proizvodnju, noćno opterećenje mora biti niže od dnevnog, ukupna energija mora biti u skladu s računom.
Tri mini kućišta: po brojevima
Slučaj 1 — Izostanak jednog sata. Podaci o solarnoj proizvodnji jednog analitičara pokazali su podnevni vrhunac u 14:00 umjesto u 13:00. Problem nije bio u ploči; Podaci su bili UTC, ali se smatralo da je lokalno vrijeme. Kada je primijećena trosatna smjena (pojava proizvodnje prije izlaska sunca odala je sidro) cijela se analiza poboljšala; Investicijske odluke bile su spriječene na temelju krivog tumačenja.
Slučaj 2 — Dvostruke snimke. U 30-dnevnim satnim podacima jednog distribucijskog izvora, ukupna potrošnja bila je otprilike 4 posto veća od očekivane. Detekcija ponavljanja uz pomoć umjetne inteligencije pokazala je da su neki sati snimljeni dva puta u ponovnim komunikacijskim vezama. Nakon brisanja 68 ponovljenih zapisa ukupni iznos odgovara računu.
Slučaj 3 — Lažne nule. Jedan mjerač je prijavio potrošnju kao "0" tijekom gubitka komunikacije; Međutim, potrošnja se nastavila. Te su lažne nule snizile prosjek i zavarale prognozu potražnje. AI je predložio pravilo "Provjeri 0 vrijednosti zajedno s oznakom prisutnosti"; lažne nule su označene kao podaci koji nedostaju i odvojene od pravih nula (npr. zatvoreno radno mjesto).
Slab upit / Jak upit
Slab upit:
Izbriši ove podatke brojača.[data]
Snažan upit:
Vaša uloga: Analitičar energetskih podataka. Sljedeći podaci brojila odnose se na intervale od 15 minuta, lokalno vrijeme (UTC+3), vremenska oznaka označava POČETAK intervala, jedinica kWh. Zadaci: 1) Navedite nedostajuće vremenske oznake i duple zapise (broj i vrijeme). 2) Označite odvojeno negativnu vrijednost i vrijednosti koje prelaze fizičku gornju granicu (ugovorna snaga 25 kW); nemojte brisati, samo označite. 3) Ponudite provjeru kako biste razlikovali lažne nule od stvarnih nula za koje se sumnja da su pogrešne komunikacije. Ne ispunjavajte nikakve vrijednosti sami; Najprije ga identificirajte i ja ću potvrditi punjenje.
Snažan upit daje rezoluciju, vremensku zonu, pravilo oznake i gornju granicu od samog početka; AI-ju nameće disciplinu "prvo otkrij, pitaj kasnije". Na taj način podaci neće biti tiho oštećeni.
Četiri predloška za kopiranje
1) Profiliranje podataka:
Napravite profil sljedećih podataka: broj redaka, datumski raspon, rezolucija, procijenjena jedinica i značenje svakog stupca, stopa nedostajanja, min/max/prosjek. Označite procjene jedinica s oznakom "treba provjeriti".
2) Kontrola vremenske osi:
U ovoj vremenskoj seriji otkrijte: (a) praznine izvan očekivanog raspona, (b) vremenske oznake koje se ponavljaju, (c) moguće pomake zbog ljetnog računanja vremena/vremenske zone. Navedite svaki nalaz s njegovim vremenskim rasponom. Svoj prijedlog ispravka napišite odvojeno; PRIMJENA.
3) Pravilo ekstrema:
Označite izvanredne vrijednosti pomoću ovih fizičkih ograničenja: snaga 0-[X] kW, temperatura [A]-[B] °C. Također napravite zaseban popis statističkih ekstrema (npr. preveliko odstupanje od medijana). Za svaki outlier postavite pitanje "moguća pogreška ili stvarni događaj"; Pusti me da odlučim.
4) Provjera nakon čišćenja:
Testirajte očišćene podatke sa sljedećim fizičkim sidrištima i prijavite nedosljednosti: solarna proizvodnja trebala bi biti nula noću; ukupna energija mora biti unutar očekivane razine računa; Noćno opterećenje mora biti niže od dnevnog vršnog opterećenja. Napišite prošao/nije prošao za svako sidro.
Tablica problema s kvalitetom podataka
problem
simptom
verifikacijsko sidro
Promjena vremenske zone
Gornji sat je na nelogičnom mjestu
Uskladite s izlaskom/zalaskom sunca
ljetno vrijeme (DST)
23/25 sati dnevno
Broji duljinu dana
lažna nula
0 u slučaju gubitka komunikacije
Podudaranje s komunikacijskom zastavom
ponovno se registrirati
Iznad ukupnog računa
Provjerite jedinstvenost vremenske oznake
Zbunjenost jedinica
Rang 60/1000 puta izopačen
Provjerite pretvorbu kW↔kWh
negativna vrijednost
Negativna potrošnja kada nema proizvodnje
Pravilo fizičkog znaka
Uobičajene greške
- Tiho popunjavanje podataka koji nedostaju nulom. Nula znači "nema potrošnje", a ne "nema podataka"; miješanje to dvoje iskrivljuje prosjek i prognozu.
- Automatski izbriši outlier. Outlier može biti stvarni događaj; Prije brisanja potreban je tehnički pregled.
- Uz pretpostavku vremenske zone. Reći "vjerojatno je lokalno" jedna je od najskupljih pogrešaka; Uvijek provjerite iz izvora.
- Prikupljanje topljivosti miješanjem. Dodavanje vrijednosti snage (kW) kao energije (kWh) daje netočan ukupni iznos.
- Ne provjerava čistoću. Očišćeni podaci također mogu biti oštećeni; Svakako ga testirajte s fizičkim sidrima.
Savjet: Zapišite svaki korak čišćenja podataka u "dnevnik podataka": koliko je zapisa označeno, koliko ih je popunjeno, koje je pravilo korišteno. Ovaj dnevnik osigurava i ponovljivost i reviziju; godinu dana kasnije "odakle ovaj broj?" odgovara na pitanje.
Ukratko
Osnova energetske analize je čista vremenska serija. Podaci dolaze iz SCADA-e, mjerača, meteorologije i tržišta; svaki ima rezoluciju, jedinicu, vremensku zonu i zamke za ljetno računanje vremena. AI je vrlo moćan u ubrzavanju otkrivanja nestalih/duplikata/ispada, ali odluke o brisanju i popunjavanju trebaju ostati na inženjeru, a rezultat treba potvrditi fizičkim sidrima. Nijedna analiza nije pouzdana bez pravilnog razumijevanja vremenske oznake.
Zadatak aplikacije
Uzmite vremenski niz energije (metar, proizvodnja ili temperatura) u ruke. Zatražite izvješće o kvaliteti od AI-a pomoću predložaka "Revizija vremenske linije" i "Profiliranje podataka". Zatim ručno provjerite tri stvari: jesu li jedinica i razlučivost točni, je li vršni sat fizički prihvatljiv, je li ukupna energija u skladu s računom? Ukratko opišite problem s kvalitetom podataka koji ste pronašli i kako ste ga riješili.
popis za provjeru
- [ ] Potvrdio sam izvor, rezoluciju i jedinicu podataka
- [ ] Pojasnio sam vremensku zonu i pravilo oznake vremenske oznake (početak/kraj)
- [ ] Provjerio sam rizik dana od 23/25 sati zbog ljetnog vremena
- [ ] Otkrio sam nestale i duplicirane zapise i prijavio ih
- [ ] Ispitao sam izvanredne vrijednosti uz razlikovanje "pogreške ili događaja"
- [ ] Razlikovao sam lažne nule od pravih nula
- [ ] Očišćene podatke potvrdio sam fizičkim sidrima i vodio zapisnik podataka