Dobici:
- Sposobnost prepoznavanja strukture, jedinica i tipičnih problema kvaliteta SCADA, pametnih brojila i tržišnih podataka
- Sposobnost otkrivanja nedostajućih podataka, odstupanja i problema s vremenskim oznakama s umjetnom inteligencijom i uspostavljanje tijeka rada čišćenja
- Mogućnost provjere zamki kao što su rezolucija, vremenska zona i ljetno računanje vremena u energetskim vremenskim serijama u AI izlazu
Gotovo sve energetske analize počinju vremenskim nizom: mjerenja raspoređena duž vremenske ose. 15-minutna potrošnja brojila, druga brzina rotacije turbine, satna struja napojnog voda (distributivnog voda)—sve su vremenske serije. U ovoj cjelini naučit ćemo odakle dolaze energetski podaci, koje zamke sadrže i kako koristiti umjetnu inteligenciju da bi ti podaci bili pouzdani. Postavimo ovaj princip od početka: čak i najpametnija analiza sa prljavim podacima daje prljav rezultat. U energetskom inženjeringu najviše vremena se ne troši na model, već na pouzdanost podataka, a u ovom dijelu najsigurniji doprinos daje umjetna inteligencija.
Izvori i struktura energetskih podataka
Podaci o energiji dolaze prvenstveno iz nekoliko izvora. SCADA (sustav nadzora i akvizicije podataka) prikuplja trenutna mjerenja sa centrale i opreme mreže; Obično je u sekundama ili minutama rezolucije i uključuje količine kao što su napon, struja, snaga i temperatura. Podaci pametnog brojila obično mjere potrošnju u intervalima od 15 minuta i predstavljaju osnovu za naplatu i analizu potražnje. Meteorološki podaci (temperatura, ozračenost, brzina vjetra) su ulazni podaci za proizvodnju i prognozu potražnje. Tržišni podaci (cijene po satu) su ulazni podaci ekonomske analize.
Zajednička karakteristika ovih podataka je da sadrže vremensku oznaku (oznaku datuma i vremena kojoj pripada svako mjerenje) i jednu ili više mjernih vrijednosti. Ovo je najkritičnija tačka: ako se vremenska oznaka ne shvati ispravno, sve ostalo se urušava.
Zamke rezolucije, vremenske zone i ljetnog računanja vremena
Iznenađujuće veliki dio grešaka u energetskim podacima dolazi iz vremenske ose. Istaknimo posebno tri zamke.
Zbunjenost rezolucije. Da li mjerač javlja 15-minutnu energiju (kWh) ili trenutnu snagu (kW)? Njihovo sabiranje daje različite rezultate: prosjek od četiri kW vrijednosti za 15 minuta je snaga, dok zbir četiri ne odgovara satnoj energiji (potreban je zbir energija od četvrt sata). Nijedan zbroj se ne može napraviti bez razumijevanja jedinice i rezolucije zajedno.
Vremenska zona. Da li se podaci čuvaju u lokalnom vremenu (TRT/UTC+3 za Tursku) ili univerzalnom vremenu (UTC)? Dvije serije koje dolaze iz različitih sistema mogu biti u različitim vremenskim zonama; Trosatna smjena kada se kombinuje remeti cijelu analizu vršnog sata.
Ljetno računanje vremena (DST). U zemljama koje prelaze na ljetno računanje vremena, sat "nestane" jednom godišnje i "ponavlja se" jednom godišnje. Ovo stvara dane od 23 ili 25 sati tih dana i razbija profile po satu. Budući da je Türkiye od 2016. implementirao trajno ljetno računanje vremena (UTC+3), ovaj problem se ne pojavljuje na lokalnim podacima, ali se i dalje susrećete s njim kada radite s međunarodnim ili starim podacima.
Napomena: Da li je oznaka za vremensku oznaku "početak raspona" ili "kraj raspona"? Da li zapis sa oznakom 14:00 označava 14:00-14:15 ili 13:45-14:00? Ova pojedinačna odluka mogla bi pomjeriti vršni sat za jedan dio. Objasnite ovo pravilo na početku za svaki skup podataka.
Korak po korak: Radni tok pripreme podataka sa umjetnom inteligencijom
Korak 1 — Otkriće. Znati podatke: koliko redova, koji raspon, koja rezolucija, koja jedinica? Davanje AI prvih nekoliko stotina redova i sumiranje strukture brzo otkrivaju značenja stupaca i moguće jedinice. Ali jedinična procjena AI je hipoteza; Potvrđuje se iz izvornog dokumenta.
Korak 2 — Standardizirajte vremensku liniju. Priključite se na jednu vremensku zonu, popravite rezoluciju, odredite pravilo oznake (početak/završetak). AI može generirati kod koji otkriva nepravilne intervale i vremenske oznake koje nedostaju.
Korak 3 — Nepotpuni i duplirani zapisi. Prekidi u komunikaciji stvaraju prazninu i ponovno dvostruko snimanje. AI proizvodi skup pravila koja označavaju praznine i dupliranja; kratke praznine (npr. pojedinačnih 15 minuta) mogu se popuniti odgovarajućom metodom, duge praznine se isključuju iz analize i prijavljuju.
Korak 4 — Odstupanja. Negativna potrošnja (bez proizvodnje), snaga koja prelazi fizičku gornju granicu, nagli skokovi. AI nudi statističku detekciju odstupanja zasnovanu na pravilima; Ali odstupanje nije uvijek greška – to može biti i stvarni događaj (na primjer, fabrika ide na mrežu). Inženjer pravi ovu razliku.
Korak 5 — Verifikacija. Očišćeni podaci se testiraju fizičkim sidrima: izlazak/zalazak sunca mora resetirati solarnu proizvodnju, noćno opterećenje mora biti niže od dnevnog, ukupna energija mora biti u skladu s računom.
Tri mini slučaja: prema brojevima
Slučaj 1 — Jedan sat. Podaci o solarnoj proizvodnji jednog analitičara pokazali su podnevni vrhunac u 14:00 umjesto u 13:00. Problem nije bio u panelu; Podaci su bili UTC, ali se mislilo da je lokalno vrijeme. Kada je uočena trosatna smjena (pojava produkcije prije izlaska sunca odala je sidro) cijela analiza se poboljšala; Investicione odluke su sprečene na osnovu pogrešnog tumačenja.
Slučaj 2 — Dupli snimci. U 30-dnevnim satnim podacima jednog distributivnog fidera, ukupna potrošnja je bila približno 4 posto veća od očekivane. Detekcija ponavljanja uz pomoć umjetne inteligencije pokazala je da su neki sati snimljeni dvaput u ponovnim komunikacijskim vezama. Nakon brisanja 68 ponovljenih zapisa ukupan iznos odgovara računu.
Slučaj 3 — Lažne nule. Jedan mjerač je prijavljivao potrošnju kao "0" tokom gubitka komunikacije; Međutim, potrošnja se nastavila. Ove lažne nule snizile su prosjek i zavarale prognozu potražnje. AI je predložio pravilo "Provjeri 0 vrijednosti zajedno sa zastavicom prisutnosti"; lažne nule su označene kao podaci koji nedostaju i odvojene od pravih nula (npr. zatvoreno radno mjesto).
Slaba prompt / jaka prompt
Slab upit:
Obrišite ove podatke brojača.[podaci]
Snažan upit:
Vaša uloga: Analitičar energetskih podataka. Sljedeći podaci brojila su za intervale od 15 minuta, lokalno vrijeme (UTC+3), vremenska oznaka označava POČETAK intervala, jedinica kWh. Zadaci: 1) Navesti nedostajuće vremenske oznake i duple zapise (broj i vrijeme).2) Posebno označiti negativnu vrijednost i vrijednosti koje prelaze fizičku gornju granicu (ugovorna snaga 25 kW); ne brišite, samo označite.3) Ponudite provjeru da biste razlikovali lažne nule od stvarnih nula za koje se sumnja da su pogrešno komunicirali. Nemojte sami popunjavati nijednu vrijednost; Prvo ga identificirajte i ja ću potvrditi punjenje.
Snažan prompt daje rezoluciju, vremensku zonu, pravilo oznake i gornju granicu od početka; Nameće AI disciplinu „prvo otkrij, pa pitaj kasnije“. Na ovaj način podaci neće biti tiho oštećeni.
Četiri predloška koji se mogu kopirati
1) Profiliranje podataka:
Napravite profil sljedećih podataka: broj redova, raspon datuma, rezolucija, procijenjena jedinica i značenje svake kolone, stopa nedostajućih, min/max/prosjek. Označite jedinične procjene oznakom "potrebno je provjeriti".
2) Kontrola vremenske ose:
U ovoj vremenskoj seriji otkrijte: (a) praznine izvan očekivanog raspona, (b) ponavljanje vremenskih oznaka, (c) moguće pomake zbog ljetnog računanja vremena/vremenske zone. Navedite svaki nalaz s njegovim vremenskim rasponom. Napišite svoj prijedlog za ispravku zasebno; PRIMJENA.
3) Vanredno pravilo:
Označite granične vrijednosti koristeći ove fizičke granice: snaga 0-[X] kW, temperatura [A]-[B] °C. Također napravite zasebnu listu statističkih odstupanja (npr. odstupanje previše od medijane). Za svaki izuzetak postavite pitanje "moguća greška ili stvarni događaj"; Pusti mene da odlučim.
4) Provjera nakon čišćenja:
Testirajte očišćene podatke sa sljedećim fizičkim sidrima i prijavite nedosljednosti: solarna proizvodnja bi trebala biti nula noću; ukupna energija mora biti unutar očekivanog nivoa računa; Noćno opterećenje mora biti niže od dnevnog maksimuma. Upišite prolazno/neuspjeh za svako sidro.
Tabela pitanja kvaliteta podataka
problem
simptom
verifikaciono sidro
Promena vremenske zone
Gornji sat je na nelogičnom mjestu
Poravnajte sa izlaskom/zalaskom sunca
ljetno vrijeme (DST)
23/25 sati dnevno
Računajte dužinu dana
lažna nula
0 u slučaju gubitka komunikacije
Utakmica sa komunikacijskom zastavicom
ponovo se registrovati
Iznad ukupnog računa
Provjerite jedinstvenost vremenske oznake
Jedinica konfuzija
Rang 60/1000 puta izopačen
Provjerite konverziju kW↔kWh
negativnu vrijednost
Negativna potrošnja kada nema proizvodnje
Pravilo fizičkih znakova
Uobičajene greške
- Tiho popunjavanje podataka koji nedostaju nulom. Nula znači "bez potrošnje", a ne "bez podataka"; miješanje ova dva iskrivljuje prosjek i prognozu.
- Automatski izbriši izvanrednu vrijednost. Izuzetak može biti stvarni događaj; Prije brisanja potreban je pregled inženjera.
- Uz pretpostavku vremenske zone. Reći "vjerovatno je lokalno" jedna je od najskupljih grešaka; Uvijek provjerite iz izvora.
- Prikupljanje rastvorljivosti mešanjem. Dodavanje vrijednosti snage (kW) kao energije (kWh) daje netačan ukupni iznos.
- Ne provjeravam čistoću. Očišćeni podaci također mogu biti oštećeni; Obavezno ga testirajte fizičkim sidrima.
Savjet: Zapišite svaki korak čišćenja podataka u “data log”: koliko zapisa je označeno, koliko je popunjeno, koje je pravilo korišteno. Ovaj dnevnik osigurava i ponovljivost i mogućnost revizije; godinu dana kasnije "odakle ovaj broj?" odgovara na pitanje.
Ukratko
Osnova energetske analize je čista vremenska serija. Podaci dolaze iz SCADA, mjerača, meteorologije i tržišta; svaki ima rezoluciju, jedinicu, vremensku zonu i zamke za ljetno računanje vremena. AI je veoma moćan u ubrzavanju otkrivanja nedostajućih/duplikovanih/izuzetnih vrijednosti, ali odluke o brisanju i popunjavanju trebaju ostati na inženjeru, a rezultat bi trebao biti potvrđen fizičkim sidrima. Nijedna analiza nije pouzdana bez pravilnog razumijevanja vremenske oznake.
Zadatak aplikacije
Uzmite vremensku seriju energije (metar, proizvodnju ili temperaturu) u svoju ruku. Zatražite izvještaj o kvaliteti od AI pomoću predložaka „Revizija vremenske linije“ i „Profiliranje podataka“. Zatim ručno provjerite tri stvari: da li su jedinica i rezolucija tačne, da li je vršni sat fizički razuman, da li je ukupna energija u skladu s računom? Ukratko opišite problem s kvalitetom podataka koji ste pronašli i kako ste ga riješili.
kontrolna lista
- [ ] Potvrdio sam izvor, rezoluciju i jedinicu podataka
- [ ] Pojasnio sam pravilo vremenske zone i vremenske oznake (početak/završetak)
- [ ] Provjerio sam rizik od 23/25 sati dana zbog ljetnog računanja vremena
- [ ] Otkrio sam nestale i duplirane zapise i prijavio ih
- [ ] Ispitivao sam odlike s razlikom "greška ili događaj"
- [ ] Razlikovao sam lažne nule od stvarnih nula
- [ ] Provjerio sam očišćene podatke fizičkim sidrima i vodio evidenciju podataka