Ieguvumi:
- Spēja atpazīt SCADA, viedo skaitītāju un tirgus datu struktūru, mērvienības un tipiskās kvalitātes problēmas
- Spēja atklāt trūkstošos datus, novirzes un laikspiedolu problēmas ar mākslīgo intelektu un izveidot tīrīšanas darbplūsmu
- Iespēja pārbaudīt slazdus, piemēram, izšķirtspēju, laika joslu un vasaras laiku enerģijas laika rindās mākslīgā intelekta izvadē
Gandrīz visa enerģijas analīze sākas ar laikrindu: mērījumiem, kas sakārtoti gar laika asi. 15 minūšu skaitītāja patēriņš, turbīnas otrs griešanās ātrums, padeves (sadales līnijas) stundas strāva — tas viss ir laikrindas. Šajā nodaļā mēs uzzināsim, no kurienes nāk enerģijas dati, kādas nepilnības tajos ir un kā izmantot mākslīgo intelektu, lai padarītu šos datus uzticamus. Ieviesīsim šo principu no paša sākuma: pat visgudrākā analīze ar netīriem datiem dod netīru rezultātu. Energoinženierijā lielākā daļa laika tiek veltīta nevis modelim, bet gan datu uzticamības nodrošināšanai, un mākslīgais intelekts sniedz visdrošāko ieguldījumu šajā daļā.
Enerģijas datu avoti un struktūra
Enerģijas dati galvenokārt nāk no vairākiem avotiem. SCADA (pārraudzības kontroles un datu iegūšanas sistēma) apkopo momentānos mērījumus no sadales paneļa un elektrotīkla aprīkojuma; Parasti tā ir izšķirtspēja sekundēs vai minūtēs un ietver tādus daudzumus kā spriegums, strāva, jauda un temperatūra. Viedo skaitītāju dati parasti mēra patēriņu ik pēc 15 minūšu intervāliem un ir pamats rēķinu izrakstīšanai un pieprasījuma analīzei. Meteoroloģiskie dati (temperatūra, izstarojums, vēja ātrums) ir ražošanas un pieprasījuma prognozēšanas ievade. Tirgus dati (stundas cenas) ir ekonomiskās analīzes ievads.
Šo datu kopīgā iezīme ir tā, ka tajos ir ietverts laikspiedols (datuma un laika atzīme, kurai pieder katrs mērījums) un viena vai vairākas mērījumu vērtības. Šis ir viskritiskākais punkts: ja laikspiedols netiek pareizi saprasts, viss pārējais sabrūk.
Izšķirtspēja, laika josla un vasaras laika slazdi
Pārsteidzoši liela daļa kļūdu enerģijas datos nāk no laika ass. Īpaši izcelsim trīs slazdus.
Izšķirtspējas apjukums. Vai skaitītājs uzrāda 15 minūšu enerģiju (kWh) vai momentāno jaudu (kW)? Tos saskaitot, tiek iegūti dažādi rezultāti: četru kW vērtību vidējā vērtība 15 minūtēm ir jauda, savukārt četru summa neatbilst stundas enerģijai (nepieciešama ceturtdaļas stundu enerģiju summa). Nevienu summēšanu nevar veikt, neizprotot vienību un izšķirtspēju.
Laika josla. Vai dati tiek glabāti vietējā laikā (TRT/UTC+3 Turkiye) vai universālajā laikā (UTC)? Divas sērijas, kas nāk no dažādām sistēmām, var būt dažādās laika joslās; Trīs stundu maiņa, apvienojot, izjauc visu maksimumstundu analīzi.
Vasaras laiks (DST). Valstīs, kas pāriet uz vasaras laiku, reizi gadā stunda "pazūd" un reizi gadā "atkārtojas". Tādējādi šajās dienās tiek izveidotas 23 vai 25 stundu dienas un tiek pārtraukti stundu profili. Tā kā Türkiye kopš 2016. gada ir ieviesis pastāvīgo vasaras laiku (UTC+3), šī problēma neparādās vietējos datos, taču jūs joprojām saskaraties ar to, strādājot ar starptautiskiem vai veciem datiem.
Piezīme. Vai laikspiedola apzīmējums ir "diapazona sākums" vai "diapazona beigas"? Vai ieraksts ar apzīmējumu 14:00 norāda 14:00-14:15 vai 13:45-14:00? Šis vienīgais lēmums varētu nobīdīt maksimālo pulksteni par vienu šķēli. Katras datu kopas sākumā skaidri norādiet šo noteikumu.
Soli pa solim: datu sagatavošanas darbplūsma ar mākslīgo intelektu
1. solis — atklāšana. Zināt datus: cik rindu, kāds diapazons, kāda izšķirtspēja, kāda vienība? Piešķirot AI pirmos dažus simtus rindu un apkopojot struktūru, ātri tiek atklātas kolonnu nozīmes un iespējamās vienības. Bet AI vienības novērtējums ir hipotēze; To apstiprina avota dokuments.
2. darbība — laika skalas standartizēšana. Piesakieties vienai laika joslai, labojiet izšķirtspēju, norādiet taga kārtulu (sākums/beigas). AI var ģenerēt kodu, kas nosaka neregulārus intervālus un trūkstošos laikspiedolus.
3. darbība — nepilnīgi un dublēti ieraksti. Sakaru pārtraukumi atkal rada tukšumu un dubulto ierakstu. AI izstrādā noteikumu kopumu, kas atzīmē nepilnības un dublēšanos; īsas nepilnības (piemēram, vienas 15 minūtes) var aizpildīt ar piemērotu metodi, garās nepilnības tiek izslēgtas no analīzes un ziņotas.
4. darbība — izņēmumi. Negatīvs patēriņš (nav ražošanas), jauda pārsniedz fizisko augšējo robežu, pēkšņi lēcieni. AI piedāvā statistisku un uz noteikumiem balstītu noviržu noteikšanu; Taču novirze ne vienmēr ir kļūda — tas var būt arī reāls notikums (piemēram, rūpnīcas darbība tiešsaistē). Inženieris izdara šo atšķirību.
5. darbība — pārbaude. Notīrītie dati tiek pārbaudīti ar fiziskiem enkuriem: saullēktam/saulrietam ir jāatiestata saules enerģijas ražošana, nakts slodzei jābūt mazākai nekā dienas laikā, kopējai enerģijai jāatbilst rēķinam.
Trīs mini futrāļi: pēc skaitļiem
1. gadījums — vienas stundas slīdējums. Viena analītiķa dati par saules enerģijas ražošanu uzrādīja pusdienlaika maksimumu pulksten 14:00, nevis 13:00. Problēma nebija ar paneli; Dati bija UTC, taču tika uzskatīts, ka tie ir pēc vietējā laika. Kad tika pamanīta trīs stundu maiņa (ražojuma parādīšanās pirms saullēkta atdeva enkuru), visa analīze uzlabojās; Investīciju lēmumi tika novērsti, pamatojoties uz nepareizu interpretāciju.
2. gadījums — ierakstu dublikāti. Viena izplatīšanas padevēja 30 dienu stundu datos kopējais patēriņš bija par aptuveni 4 procentiem lielāks nekā gaidīts. Atkārtojuma noteikšana ar mākslīgā intelekta palīdzību liecināja, ka dažas stundas tika reģistrētas divreiz saziņas atkārtotajos savienojumos. Pēc 68 atkārtotu ierakstu notīrīšanas kopsumma atbilst rēķinam.
3. gadījums — viltus nulles. Viens skaitītājs ziņoja par patēriņu kā "0" sakaru pārtraukuma laikā; Tomēr patēriņš turpinājās. Šīs viltus nulles pazemināja vidējo un maldināja pieprasījuma prognozi. AI ierosināja noteikumu "Pārbaudīt 0 vērtības kopā ar klātbūtnes karogu"; viltus nulles tika atzīmētas kā trūkstoši dati un atdalītas no patiesajām nullēm (piemēram, slēgta darba vieta).
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Notīrīt šos skaitītāja datus.[dati]
Spēcīga uzvedne:
Jūsu loma: enerģētikas datu analītiķis. Sekojošie skaitītāja dati ir par 15 minūšu intervāliem pēc vietējā laika (UTC+3), laika zīmogs norāda intervāla SĀKUMU, vienība kWh.Uzdevumi:1) Uzskaitiet trūkstošos laika zīmogus un ierakstu dublikātus (skaits un laiks).2) Atzīmējiet atsevišķi negatīvu vērtību un vērtības, kas pārsniedz fizisko augšējo robežu (līguma jauda 25 kW); nedzēsiet, vienkārši atzīmējiet.3) Piedāvājiet pārbaudi, lai atšķirtu viltus nulles no īstām nullēm, par kurām ir aizdomas, ka tās ir nepareizas. Neaizpildiet nekādas vērtības pats; Vispirms nosakiet to, un es apstiprināšu pildījumu.
Jaudīga uzvedne sniedz izšķirtspēju, laika joslu, tagu noteikumu un augšējo robežu jau no paša sākuma; Tas uzliek mākslīgā intelekta disciplīnu “vispirms atklāt, vēlāk jautāt”. Tādā veidā dati netiks klusi bojāti.
Četras kopējamas veidnes
1) Datu profilēšana:
Izveidojiet šādu datu profilu: rindu skaits, datumu diapazons, izšķirtspēja, aptuvenā vienība un katras kolonnas nozīme, trūkstošais rādītājs, min/maks/vidējais. Atzīmējiet vienību aprēķinus ar atzīmi "nepieciešams pārbaudīt".
2) Laika ass vadība:
Šajā laika rindā nosakiet: (a) nepilnības ārpus paredzētā diapazona, (b) atkārtojošos laikspiedolus, (c) iespējamās nobīdes vasaras/laika joslas dēļ. Uzskaitiet katru atradumu ar tā laika diapazonu. Uzrakstiet atsevišķi savu labojuma ieteikumu; PIETEIKUMS.
3) Izņēmuma noteikums:
Atzīmējiet novirzes, izmantojot šīs fiziskās robežas: jauda 0–[X] kW, temperatūra [A]–[B] °C. Izveidojiet arī atsevišķu statistisko izņēmumu sarakstu (piemēram, pārāk tālu novirzoties no mediānas). Katrai novirzei uzdodiet jautājumu "iespējama kļūda vai faktisks notikums"; Ļaujiet man izlemt.
4) Pārbaude pēc tīrīšanas:
Pārbaudiet notīrītos datus ar šādiem fiziskajiem enkuriem un ziņojiet par neatbilstībām: saules enerģijas ražošanai naktī jābūt nullei; kopējai enerģijai jābūt paredzamajā rēķina līmenī; Nakts slodzei jābūt mazākai par dienas maksimumu. Katram enkuram ierakstiet apstiprinājumu/neiegūšanu.
Datu kvalitātes problēmu tabula
problēma
simptoms
verifikācijas enkurs
Laika joslu maiņa
Augšējais pulkstenis atrodas neloģiskā vietā
Saskaņojiet ar saullēktu/saulrietu
Vasaras laiks (DST)
23/25 stundu dienas
Skaitīt dienas garumu
viltus nulle
0 sakaru pārtraukuma gadījumā
Saskaņot ar komunikācijas karogu
pārreģistrēties
Virs kopējā rēķina
Pārbaudiet laikspiedola unikalitāti
Vienības apjukums
Rangs 60/1000 reizes perverss
Pārbaudiet kW↔kWh konversiju
negatīva vērtība
Negatīvs patēriņš, ja nav ražošanas
Fizisko zīmju noteikums
Biežas kļūdas
- Klusi aizpildot trūkstošos datus ar nulli. Nulle nozīmē "nav patēriņa", nevis "nav datu"; sajaucot abus, tiek izkropļots vidējais un prognoze.
- Automātiski dzēst novirzes. Ārējais rādītājs var būt reāls notikums; Pirms dzēšanas nepieciešama inženiera pārbaude.
- Pieņemot laika joslu. Teikt "iespējams, tas ir vietējais" ir viena no dārgākajām kļūdām; Vienmēr pārbaudiet no avota.
- Šķīdības savākšana, sajaucot. Jaudas (kW) vērtību pievienošana enerģijai (kWh) iegūst nepareizu kopsummu.
- Nepārbauda tīrību. Notīrītie dati var būt arī bojāti; Noteikti pārbaudiet to ar fiziskiem enkuriem.
Padoms. Pierakstiet katru datu tīrīšanas soli “datu žurnālā”: cik ierakstu tika atzīmēti, cik tika aizpildīti, kurš noteikums tika izmantots. Šis žurnāls nodrošina gan reproducējamību, gan auditējamību; gadu vēlāk "no kurienes radās šis skaitlis?" atbild uz jautājumu.
Rezumējot
Enerģijas analīzes pamatā ir tīra laika rinda. Dati nāk no SCADA, skaitītāja, meteoroloģijas un tirgus; katram ir izšķirtspēja, mērvienība, laika josla un vasaras laika slazdi. AI ļoti spēcīgi paātrina trūkstošo/dublikātu/ārpuses noteikšanu, taču lēmumi par dzēšanu un aizpildīšanu jāpaliek inženierim, un rezultāts ir jāapstiprina ar fiziskiem enkuriem. Neviena analīze nav uzticama bez pareizas laika zīmoga izpratnes.
Lietojumprogrammas uzdevums
Paņemiet rokā enerģijas laikrindu (skaitītāju, ražošanu vai temperatūru). Pieprasiet kvalitātes ziņojumu no AI, izmantojot veidnes “Laika skalas audits” un “Datu profilēšana”. Pēc tam manuāli pārbaudiet trīs lietas: vai mērvienība un izšķirtspēja ir pareiza, vai maksimālais pulkstenis ir fiziski saprātīgs, vai kopējā enerģija atbilst rēķinam? Īsi aprakstiet atrasto datu kvalitātes problēmu un to, kā to labojāt.
kontrolsaraksts
- [ ] Esmu apstiprinājis datu avotu, izšķirtspēju un vienību
- [ ] Es precizēju laika joslas un laikspiedola etiķetes noteikumu (sākums/beigas)
- [ ] Es pārbaudīju 23/25 stundu dienu risku vasaras laika dēļ
- [ ] Es atklāju trūkstošos un dublētos ierakstus un ziņoju par tiem
- [ ] Es pārbaudīju novirzes ar atšķirību "kļūda vai notikums"
- [ ] Es atšķiru viltus nulles no īstām nullēm
- [ ] Es pārbaudīju notīrītos datus ar fiziskiem enkuriem un saglabāju datu žurnālu