Печалби:
- Способност за разпознаване на структурата, единиците и типичните проблеми с качеството на SCADA, интелигентни измервателни уреди и пазарни данни
- Възможност за откриване на липсващи данни, извънредни стойности и проблеми с клеймото на времето с изкуствен интелект и установяване на работен процес за почистване
- Възможност за проверка на капани като резолюция, часова зона и лятно часово време в енергийни времеви серии в AI изход
Почти всички енергийни анализи започват с времеви серии: измервания, подредени по времевата ос. 15-минутното потребление на измервателен уред, втората скорост на въртене на турбина, часовият ток на фидер (разпределителна линия) - всичко това са времеви редове. В тази част ще научим откъде идват енергийните данни, какви клопки съдържат и как да използваме изкуствения интелект, за да направим тези данни надеждни. Нека установим този принцип от самото начало: дори и най-умният анализ с мръсни данни дава мръсен резултат. В енергетиката по-голямата част от времето се отделя не на модела, а на това да направим данните надеждни и изкуственият интелект осигурява най-сигурния принос в тази част.
Източници и структура на енергийни данни
Данните за енергия идват основно от няколко източника. SCADA (система за контрол и събиране на данни) събира моментни измервания от разпределително табло и мрежово оборудване; Обикновено е разделителна способност за секунди или минути и включва величини като напрежение, ток, мощност и температура. Данните от интелигентния измервателен уред обикновено измерват потреблението на 15-минутни интервали и са основата за фактуриране и анализ на търсенето. Метеорологичните данни (температура, радиация, скорост на вятъра) са входящи данни за прогнозиране на производството и търсенето. Пазарните данни (почасови цени) са входящи данни за икономическия анализ.
Общата характеристика на тези данни е, че те съдържат клеймо за време (таг за дата-час, към който принадлежи всяко измерване) и една или повече стойности на измерване. Това е най-критичният момент: ако клеймото за време не бъде разбрано правилно, всичко останало се срива.
Разделителна способност, часова зона и капани за лятно часово време
Изненадващо голяма част от грешките в енергийните данни идват от времевата ос. Нека подчертаем по-специално три капана.
Объркване на резолюцията. Един измервателен уред отчита ли енергия за 15 минути (kWh) или моментна мощност (kW)? Добавянето им дава различни резултати: средната стойност на четирите kW за 15 минути е мощността, докато сумата от четирите не съответства на почасовата енергия (изисква се сумата от енергиите за четвърт час). Никакво сумиране не може да бъде направено без разбиране на единицата и резолюцията заедно.
Часова зона. Данните съхраняват ли се в местно време (TRT/UTC+3 за Türkiye) или универсално време (UTC)? Две серии, идващи от различни системи, може да са в различни часови зони; Тричасовата смяна при комбиниране нарушава целия анализ на пиковия час.
Лятно часово време (DST). В страните, които преминават към лятно часово време, един час "изчезва" веднъж годишно и се "повтаря" веднъж годишно. Това създава 23 или 25 часови дни в тези дни и прекъсва почасовите профили. Тъй като Türkiye прилага постоянно лятно часово време (UTC+3) от 2016 г., този проблем не се появява на местни данни, но все още го срещате, когато работите с международни или стари данни.
Забележка: Етикетът за клеймото за време "начало на диапазон" или "край на диапазон" ли е? Запис с етикет 14:00 показва ли 14:00-14:15 или 13:45-14:00? Това единствено решение може да измести пиковия часовник с една част. Изяснете това правило в началото за всеки набор от данни.
Стъпка по стъпка: Работен процес за подготовка на данни с изкуствен интелект
Стъпка 1 — Откриване. Познайте данните: колко реда, какъв диапазон, каква разделителна способност, каква единица? Предоставянето на AI на първите няколкостотин реда и обобщаването на структурата бързо разкрива значенията на колоните и възможните единици. Но оценката на единицата на AI е хипотеза; Потвърждава се от изходния документ.
Стъпка 2 — Стандартизирайте времевата линия. Прилепване към една часова зона, коригиране на разделителната способност, указване на правило за маркер (начало/край). AI може да генерира код, който открива нередовни интервали и липсващи времеви отпечатъци.
Стъпка 3 — Непълни и дублирани записи. Сривовете в комуникацията създават празнота и отново двоен запис. AI създава набор от правила, които отбелязват пропуски и дублиране; кратките пропуски (напр. единични 15 минути) могат да бъдат запълнени чрез подходящ метод, дългите пропуски се изключват от анализа и се докладват.
Стъпка 4 — Извънредни стойности. Отрицателна консумация (без производство), мощност надвишаваща физическата горна граница, резки скокове. AI предлага статистическо и базирано на правила откриване на отклонения; Но отклонението не винаги е грешка - то може да бъде и реално събитие (например фабрика, работеща онлайн). Инженерът прави това разграничение.
Стъпка 5 — Проверка. Почистените данни се тестват с физически котви: изгревът/залезът трябва да нулира слънчевото генериране, нощното натоварване трябва да е по-ниско от дневното, общата енергия трябва да съответства на сметката.
Три мини калъфа: с числата
Случай 1 — Един час пропуск. Данните за производството на слънчева енергия на един анализатор показват обедния пик в 14:00 вместо в 13:00. Проблемът не беше в панела; Данните бяха UTC, но се смяташе, че са местно време. Когато се забеляза тричасовата смяна (появата на производство преди изгрев слънце издаде котвата), целият анализ се подобри; Инвестиционните решения бяха предотвратени въз основа на погрешно тълкуване.
Случай 2 — Дублирани записи. В 30-дневните почасови данни на един разпределителен фидер общото потребление е приблизително 4% по-високо от очакваното. Откриването на повторно възпроизвеждане с помощта на AI показа, че някои часове са записани два пъти при повторно свързване на комуникация. След изчистване на 68 повтарящи се записа общата сума съответства на сметката.
Случай 3 — Фалшиви нули. Един измервателен уред отчита потребление като "0" по време на загуба на комуникация; Потреблението обаче продължи. Тези фалшиви нули понижиха средната стойност и подведоха прогнозата за търсенето. AI предложи правилото „Проверете 0 стойности заедно с флага за присъствие“; фалшивите нули бяха маркирани като липсващи данни и отделени от истинските нули (напр. затворено работно място).
Слаба подкана / Силна подкана
Слаба подкана:
Изчистете тези данни от брояча [данни]
Мощна подкана:
Вашата роля: Анализатор на енергийни данни. Следните данни на измервателния уред са за 15-минутни интервали, местно време (UTC+3), клеймото показва НАЧАЛОТО на интервала, единица kWh. Задачи: 1) Избройте липсващите времеви клейма и дублиращи се записи (номер и час). 2) Маркирайте отделно отрицателна стойност и стойности, надвишаващи физическата горна граница (договорна мощност 25 kW); не изтривайте, просто маркирайте.3) Предложете проверка, за да разграничите фалшивите нули от истинските нули, за които се подозира, че са неразбираеми. Не попълвайте никакви стойности сами; Първо го идентифицирайте и аз ще потвърдя попълването.
Мощната подкана дава резолюция, часова зона, правило за тагове и горна граница от самото начало; Той налага на ИИ дисциплина „първо открий, попитай по-късно“. По този начин данните няма да бъдат тихо повредени.
Четири копируеми шаблона
1) Профилиране на данни:
Създайте профил от следните данни: брой редове, период от време, разделителна способност, приблизителна единица и значение на всяка колона, липсващ процент, мин./макс./средно. Маркирайте оценките на единиците с етикета „трябва да се провери“.
2) Контрол на времевата ос:
В този времеви ред открийте: (a) пропуски извън очаквания диапазон, (b) повтарящи се времеви клейма, (c) възможни смени поради лятно часово време/часова зона. Избройте всяка находка с нейния времеви диапазон. Напишете вашето предложение за корекция отделно; ПРИЛОЖЕНИЕ.
3) Правило за отклонение:
Маркирайте отклоненията, като използвате тези физически граници: мощност 0-[X] kW, температура [A]-[B] °C. Също така направете отделен списък със статистически отклонения (напр. отклонение твърде далеч от медианата). За всяко отклонение повдигнете въпроса „възможна грешка или действително събитие“; Нека аз реша.
4) Проверка след почистване:
Тествайте почистените данни със следните физически котви и докладвайте несъответствия: слънчевото производство трябва да е нула през нощта; общата енергия трябва да бъде в рамките на очакваното ниво на сметката; Нощното натоварване трябва да е по-ниско от пиковото през деня. Напишете успешно/неуспешно за всяка котва.
Таблица с проблеми с качеството на данните
проблем
симптом
котва за проверка
Изместване на часовата зона
Горният часовник е на нелогично място
Подравнете с изгрев/залез
Лятно време (DST)
23/25 часови дни
Пребройте продължителността на деня
фалшива нула
0 в случай на загуба на комуникация
Съвпадение с комуникационен флаг
пререгистрирайте се
Над общата сметка
Проверете уникалността на клеймото за време
Объркване на единиците
Ранг 60/1000 пъти перверзен
Проверете преобразуването на kW↔kWh
отрицателна стойност
Отрицателно потребление, когато няма производство
Правило за физически знаци
Често срещани грешки
- Безшумно попълване на липсващите данни с нула. Нула означава „няма консумация“, а не „няма данни“; смесването на двете изкривява средната стойност и прогнозата.
- Автоматично изтриване на отклонение. Отклонението може да е реално събитие; Изисква се преглед от инженер преди изтриване.
- Приемайки часовата зона. Казването „вероятно е местно“ е една от най-скъпите грешки; Винаги проверявайте от източника.
- Събиране на разтворимостта чрез смесване. Добавянето на стойности на мощността (kW) като енергия (kWh) дава неправилна обща сума.
- Без проверка на чистотата. Почистените данни също могат да бъдат повредени; Не забравяйте да го тествате с физически котви.
Съвет: Запишете всяка стъпка от почистването на данни в „дневник на данни“: колко записа са маркирани, колко са попълнени, кое правило е използвано. Този дневник гарантира както възпроизводимост, така и възможност за проверка; година по-късно "откъде идва този номер?" отговаря на въпроса.
В обобщение
Основата на енергийния анализ е чист времеви ред. Данните идват от SCADA, измервателен уред, метеорология и пазар; всеки има разделителна способност, единица, часова зона и капани за лятно часово време. AI е много мощен за ускоряване на откриването на липсващи/дубликати/извънредни стойности, но решенията за изтриване и попълване трябва да останат на инженера и резултатът трябва да бъде валидиран с физически котви. Нито един анализ не е надежден без правилното разбиране на клеймото за време.
Задача за приложение
Вземете енергиен времеви ред (метър, производство или температура) в ръката си. Поискайте отчет за качеството от AI, като използвате шаблоните „Timeline audit“ и „Data profileing“. След това ръчно проверете три неща: единицата и разделителната способност правилни ли са, физически разумен ли е пиковият часовник, общата енергия съответства ли на сметката? Опишете накратко проблем с качеството на данните, който сте открили и как сте го коригирали.
контролен списък
- [ ] Потвърдих източника, разделителната способност и единицата на данните
- [ ] Изясних правилото за етикета на часовата зона и клеймото (начало/край)
- [ ] Проверих риска от 23/25 часови дни поради лятното часово време
- [ ] Открих липсващи и дублирани записи и ги докладвах
- [ ] Разгледах извънредните стойности с отличието „грешка или събитие“
- [ ] Различих фалшивите нули от истинските нули
- [ ] Проверих изчистените данни с физически котви и поддържах регистър на данните