Прибуток:
- Здатність розпізнавати структуру, блоки та типові проблеми якості SCADA, розумних лічильників і ринкових даних
- Можливість виявлення відсутніх даних, викидів і проблем із часовими мітками за допомогою штучного інтелекту та встановлення робочого процесу очищення
- Можливість перевіряти такі пастки, як роздільна здатність, часовий пояс і літній час у часових рядах енергії у виводі ШІ
Майже весь енергетичний аналіз починається з часового ряду: вимірювань, розташованих уздовж осі часу. 15-хвилинне споживання лічильника, секундна швидкість обертання турбіни, погодинний струм фідера (розподільної лінії) — все це часові ряди. У цьому розділі ми дізнаємося, звідки беруться дані про енергію, які підводні камені вони містять і як за допомогою штучного інтелекту зробити ці дані надійними. Давайте встановимо цей принцип із самого початку: навіть найрозумніший аналіз із брудними даними дає брудний результат. В енергетиці більша частина часу йде не на модель, а на те, щоб зробити дані надійними, і штучний інтелект дає найбезпечніший внесок у цю частину.
Джерела та структура енергетичних даних
Енергетичні дані надходять переважно з кількох джерел. SCADA (система диспетчерського контролю та збору даних) збирає миттєві вимірювання від розподільного та мережевого обладнання; Зазвичай він має роздільну здатність у секундах або хвилинах і включає такі величини, як напруга, струм, потужність і температура. Дані інтелектуального лічильника зазвичай вимірюють споживання з 15-хвилинними інтервалами та є основою для виставлення рахунків та аналізу попиту. Метеорологічні дані (температура, освітленість, швидкість вітру) є вхідними даними для прогнозування виробництва та попиту. Ринкові дані (ціни за годину) є вхідними даними економічного аналізу.
Загальною рисою цих даних є те, що вони містять мітку часу (тег дата-час, до якого належить кожне вимірювання) і одне або кілька значень вимірювання. Це найбільш критичний момент: якщо мітка часу не зрозуміла правильно, все інше руйнується.
Роздільна здатність, часовий пояс і перехід на літній час
Напрочуд велика частина помилок в енергетичних даних походить від часової осі. Окремо виділимо три пастки.
Плутанина роздільної здатності. Чи повідомляє лічильник енергію за 15 хвилин (кВт-год) чи миттєву потужність (кВт)? Їх додавання дає різні результати: середнє значення чотирьох кВт за 15 хвилин є потужністю, тоді як сума чотирьох не відповідає годинній енергії (потрібна сума енергій за чверть години). Жодне підсумовування неможливо зробити без розуміння одиниці вимірювання та роздільної здатності разом.
Часовий пояс. Чи зберігаються дані за місцевим часом (TRT/UTC+3 для Туреччини) чи універсальним часом (UTC)? Дві серії, що надходять з різних систем, можуть перебувати в різних часових поясах; Тригодинна зміна при суміщенні зриває весь аналіз години пік.
Літній час (DST). У країнах, які переходять на літній час, раз на рік година «зникає» і раз на рік «повторюється». Це створює 23- або 25-годинний день у ці дні та порушує погодинні профілі. Оскільки Туреччина запровадила постійний літній час (UTC+3) з 2016 року, ця проблема не з’являється в локальних даних, але ви все одно стикаєтеся з нею під час роботи з міжнародними або старими даними.
Примітка: мітка для мітки часу "початок діапазону" чи "кінець діапазону"? Запис із позначкою 14:00 означає 14:00-14:15 чи 13:45-14:00? Це єдине рішення може зрушити піковий годинник на один зріз. Поясніть це правило на початку для кожного набору даних.
Крок за кроком: робочий процес підготовки даних за допомогою штучного інтелекту
Крок 1 — Відкриття. Знати дані: скільки рядків, який діапазон, яка роздільна здатність, яка одиниця? Надавши ШІ перші кілька сотень рядків і підсумувавши структуру, можна швидко виявити значення стовпців і можливі одиниці. Але одинична оцінка ШІ є гіпотезою; Це підтверджується вихідним документом.
Крок 2 — Стандартизуйте часову шкалу. Прив’язка до одного часового поясу, виправлення роздільної здатності, визначення правила тегів (початок/кінець). ШІ може генерувати код, який виявляє нерегулярні інтервали та відсутні мітки часу.
Крок 3 — Неповні та повторювані записи. Зриви зв'язку породжують порожнечу і знову подвійний запис. AI створює набір правил, які позначають прогалини та дублювання; короткі проміжки (наприклад, одні 15 хвилин) можуть бути заповнені відповідним методом, довгі проміжки виключаються з аналізу та повідомляються.
Крок 4 — Викиди. Від’ємне споживання (немає виробництва), потужність, що перевищує фізичну верхню межу, раптові стрибки. AI пропонує статистичне виявлення викидів на основі правил; Але викид не завжди є помилкою — це також може бути реальна подія (наприклад, фабрика вмикається). Інженер робить це розрізнення.
Крок 5 — Перевірка. Очищені дані перевіряються за допомогою фізичних прив’язок: схід/захід сонця має скинути сонячну генерацію, нічне навантаження має бути нижчим, ніж денне, загальна енергія має відповідати рахунку.
Три міні-кейси: у цифрах
Випадок 1 — пропуск однієї години. Дані одного аналітика про виробництво сонячної енергії показали опівдні пік о 14:00 замість 13:00. Проблема була не в панелі; Дані були UTC, але вважалося, що це місцевий час. Коли було помічено тригодинну зміну (поява продукції до сходу сонця видало якір), весь аналіз покращився; Інвестиційні рішення були унеможливлені на основі неправильного тлумачення.
Випадок 2 — Подвійні записи. За 30-денними погодинними даними одного джерела розподілу загальне споживання було приблизно на 4 відсотки вищим, ніж очікувалося. Виявлення відтворення за допомогою штучного інтелекту показало, що деякі години були записані двічі під час повторного підключення зв’язку. Після очищення 68 повторних записів загальна сума збігалася з рахунком.
Випадок 3 — Хибні нулі. Один лічильник повідомляв про споживання як «0» під час втрати зв’язку; Проте споживання тривало. Ці помилкові нулі знизили середнє значення та ввели в оману прогноз попиту. AI запропонував правило «Перевірити 0 значень разом із прапором присутності»; помилкові нулі були позначені як відсутні дані та відокремлені від справжніх нулів (наприклад, закрите робоче місце).
Слабка підказка / Сильна підказка
Слабка підказка:
Очистити дані лічильника.[data]
Потужна підказка:
Ваша роль: аналітик енергетичних даних. Наступні дані лічильника наведено для 15-хвилинних інтервалів, місцевий час (UTC+3), позначка часу вказує на ПОЧАТОК інтервалу, одиниці кВт-год. Завдання: 1) Перелік відсутніх позначок часу та повторюваних записів (число та час). 2) Позначте окремо від’ємне значення та значення, що перевищують фізичну верхню межу (контрактна потужність 25 кВт); не видаляйте, просто позначайте.3) Запропонуйте перевірку, щоб відрізнити помилкові нулі від справжніх, які підозрюються в неправильному спілкуванні. Не заповнюйте жодних значень самостійно; Спочатку визначте його, і я підтверджу заповнення.
Потужна підказка надає дозвіл, часовий пояс, правило тегів і верхню межу з самого початку; Він накладає на ШІ дисципліну «спочатку вияви, потім запитай». Таким чином дані не будуть тихо пошкоджені.
Чотири шаблони, які можна копіювати
1) Профілювання даних:
Створіть профіль із такими даними: кількість рядків, діапазон дат, роздільна здатність, оціночна одиниця та значення кожного стовпця, відсоток пропусків, мінімальне/максимальне/середнє значення. Позначте оцінки одиниць тегом «потребує перевірки».
2) Керування віссю часу:
У цьому часовому ряді виявляйте: (a) прогалини поза очікуваним діапазоном, (b) повторювані часові мітки, (c) можливі зрушення через літній час/часовий пояс. Перелічіть кожну знахідку з її часовим діапазоном. Напишіть свою пропозицію виправлення окремо; ЗАСТОСУВАННЯ.
3) Правило викиду:
Позначте викиди, використовуючи ці фізичні обмеження: потужність 0-[X] кВт, температура [A]-[B] °C. Також створіть окремий список статистичних викидів (наприклад, занадто великі відхилення від медіани). Для кожного викиду поставте запитання «можлива помилка чи фактична подія»; Дозволь мені вирішити.
4) Перевірка після очищення:
Перевірте очищені дані за допомогою таких фізичних прив’язок і повідомте про невідповідності: сонячне виробництво має бути нульовим уночі; загальна енергія повинна бути в межах очікуваного рівня рахунку; Нічне навантаження має бути нижче денного піку. Напишіть «пройшов/не пройшов» для кожного прив’язки.
Таблиця проблем із якістю даних
проблема
симптом
перевірочний якір
Зсув часового поясу
Верхній годинник знаходиться в нелогічному місці
Вирівняти зі сходом/заходом сонця
Літній час (DST)
23/25 годинний день
Порахувати тривалість дня
фальшивий нуль
0 у разі втрати зв'язку
Збіг з прапором зв'язку
перереєструвати
Понад загальний рахунок
Перевірте унікальність позначки часу
Плутанина одиниць
Ранг 60/1000 разів спотворено
Перевірте перетворення кВт↔кВт·год
від'ємне значення
Від’ємне споживання, коли немає виробництва
Правило фізичного знака
Поширені помилки
- Тихо заповнюючи відсутні дані нулем. Нуль означає «немає споживання», а не «немає даних»; змішування цих двох спотворює середнє значення та прогноз.
- Автоматично видалити викид. Викид може бути реальною подією; Перед видаленням потрібна перевірка інженера.
- Припускаючи часовий пояс. Сказати «це, мабуть, місцеве» — одна з найдорожчих помилок; Завжди перевіряйте з джерела.
- Збирання розчинності шляхом змішування. Додавання значень потужності (кВт) як енергії (кВт·год) дає неправильну загальну суму.
- Чистота не перевіряється. Очищені дані також можуть бути пошкоджені; Обов’язково перевірте це за допомогою фізичних прив’язок.
Порада: записуйте кожен крок очищення даних у «журнал даних»: скільки записів було позначено, скільки заповнено, яке правило застосовувалося. Цей журнал забезпечує як відтворюваність, так і можливість перевірки; через рік "звідки ця цифра?" відповідає на запитання.
Підсумовуючи
Основою енергетичного аналізу є чистий часовий ряд. Дані надходять із SCADA, лічильників, метеорології та ринку; кожен має роздільну здатність, одиницю вимірювання, часовий пояс і перехід на літній час. Штучний інтелект є дуже потужним у прискоренні виявлення відсутніх/дублікатів/викидів, але рішення про видалення та заповнення повинні залишатися за інженером, а результат має бути перевірений за допомогою фізичних прив’язок. Жоден аналіз не є надійним без належного розуміння позначки часу.
Аплікаційне завдання
Візьміть в руки часовий ряд енергії (лічильника, виробництва або температури). Запитуйте звіт про якість від AI за допомогою шаблонів «Аудит часової шкали» та «Профілювання даних». Потім вручну перевірте три речі: чи правильні одиниці вимірювання та роздільна здатність, чи фізично обґрунтований піковий годинник, чи відповідає загальна енергія рахунку? Коротко опишіть проблему з якістю даних, яку ви виявили, і як ви її усунули.
контрольний список
- [ ] Я підтвердив джерело, роздільну здатність і одиницю даних
- [ ] Я уточнив часовий пояс і правила позначки часу (початок/кінець)
- [ ] Я перевірив ризик 23/25 годинних днів через літній час
- [ ] Я виявив відсутні та повторювані записи та повідомив про них
- [ ] Я вивчив викиди з відзнакою "помилка чи подія"
- [ ] Я відрізнив помилкові нулі від справжніх
- [ ] Я перевірив очищені дані за допомогою фізичних прив’язок і вів журнал даних