Прибыль:
- Способность распознавать структуру, единицы измерения и типичные проблемы качества SCADA, интеллектуальных счетчиков и рыночных данных.
- Способность обнаруживать недостающие данные, выбросы и проблемы с временными метками с помощью искусственного интеллекта и налаживать рабочий процесс очистки.
- Возможность проверки ловушек, таких как разрешение, часовой пояс и летнее время, во временных рядах энергопотребления в выходных данных AI.
Почти весь энергетический анализ начинается с временных рядов: измерений, расположенных вдоль оси времени. 15-минутное потребление счетчика, вторая скорость вращения турбины, часовой ток фидера (распределительной линии) — все это временные ряды. В этом модуле мы узнаем, откуда берутся данные об энергетике, какие подводные камни они содержат и как использовать искусственный интеллект, чтобы сделать эти данные надежными. Давайте установим этот принцип с самого начала: даже самый умный анализ с грязными данными дает грязный результат. В энергетике большая часть времени тратится не на моделирование, а на обеспечение достоверности данных, и искусственный интеллект обеспечивает наиболее безопасный вклад в эту часть.
Источники и структура энергетических данных
Данные об энергии поступают в основном из нескольких источников. SCADA (система диспетчерского управления и сбора данных) собирает мгновенные измерения с распределительного и сетевого оборудования; Обычно оно имеет разрешение в секундах или минутах и включает такие величины, как напряжение, ток, мощность и температура. Данные интеллектуальных счетчиков обычно измеряют потребление с 15-минутными интервалами и являются основой для выставления счетов и анализа спроса. Метеорологические данные (температура, интенсивность излучения, скорость ветра) используются для прогнозирования производства и спроса. Рыночные данные (почасовые цены) являются исходными данными для экономического анализа.
Общей чертой этих данных является то, что они содержат метку времени (тег даты и времени, которому принадлежит каждое измерение) и одно или несколько значений измерения. Это самый критический момент: если временная метка понята неправильно, все остальное рушится.
Разрешение, часовой пояс и ловушки летнего времени
Удивительно большая часть ошибок в данных об энергии связана с временной осью. Особо выделим три ловушки.
Путаница в разрешении. Счетчик показывает энергию за 15 минут (кВтч) или мгновенную мощность (кВт)? Их сложение дает разные результаты: среднее из четырех значений кВт за 15 минут является мощностью, тогда как сумма четырех не соответствует часовой энергии (нужна сумма четвертьчасовых энергий). Никакое суммирование не может быть произведено без понимания единицы измерения и разрешения вместе.
Часовой пояс. Хранятся ли данные по местному времени (TRT/UTC+3 для Турции) или по всемирному времени (UTC)? Две серии из разных систем могут находиться в разных часовых поясах; Трехчасовая смена при совмещении нарушает весь анализ часов пик.
Летнее время (DST). В странах, переходящих на летнее время, час «исчезает» один раз в году и «повторяется» один раз в году. Это создает 23- или 25-часовые дни в эти дни и нарушает почасовые профили. Поскольку в Турции с 2016 года введено постоянное летнее время (UTC+3), эта проблема не возникает в отношении местных данных, но вы все равно сталкиваетесь с ней при работе с международными или старыми данными.
Примечание. Является ли метка временной метки «началом диапазона» или «концом диапазона»? Запись с пометкой 14:00 указывает на 14:00-14:15 или 13:45-14:00? Это единственное решение может сдвинуть пиковую частоту на один срез. Разъясните это правило вначале для каждого набора данных.
Шаг за шагом: рабочий процесс подготовки данных с помощью искусственного интеллекта
Шаг 1 — Открытие. Знайте данные: сколько строк, какой диапазон, какое разрешение, какая единица измерения? Предоставление ИИ первых нескольких сотен строк и обобщение структуры быстро выявляет значения столбцов и возможные единицы измерения. Но оценка единицы измерения ИИ — это гипотеза; Это подтверждается первоисточником.
Шаг 2 — Стандартизируйте график. Привязать к одному часовому поясу, исправить разрешение, указать правило тегов (начало/окончание). ИИ может генерировать код, который обнаруживает нерегулярные интервалы и отсутствие меток времени.
Шаг 3 — Неполные и повторяющиеся записи. Сбои в общении создают пустоту и снова двойную запись. ИИ создает набор правил, которые отмечают пробелы и дублирования; короткие пробелы (например, отдельные 15 минут) могут быть заполнены подходящим методом, длинные пробелы исключаются из анализа и сообщаются.
Шаг 4 — Выбросы. Отрицательное потребление (отсутствие производства), мощность, превышающая физический верхний предел, резкие скачки. ИИ предлагает статистическое и основанное на правилах обнаружение выбросов; Но выброс не всегда является ошибкой — он также может быть реальным событием (например, запуск завода в эксплуатацию). Инженер делает это различие.
Шаг 5 — Проверка. Очищенные данные проверяются с помощью физических привязок: восход/закат должны сбрасывать выработку солнечной энергии, ночная нагрузка должна быть ниже дневной, общий объем энергии должен соответствовать счету.
Три мини-кейса: в цифрах
Случай 1 — Промах на один час. Данные одного аналитика по производству солнечной энергии показали, что полуденный пик приходится на 14:00 вместо 13:00. Проблема была не в панели; Данные были указаны в формате UTC, но предполагалось, что это местное время. Когда был замечен трехчасовой сдвиг (появление добычи до восхода солнца отбросило якорь), весь анализ улучшился; Инвестиционные решения были предотвращены из-за неправильного толкования.
Случай 2 — Дублирующиеся записи. Согласно почасовым данным одного распределительного устройства за 30 дней, общее потребление было примерно на 4 процента выше, чем ожидалось. Обнаружение повторов с помощью искусственного интеллекта показало, что некоторые часы были записаны дважды при переподключении связи. После очистки 68 повторных записей общая сумма совпала с счетом.
Случай 3 — Ложные нули. Один счетчик показывал потребление как «0» во время потери связи; Однако потребление продолжалось. Эти ложные нули снизили средний показатель и ввели в заблуждение прогноз спроса. AI предложил правило «Проверять 0 значений вместе с флагом присутствия»; ложные нули помечались как недостающие данные и отделялись от истинных нулей (например, закрытое рабочее место).
Слабая подсказка/Сильная подсказка
Слабая подсказка:
Очистите данные счетчика.[данные]
Мощная подсказка:
Ваша роль: Аналитик энергетических данных. Следующие данные счетчика приведены для 15-минутных интервалов, местное время (UTC+3), метка времени указывает НАЧАЛО интервала, единица измерения кВтч. Задачи: 1) Перечислить отсутствующие метки времени и повторяющиеся записи (количество и время). 2) Отметить отдельно отрицательное значение и значения, превышающие физический верхний предел (контрактная мощность 25 кВт); не удаляйте, а просто отмечайте. 3) Предложите проверку, чтобы отличить ложные нули от реальных, которые подозреваются в недопонимании. Не заполняйте никаких значений самостоятельно; Сначала определите его, и я подтвержу наполнение.
Мощная подсказка с самого начала дает разрешение, часовой пояс, правило тегов и верхний предел; Он накладывает на ИИ принцип «сначала обнаружить, потом спросить». Таким образом, данные не будут незаметно повреждены.
Четыре копируемых шаблона
1) Профилирование данных:
Создайте профиль следующих данных: количество строк, диапазон дат, разрешение, расчетная единица измерения и значение каждого столбца, процент пропусков, мин/макс/среднее значение. Отметьте оценки единиц тегом «необходимо проверить».
2) Управление по оси времени:
В этом временном ряду определите: (а) отклонения от ожидаемого диапазона, (б) повторяющиеся временные метки, (в) возможные сдвиги из-за перехода на летнее время/часовой пояс. Перечислите каждую находку с указанием ее временного диапазона. Напишите предложение по исправлению отдельно; ПРИЛОЖЕНИЕ.
3) Правило выброса:
Отметьте выбросы, используя следующие физические пределы: мощность 0–[X] кВт, температура [A]–[B] °C. Также составьте отдельный список статистических выбросов (например, слишком больших отклонений от медианы). Для каждого выброса задайте вопрос «возможная ошибка или фактическое событие»; Позвольте мне решить.
4) Проверка после очистки:
Проверьте очищенные данные с помощью следующих физических привязок и сообщите о несоответствиях: выработка солнечной энергии ночью должна быть нулевой; общая энергия должна находиться в пределах ожидаемого уровня счета; Ночная нагрузка должна быть ниже дневной пиковой. Напишите пройден/не пройден для каждого якоря.
Таблица проблем с качеством данных
проблема
симптом
якорь проверки
Сдвиг часового пояса
Верхние часы находятся в нелогичном месте
Совместить с восходом/закатом солнца
Летнее время (летнее время)
23/25 часовой рабочий день
Посчитайте продолжительность дня
фальшивый ноль
0 в случае потери связи
Соответствие флагу связи
перерегистрировать
Выше общего счета
Проверить уникальность временной метки
Путаница единиц измерения
Ранг 60/1000 раз извратился
Проверка преобразования кВт↔кВтч
отрицательное значение
Отрицательное потребление, когда нет производства.
Правило физических знаков
Распространенные ошибки
- Молча заполняя недостающие данные нулями. Ноль означает «нет потребления», а не «нет данных»; смешивание этих двух факторов искажает среднее значение и прогноз.
- Автоматически удалять выбросы. Выброс может быть реальным событием; Перед удалением требуется проверка инженером.
- Предполагая часовой пояс. Сказать «вероятно, это местное» — одна из самых дорогостоящих ошибок; Всегда проверяйте информацию из источника.
- Сбор растворимости путем смешивания. Сложение значений мощности (кВт) как энергии (кВтч) дает неправильный результат.
- Не проверяю чистоту. Очищенные данные также могут быть повреждены; Обязательно проверьте это с помощью физических якорей.
Совет: Записывайте каждый шаг очистки данных в «журнал данных»: сколько записей было отмечено, сколько заполнено, какое правило использовалось. Этот журнал обеспечивает как воспроизводимость, так и возможность проверки; год спустя "откуда взялось это число?" отвечает на вопрос.
В итоге
Основой энергетического анализа является чистый временной ряд. Данные поступают из SCADA, счетчиков, метеорологии и рынка; у каждого есть разрешение, единица измерения, часовой пояс и ловушки перехода на летнее время. ИИ очень эффективен в ускорении обнаружения отсутствующих/дубликатов/выбросов, но решения об удалении и заполнении должны оставаться за инженером, а результат должен быть подтвержден с помощью физических привязок. Никакой анализ не будет надежным без правильного понимания временной метки.
Задача приложения
Возьмите в руку временной ряд энергии (счетчик, производство или температура). Запросите отчет о качестве у ИИ, используя шаблоны «Аудит временной шкалы» и «Профилирование данных». Затем вручную проверьте три вещи: правильные ли единицы измерения и разрешение, является ли пиковая частота физически разумной, соответствует ли общая энергия счету? Кратко опишите обнаруженную проблему с качеством данных и способы ее устранения.
контрольный список
- [ ] Я подтвердил источник, разрешение и единицу измерения данных
- [ ] Я уточнил правило меток часового пояса и временной метки (начало/окончание)
- [ ] Я проверил риск 23/25-часового рабочего дня из-за летнего времени.
- [ ] Я обнаружил отсутствующие и повторяющиеся записи и сообщил о них
- [ ] Я исследовал выбросы с отличием «ошибка или событие».
- [ ] Я отличал ложные нули от реальных нулей
- [ ] Я проверил очищенные данные с помощью физических привязок и вел журнал данных.