Gains :
- Capacité à reconnaître la structure, les unités et les problèmes de qualité typiques du SCADA, des compteurs intelligents et des données de marché
- Capacité à détecter les données manquantes, les valeurs aberrantes et les problèmes d'horodatage grâce à l'intelligence artificielle et à établir un flux de travail de nettoyage
- Possibilité de vérifier les pièges tels que la résolution, le fuseau horaire et l’heure d’été dans les séries chronologiques d’énergie dans la sortie AI
Presque toutes les analyses énergétiques commencent par une série temporelle : des mesures disposées le long de l’axe du temps. La consommation d'un compteur sur 15 minutes, la seconde vitesse de rotation d'une turbine, le courant horaire d'une ligne d'alimentation (une ligne de distribution) sont tous des séries chronologiques. Dans cette unité, nous apprendrons d'où proviennent les données énergétiques, quels pièges elles contiennent et comment utiliser l'intelligence artificielle pour fiabiliser ces données. Établissons ce principe dès le début : même l'analyse la plus intelligente avec des données sales donne un résultat sale. En ingénierie énergétique, la majeure partie du temps n’est pas consacrée au modèle, mais à la fiabilisation des données, et l’intelligence artificielle apporte la contribution la plus sûre dans cette partie.
Sources et structure des données énergétiques
Les données énergétiques proviennent principalement de plusieurs sources. SCADA (système de contrôle de supervision et d'acquisition de données) collecte des mesures instantanées à partir des équipements du tableau de distribution et du réseau ; Il s'agit généralement d'une résolution en secondes ou en minutes et comprend des quantités telles que la tension, le courant, la puissance et la température. Les données des compteurs intelligents mesurent généralement la consommation à des intervalles de 15 minutes et constituent la base de la facturation et de l'analyse de la demande. Les données météorologiques (température, irradiation, vitesse du vent) constituent l’entrée de la prévision de la production et de la demande. Les données de marché (prix horaires) constituent l’entrée de l’analyse économique.
La caractéristique commune de ces données est qu’elles contiennent un horodatage (étiquette date-heure à laquelle appartient chaque mesure) et une ou plusieurs valeurs de mesure. C’est le point le plus critique : si l’horodatage n’est pas correctement compris, tout le reste s’effondre.
Pièges liés à la résolution, au fuseau horaire et à l’heure d’été
Une part étonnamment importante des erreurs dans les données énergétiques provient de l’axe du temps. Soulignons trois pièges en particulier.
Confusion de résolution. Un compteur indique-t-il l'énergie (kWh) ou la puissance instantanée (kW) sur 15 minutes ? Les additionner donne des résultats différents : la moyenne des quatre valeurs kW pendant 15 minutes est la puissance, tandis que la somme des quatre ne correspond pas à l'énergie horaire (il faut la somme des énergies quart d'heure). Aucune somme ne peut être faite sans comprendre ensemble l’unité et la résolution.
Fuseau horaire. Les données sont-elles conservées en heure locale (TRT/UTC+3 pour la Turquie) ou en heure universelle (UTC) ? Deux séries provenant de systèmes différents peuvent être dans des fuseaux horaires différents ; Le décalage de trois heures lors de la combinaison perturbe toute l'analyse des heures de pointe.
Heure d’été (DST). Dans les pays qui passent à l'heure d'été, une heure « disparaît » une fois par an et « se répète » une fois par an. Cela crée des journées de 23 ou 25 heures ces jours-là et interrompt les profils horaires. Depuis que la Turquie a mis en place l'heure d'été permanente (UTC+3) depuis 2016, ce problème n'apparaît pas sur les données locales, mais vous le rencontrez toujours lorsque vous travaillez avec des données internationales ou anciennes.
Remarque : L'étiquette de l'horodatage est-elle « début de plage » ou « fin de plage » ? Un enregistrement étiqueté 14h00 indique-t-il 14h00-14h15 ou 13h45-14h00 ? Cette seule décision pourrait décaler l’horloge de pointe d’une tranche. Expliquez clairement cette règle au début de chaque ensemble de données.
Étape par étape : flux de travail de préparation des données avec l'intelligence artificielle
Étape 1 — Découverte. Connaître les données : combien de lignes, quelle plage, quelle résolution, quelle unité ? Donner à l'IA les premières centaines de lignes et résumer la structure révèle rapidement la signification des colonnes et les unités possibles. Mais l’estimation unitaire de l’IA est une hypothèse ; Cela est confirmé par le document source.
Étape 2 — Standardisez la chronologie. Accrochez-vous à un seul fuseau horaire, corrigez la résolution, spécifiez la règle de balise (début/fin). L'IA peut générer du code qui détecte les intervalles irréguliers et les horodatages manquants.
Étape 3 — Enregistrements incomplets et en double. Les pannes de communication créent à nouveau un vide et un double enregistrement. L’IA produit un ensemble de règles qui signalent les lacunes et les duplications ; les interruptions courtes (par exemple 15 minutes seulement) peuvent être comblées par une méthode appropriée, les interruptions longues sont exclues de l'analyse et rapportées.
Étape 4 — Valeurs aberrantes. Consommation négative (pas de production), puissance dépassant la limite supérieure physique, sauts brusques. L'IA offre une détection statistique et basée sur des règles des valeurs aberrantes ; Mais une valeur aberrante n’est pas toujours une erreur : elle peut aussi être un événement réel (par exemple, la mise en ligne d’une usine). L'ingénieur fait cette distinction.
Étape 5 — Vérification. Les données nettoyées sont testées avec des ancrages physiques : le lever/coucher du soleil doit réinitialiser la production solaire, la charge nocturne doit être inférieure à celle du jour, l'énergie totale doit être cohérente avec la facture.
Trois mini-cases : en chiffres
Cas 1 – Glissement d’une heure. Les données de production solaire d'un analyste ont montré que le pic de midi était à 14h00 au lieu de 13h00. Le problème ne venait pas du panneau ; Les données étaient en UTC mais on pensait qu'il s'agissait de l'heure locale. Lorsque le décalage de trois heures fut remarqué (l'apparition de la production avant le lever du soleil trahit l'ancre), toute l'analyse s'améliora ; Des décisions d’investissement ont été empêchées sur la base d’une mauvaise interprétation.
Cas 2 — Enregistrements en double. D'après les données horaires sur 30 jours d'un distributeur, la consommation totale était d'environ 4 pour cent plus élevée que prévu. La détection de relecture assistée par l'IA a montré que certaines heures étaient enregistrées deux fois lors des reconnexions de communication. Après avoir effacé 68 enregistrements répétés, le total correspondait à la facture.
Cas 3 — Faux zéros. Un compteur affichait une consommation « 0 » lors d'une perte de communication ; Cependant, la consommation a continué. Ces faux zéros ont abaissé la moyenne et ont induit en erreur les prévisions de la demande. AI a suggéré la règle « Inspecter les valeurs 0 avec le drapeau de présence » ; les faux zéros étaient marqués comme données manquantes et séparés des vrais zéros (par exemple, lieu de travail fermé).
Invite faible/Invite forte
Invite faible :
Effacez les données de ce compteur.[données]
Invite puissante :
Votre rôle : Analyste de données énergétiques. Les données suivantes du compteur concernent des intervalles de 15 minutes, heure locale (UTC+3), l'horodatage indique le DÉBUT de l'intervalle, unité kWh. Tâches : 1) Répertorier les horodatages manquants et les enregistrements en double (nombre et heure). 2) Marquer séparément la valeur négative et les valeurs dépassant la limite supérieure physique (puissance contractuelle 25 kW) ; ne supprimez pas, marquez simplement.3) Proposez un contrôle pour distinguer les faux zéros des vrais zéros soupçonnés d'une mauvaise communication.Ne remplissez aucune valeur par vous-même ; Identifiez-le d’abord et je confirmerai le remplissage.
Une invite puissante donne la résolution, le fuseau horaire, la règle de balise et la limite supérieure dès le début ; Il impose à l’IA une discipline « détecter d’abord, demander plus tard ». De cette façon, les données ne seront pas corrompues en silence.
Quatre modèles copiables
1) Profilage des données :
Créez un profil des données suivantes : nombre de lignes, plage de dates, résolution, unité estimée et signification de chaque colonne, taux manquant, min/max/moyenne. Marquez les estimations unitaires avec la balise « doit être vérifiée ».
2) Contrôle de l'axe temporel :
Dans cette série temporelle, détectez : (a) les écarts hors de la plage attendue, (b) les horodatages répétitifs, (c) les décalages possibles dus à l'heure d'été/au fuseau horaire. Énumérez chaque résultat avec sa plage de temps. Écrivez votre suggestion de correction séparément ; APPLICATION.
3) Règle aberrante :
Marquez les valeurs aberrantes en utilisant ces limites physiques : puissance 0-[X] kW, température [A]-[B] °C. Faites également une liste distincte des valeurs statistiques aberrantes (par exemple, s'écartant trop de la médiane). Pour chaque valeur aberrante, posez la question « erreur possible ou événement réel » ; Laissez-moi décider.
4) Vérification après nettoyage :
Testez les données nettoyées avec les ancrages physiques suivants et signalez les incohérences : la production solaire doit être nulle la nuit ; l'énergie totale doit être dans les limites du niveau de facture attendu ; La charge nocturne doit être inférieure à la pointe diurne. Écrivez réussite/échec pour chaque ancre.
Tableau des problèmes de qualité des données
problème
symptôme
ancre de vérification
Changement de fuseau horaire
L'horloge du haut est dans un endroit illogique
Aligner avec le lever/coucher du soleil
Heure d'été (heure d'été)
journées de 23/25 heures
Compter la durée du jour
faux zéro
0 en cas de perte de communication
Correspondance avec le drapeau de communication
réinscrire
Au dessus de la facture totale
Vérifier l'unicité de l'horodatage
Confusion des unités
Rang 60/1000 fois perverti
Vérifier la conversion kW↔kWh
valeur négative
Consommation négative lorsqu'il n'y a pas de production
Règle de signe physique
Erreurs courantes
- Remplissez silencieusement les données manquantes avec zéro. Zéro signifie « pas de consommation », et non « pas de données » ; le mélange des deux fausse la moyenne et les prévisions.
- Supprimez automatiquement les valeurs aberrantes. Une valeur aberrante peut être un événement réel ; Examen par un ingénieur requis avant la suppression.
- En supposant le fuseau horaire. Dire « c'est probablement local » est l'une des erreurs les plus coûteuses ; Vérifiez toujours à partir de la source.
- Récupérer la solubilité par mélange. L'ajout des valeurs de puissance (kW) en énergie (kWh) donne un total incorrect.
- Ne pas vérifier la propreté. Les données nettoyées peuvent également être corrompues ; Assurez-vous de le tester avec des ancres physiques.
Astuce : notez chaque étape du nettoyage des données dans un « journal de données » : combien d'enregistrements ont été marqués, combien ont été renseignés, quelle règle a été utilisée. Ce journal garantit à la fois la reproductibilité et l'auditabilité ; un an plus tard, "d'où vient ce numéro ?" répond à la question.
En résumé
La base de l’analyse énergétique est une série chronologique propre. Les données proviennent du SCADA, du compteur, de la météorologie et du marché ; chacun a des pièges de résolution, d’unité, de fuseau horaire et d’heure d’été. L'IA est très puissante pour accélérer la détection des éléments manquants, des doublons ou des valeurs aberrantes, mais les décisions de suppression et de remplissage doivent rester du ressort de l'ingénieur, et le résultat doit être validé avec des ancrages physiques. Aucune analyse n'est fiable sans une bonne compréhension de l'horodatage.
Tâche de candidature
Prenez en main une série chronologique d’énergie (compteur, production ou température). Demandez un rapport qualité à l'IA à l'aide des modèles « Audit de la chronologie » et « Profilage des données ». Vérifiez ensuite manuellement trois choses : l'unité et la résolution sont-elles correctes, l'horloge de pointe est-elle physiquement raisonnable, l'énergie totale est-elle cohérente avec la facture ? Décrivez brièvement un problème de qualité des données que vous avez trouvé et comment vous l'avez résolu.
liste de contrôle
- [ ] J'ai confirmé la source, la résolution et l'unité des données
- [ ] J'ai clarifié la règle d'étiquetage du fuseau horaire et de l'horodatage (début/fin)
- [ ] J'ai vérifié le risque de journées de 23/25 heures dû à l'heure d'été
- [ ] J'ai détecté des enregistrements manquants et en double et je les ai signalés
- [ ] J'ai examiné les valeurs aberrantes avec la distinction « erreur ou événement »
- [ ] J'ai distingué les faux zéros des vrais zéros
- [ ] J'ai vérifié les données nettoyées avec des ancres physiques et tenu un journal de données