Guadagni:
- Capacità di riconoscere la struttura, le unità e i problemi di qualità tipici di SCADA, contatori intelligenti e dati di mercato
- Capacità di rilevare dati mancanti, valori anomali e problemi di timestamp con l'intelligenza artificiale e stabilire un flusso di lavoro di pulizia
- Possibilità di verificare trappole come risoluzione, fuso orario e ora legale nelle serie temporali energetiche nell'output AI
Quasi tutte le analisi energetiche iniziano con una serie temporale: misurazioni disposte lungo l'asse del tempo. Il consumo di un contatore in 15 minuti, la seconda velocità di rotazione di una turbina, la corrente oraria di un alimentatore (una linea di distribuzione): sono tutte serie temporali. In questa unità impareremo da dove provengono i dati energetici, quali insidie contengono e come utilizzare l’intelligenza artificiale per rendere affidabili questi dati. Stabiliamo questo principio fin dall'inizio: anche l'analisi più intelligente con dati sporchi dà un risultato sporco. Nell’ingegneria energetica, la maggior parte del tempo non viene spesa sul modello, ma sull’affidabilità dei dati, e l’intelligenza artificiale fornisce il contributo più sicuro in questa parte.
Fonti e struttura dei dati energetici
I dati energetici provengono principalmente da diverse fonti. SCADA (sistema di controllo di supervisione e acquisizione dati) raccoglie le misure istantanee provenienti dai quadri elettrici e dalle apparecchiature di rete; Di solito ha una risoluzione in secondi o minuti e include quantità come tensione, corrente, potenza e temperatura. I dati dei contatori intelligenti misurano generalmente il consumo a intervalli di 15 minuti e costituiscono la base per la fatturazione e l’analisi della domanda. I dati meteorologici (temperatura, irradianza, velocità del vento) costituiscono l’input per la previsione della produzione e della domanda. I dati di mercato (prezzi orari) costituiscono l’input dell’analisi economica.
La caratteristica comune di questi dati è che contengono un timestamp (tag data-ora a cui appartiene ogni misura) e uno o più valori di misura. Questo è il punto più critico: se non si capisce bene il timestamp tutto il resto crolla.
Risoluzione, fuso orario e trappole dell'ora legale
Una parte sorprendentemente ampia degli errori nei dati energetici proviene dall’asse del tempo. Evidenziamo tre trappole in particolare.
Confusione nella risoluzione. Un contatore riporta l'energia in 15 minuti (kWh) o la potenza istantanea (kW)? Sommandoli si ottengono risultati diversi: la media dei quattro valori kW per 15 minuti è la potenza, mentre la somma dei quattro non corrisponde all'energia oraria (è necessaria la somma delle energie di un quarto d'ora). Non è possibile effettuare alcuna somma senza comprendere insieme l'unità e la risoluzione.
Fuso orario. I dati vengono conservati nell'ora locale (TRT/UTC+3 per la Turchia) o nell'ora universale (UTC)? Due serie provenienti da sistemi diversi possono trovarsi in fusi orari diversi; Il turno di tre ore durante la combinazione interrompe l'intera analisi delle ore di punta.
Ora legale (DST). Nei paesi che passano all'ora legale, un'ora "scompare" una volta all'anno e "si ripete" una volta all'anno. Ciò crea giorni di 23 o 25 ore in quei giorni e interrompe i profili orari. Poiché la Turchia ha implementato l'ora legale permanente (UTC+3) dal 2016, questo problema non appare sui dati locali, ma lo si riscontra ancora quando si lavora con dati internazionali o vecchi.
Avviso: l'etichetta per il timestamp è "inizio dell'intervallo" o "fine dell'intervallo"? Un record etichettato 14:00 indica 14:00-14:15 o 13:45-14:00? Questa singola decisione potrebbe spostare l’orologio di picco di una fetta. Rendi chiara questa regola all'inizio per ogni set di dati.
Passo dopo passo: flusso di lavoro di preparazione dei dati con l'intelligenza artificiale
Passaggio 1: scoperta. Conosci i dati: quante righe, quale intervallo, quale risoluzione, quale unità? Fornendo all'IA le prime centinaia di righe e riassumendo la struttura si rivelano rapidamente i significati delle colonne e le possibili unità. Ma la stima unitaria dell'IA è un'ipotesi; Ciò è confermato dal documento originale.
Passaggio 2: standardizzare la sequenza temporale. Blocca su un singolo fuso orario, correggi la risoluzione, specifica la regola dei tag (inizio/fine). L'intelligenza artificiale può generare codice che rileva intervalli irregolari e timestamp mancanti.
Passaggio 3: record incompleti e duplicati. Le interruzioni della comunicazione creano nuovamente il vuoto e la doppia registrazione. L’intelligenza artificiale produce un insieme di regole che segnalano lacune e duplicazioni; gli intervalli brevi (ad esempio un singolo 15 minuti) possono essere colmati con un metodo adeguato, gli intervalli lunghi vengono esclusi dall'analisi e riportati.
Passaggio 4: valori anomali. Consumo negativo (nessuna produzione), potenza eccedente il limite fisico superiore, sbalzi improvvisi. L’intelligenza artificiale offre il rilevamento di valori anomali statistici e basati su regole; Ma un valore anomalo non è sempre un errore: può anche essere un evento reale (ad esempio, una fabbrica che va online). L'ingegnere fa questa distinzione.
Passaggio 5: verifica. I dati puliti vengono testati con ancoraggi fisici: alba/tramonto devono ripristinare la generazione solare, il carico notturno deve essere inferiore a quello diurno, l'energia totale deve essere coerente con la bolletta.
Tre mini custodie: i numeri
Caso 1: slittamento di un'ora. I dati di produzione solare di un analista hanno mostrato il picco di mezzogiorno alle 14:00 invece che alle 13:00. Il problema non era con il pannello; I dati erano UTC ma si pensava fosse l'ora locale. Quando fu notato il turno di tre ore (l'apparizione della produzione prima dell'alba tradì l'ancora) l'intera analisi migliorò; Le decisioni di investimento sono state impedite sulla base di interpretazioni errate.
Caso 2 — Registrazioni duplicate. Nei dati orari di 30 giorni di un distributore, il consumo totale è stato superiore del previsto di circa il 4%. Il rilevamento dei replay assistito dall'intelligenza artificiale ha mostrato che alcune ore sono state registrate due volte durante le riconnessioni di comunicazione. Dopo aver cancellato 68 record ripetuti, il totale corrispondeva al conto.
Caso 3: falsi zeri. Un contatore segnalava il consumo come "0" durante una perdita di comunicazione; Tuttavia, il consumo è continuato. Questi falsi zeri hanno abbassato la media e hanno fuorviato la previsione della domanda. L'intelligenza artificiale ha suggerito la regola "Ispeziona 0 valori insieme al flag di presenza"; i falsi zeri sono stati contrassegnati come dati mancanti e separati dagli zeri veri (ad esempio, luogo di lavoro chiuso).
Prompt debole / Prompt forte
Suggerimento debole:
Cancella questi dati del contatore.[dati]
Suggerimento potente:
Il tuo ruolo: Analista di dati energetici. I seguenti dati del contatore sono per intervalli di 15 minuti, ora locale (UTC+3), la marca temporale indica l'INIZIO dell'intervallo, unità kWh.Compiti:1) Elenca le marche temporali mancanti e le registrazioni duplicate (numero e ora).2) Contrassegnare separatamente il valore negativo e i valori che superano il limite fisico superiore (potenza contrattuale 25 kW); non cancellare, basta contrassegnare.3) Offri un segno di spunta per distinguere i falsi zeri dagli zeri reali sospettati di errori di comunicazione.Non inserire alcun valore da solo; Identificatelo prima e confermerò il riempimento.
Il potente prompt fornisce risoluzione, fuso orario, regola tag e limite superiore fin dall'inizio; Impone all’intelligenza artificiale una disciplina del tipo “rileva prima, chiedi dopo”. In questo modo i dati non verranno danneggiati silenziosamente.
Quattro modelli copiabili
1) Profilazione dei dati:
Crea un profilo con i seguenti dati: numero di righe, intervallo di date, risoluzione, unità stimata e significato di ciascuna colonna, tasso mancante, min/max/media. Contrassegna le stime delle unità con il tag "deve essere verificato".
2) Controllo dell'asse temporale:
In questa serie temporale, rilevare: (a) intervalli fuori dall'intervallo previsto, (b) timestamp ripetuti, (c) possibili spostamenti dovuti all'ora legale/al fuso orario. Elenca ogni risultato con il suo intervallo di tempo. Scrivi il tuo suggerimento di correzione separatamente; APPLICAZIONE.
3) Regola dei valori anomali:
Contrassegnare i valori anomali utilizzando questi limiti fisici: potenza 0-[X] kW, temperatura [A]-[B] °C. Crea anche un elenco separato di valori statistici anomali (ad esempio, deviazione troppo lontana dalla mediana). Per ogni valore anomalo, sollevare la domanda "possibile errore o evento reale"; Lasciami decidere.
4) Verifica dopo la pulizia:
Testare i dati ripuliti con i seguenti ancoraggi fisici e segnalare le incongruenze: la produzione solare dovrebbe essere pari a zero di notte; l'energia totale deve rientrare nel livello previsto della bolletta; Il carico notturno deve essere inferiore al picco diurno. Scrivi pass/fail per ogni ancora.
Tabella dei problemi relativi alla qualità dei dati
problema
sintomo
ancoraggio di verifica
Spostamento del fuso orario
L'orologio in alto è in un posto illogico
Allinea con alba/tramonto
Ora legale (ora legale)
23/25 ore giornaliere
Contare la durata del giorno
zero falso
0 in caso di perdita di comunicazione
Abbina con la bandiera di comunicazione
registrarsi nuovamente
Fattura superiore al totale
Controlla l'unicità del timestamp
Confusione delle unità
Classifica 60/1000 volte pervertito
Verificare la conversione kW↔kWh
valore negativo
Consumo negativo quando non c’è produzione
Regola dei segni fisici
Errori comuni
- Compilazione silenziosa dei dati mancanti con zero. Zero significa "nessun consumo", non "nessun dato"; mescolare i due distorce la media e la previsione.
- Elimina automaticamente il valore anomalo. Un valore anomalo può essere un evento reale; È richiesta la revisione del tecnico prima dell'eliminazione.
- Supponendo il fuso orario. Dire "probabilmente è locale" è uno degli errori più costosi; Verificare sempre dalla fonte.
- Raccogliere la solubilità mediante miscelazione. Sommando i valori di potenza (kW) come energia (kWh) si ottiene un totale errato.
- Non verificare la pulizia. I dati puliti potrebbero anche essere danneggiati; Assicurati di testarlo con ancoraggi fisici.
Suggerimento: annota ogni passaggio della pulizia dei dati in un “registro dati”: quanti record sono stati contrassegnati, quanti sono stati popolati, quale regola è stata utilizzata. Questo registro garantisce sia la riproducibilità che la verificabilità; un anno dopo "da dove viene questo numero?" risponde alla domanda.
In sintesi
La base dell'analisi energetica è una serie temporale pulita. I dati provengono da SCADA, contatore, meteorologia e mercato; ognuno ha risoluzione, unità, fuso orario e trappole per l'ora legale. L'intelligenza artificiale è molto potente nell'accelerare il rilevamento di dati mancanti/duplicati/anomali, ma le decisioni di eliminazione e riempimento dovrebbero spettare all'ingegnere e il risultato dovrebbe essere convalidato con ancoraggi fisici. Nessuna analisi è affidabile senza una corretta comprensione del timestamp.
Compito dell'applicazione
Prendi in mano una serie temporale dell'energia (contatore, produzione o temperatura). Richiedere un rapporto sulla qualità all'IA utilizzando i modelli “Timeline audit” e “Profilazione dei dati”. Quindi verifica manualmente tre cose: l'unità e la risoluzione sono corrette, il clock di picco è fisicamente ragionevole, l'energia totale è coerente con la bolletta? Descrivi brevemente un problema di qualità dei dati che hai riscontrato e come lo hai risolto.
lista di controllo
- [ ] Ho confermato la fonte, la risoluzione e l'unità dei dati
- [ ] Ho chiarito la regola dell'etichetta del fuso orario e del timestamp (inizio/fine)
- [ ] Ho verificato il rischio di giornate di 23/25 ore dovute all'ora legale
- [ ] Ho rilevato record mancanti e duplicati e li ho segnalati
- [ ] Ho esaminato gli outlier con la distinzione di “errore o evento”
- [ ] Ho distinto i falsi zeri dagli zeri reali
- [ ] Ho verificato i dati puliti con ancoraggi fisici e ho tenuto un registro dei dati