Kasu:
- Võimalus rakendada aegridade, läve ületamise ja andurite kvaliteedikontrolli (QA/QC) kontseptsioone
- Võimalus luua tehisintellektiga anomaaliate skaneerimist, trendide kokkuvõtet ja puuduvate andmete strateegiat
- Võimalus kontrollida tehisintellekti poolt välja toodud ületusi ja kõrvalekaldeid algandmete ja kalibreerimisega
Olete organiseeritud tööstustsooni reoveepuhastis vahetusinsener. Väljalaskeava juures asuv pidevseirejaam registreerib iga 15 minuti järel lahustunud hapniku (DO), pH, juhtivuse ja keemilise hapnikuvajaduse (COD). Kell 03:40 hommikul hüppab COD väärtus SCADA ekraanil 1240 mg/L-ni ja süsteem annab häire. Tühjenduspiir 250 mg/L. Küsimus, mida peate enne paanikasse sattumist küsima, on järgmine: kas see on tõeline reostusjuhtum või anduri salvestus? Selles üksuses saate teada, kuidas kasutada keelemudelit (LLM) "esimese lugemise assistendina" aegridade andmete skannimiseks, anomaaliate märgistamiseks ja trendi kokkuvõtete genereerimiseks; Kuid me arutame, miks ta ei jäta kunagi lõplikku otsust tema teha.
Pideva monitooringu andmete anatoomia
Keskkonnaseire andmed on korrapäraste ajavahemike järel kogutavad aegridad. Igal mõõtmispunktil on ajatempel, väärtus ja ideaalis kvaliteedilipp. Toorandmete mõistmiseks peate eristama kolme mõistet:
- Trend: pikaajaline trend (nt juhtivuse hooajaline tõus).
- Hooajalisus/tsükkel: mustrid, mis korduvad päeva või aasta jooksul (nt DO tõus päevase fotosünteesi tõttu).
- Anomaalia: üksikud või lühiajalised väärtused, mis erinevad statistiliselt eeldatavast mustrist.
Parameeter
Tüüpiline jälgimisvahemik
Proovi limiit (tühjenemine)
Levinud anduri probleem
pH
1-5 min
6-9 (ühikuta)
Võrdluselektroodi nihe
Lahustunud hapnik (DO)
5-15 min
≥ 5 mg/l (vastuvõttev sööde)
Membraani saastumine (biofouling)
juhtivus
5-15 min
Sõltub klassist, µS/cm
Kalibreerimise triiv
COD (pidev analüsaator)
15-60 min
250 mg/l
Reaktiivi ammendumine, ummistus
PM10 (õhk)
1 tund
50 µg/m³ (24 tundi)
Niiskuse/kondensatsiooni efekt
Miks on QA/QC lipud elutähtsad?
QA/QC (kvaliteedi tagamine / kvaliteedikontroll) tähendab usaldusmärgise kinnitamist igale mõõtmisele. Isegi kui väärtus näib statistiliselt olevat "ületamine", on see kehtetu, kui see võeti väljaspool kalibreerimisakent või kui andur on hoolduses. Levinud lipukoodid:
Lipu tähendus----- ------------------------------G Hea — kehtiv, aktsepteeritud mõõtmisedS Kahtlane — kahtlane, nõutav M Puudub — puudub / tühi kirjeC Kalibreerimine — kalibreerimis-/hooldusaken, andmed kehtetudE Hinnanguline — oletatav hinnanguline väärtus
Näpunäide. Enne ületamise analüüsi alustamist avage alati kalibreerimis- ja hoolduslogid. Kui COD-hüpe kell 03:40 langeb kokku automaatse üleöö kalibreerimise või reaktiivivahetusega, on see "C" lipu andmed; See ei ole häire, vaid andmete puhastamise teema.
Anomaaliate skaneerimine ja trendide kokkuvõte AI-ga
Saate kasutada LLM-i, et kiiresti üle vaadata tabeliandmed, märgistada mustrid, mida inimsilm võib kahe silma vahele jätta, ja sorteerida esialgseid hüpoteese. Kriitiline punkt: anda mudelile algandmed, ühikud ja limiit koos ning küsida sellelt kontrollitavaid vaatlusi.
NÕRK VIIPA: "Kas nende veekvaliteedi andmetega on probleeme?" TUGEV VIIP: "Allpool on 15 minuti pikkused reovee väljalaskepunkti seireandmed (veerud: aeg, COD [mg/L], juhtivus [µS/cm], pH, QA lipp). Väljalaske COD piirang on 250 mg/L, pH vahemik 6-9. Teie ülesanne: 1) Loetlege ajatemplid, mille piirväärtus ületab ainult EGvaluate's reads. C/M/S lipukestega eraldi loendisse 3) Märkige iga ületamise puhul, kas tegemist on üksiku hüppega (>= 3 järjestikust rida). kinnitada selle asemel algandmetega".
Võimas viip seob mudeli konkreetse protseduuriga, analüüsib lippe ja sisaldab selgesõnalist juhist "kui te pole kindel, ärge öelge" hallutsinatsioonide piiramiseks (väljamõeldud tõlgendus).
Ettevaatust: LLM võib arvuliste lävede võrdlemisel teha vigu; Võib valesti märgistada 248 mg/l kui "ületab" või 252 mg/l kui "piirang". Kontrollige IGA mudelite loendite ületamist uuesti kas visuaalselt töötlemata tabelist või valemiga (nt väärtus > 250). Mudel skaneerib; Sina otsustad piiri.
Puuduvad andmestrateegiad (imputatsioon)
Andurid ummistuvad, vool kaob, side katkeb. Puuduvate andmete sisestamise viis mõjutab otseselt teie trendi ja ületamise analüüsi. Vale imputeerimine võib "luua" ületamise, mida pole olemas, või varjata tegelikku ületamist.
import pandad pdimport numpy as np# 15 minutiline COD seeria; -999 seadme kood "andmed puuduvad" "lipp": ["G", "G", "M", "M", "G", "S", "G", "G"],})# 1) Teisenda seadme koodid tegelikeks puuduvateks valuedf.loc[df["koi"] == -999, "koi"] = np.nan# 2) Lineaarne interpolatsioon (SHORT=2 sammud); lipp imputationgap = df["koi"].isna()df["koi_full"] = df["koi"].interpolate(limit=2)df.loc[gap & df["koi_full"].notna(), "flag"] = "E" # Hinnangulised märgid # skannimise otsused (G) ületamist käsitlevad väärtused (G) piirväärtused AINULT = df[(df["koi_full"] > 250) & (df["lipp"] == "G")]print(asyms[["ts", "koi_full", "lipp"]])
Selle lähenemisviisi korral täidetakse lühikesed lüngad, kuid täidetud väärtused on tähistatud E-ga ja ületamise otsus tehakse ainult tegeliku mõõtmise (G) põhjal. Kuna väärtus 1240 mg/L on märgistatud kui S (kahtlane), ei ole see automaatse ületamise nimekirjas; kontrollitakse kõigepealt.
Kontrollimine anduri triivi ja kalibreerimisega
Kuldstandard selle kindlakstegemiseks, kas ületamine on tõeline või anduri triivimine, on samaaegse proovivõtu laboratoorsed tulemused. Näiteks kui pidevanalüsaator näitas kell 03:40 1240 mg/L ja sel ajal võetud proovi laboratoorselt mõõdetud väärtus on 205 mg/L, on probleem anduris; ei tühjenda. See on AI väljundi või SCADA häire trianguleerimine põllu ja laboriga.
mini korpus
Joogiveebasseini hägususandur näitas kolme päeva jooksul järk-järgult suurenevat trendi. Vahetuste meeskond andis LLM-ile iganädalased andmed; "Sademetejärgse äravoolu tõttu on hägususe suurenemine võimalik," ütles modell. Kui insener aga vaatas meteoroloogilisi rekordeid, nägi ta, et sel nädalal piirkonnas vihma ei sadanud. Väliülevaatuse käigus saadi aru, et anduri optilisele aknale oli tekkinud biosaaste; Pärast puhastamist ja kalibreerimist taastusid väärtused normaalseks. LLM-i tõlgendus "võimaliku tegeliku sündmuse" kohta lükati ümber väliste andmete (sajurekord) ja välikontrolliga. Õppetund: mudel võib anda usutava, kuid vale loo; kinnitusahel püüab selle kinni.
Levinud vead
- Andmete eksitamine kalibreerimis-/hooldusaknas (lipp C) tegeliku ületamise kohta.
- Puuduvate andmete vaikne täitmine ja kaudsete väärtuste teatamine tegelike mõõtmistena.
- Ainsuse põrge (üks joon, võib-olla elektriline müra) segi ajamine pideva sündmusega.
- Usaldades pimesi LLM-i murdepunktide võrdlusi (248 vs 250).
- Otsuste tegemine ühe parameetri alusel ilma samaaegsete parameetrite (pH + juhtivus + COD) ristkontrollita.
- Häire "päris" kuulutamine, välistamata anduri triivi koos haaratava proovi/labori kinnitusega.
- Kohaliku aja/UTC ja suveaja nihke ignoreerimine ning sündmuste omistamine valele ajale.
Kokkuvõttes
- Keskkonnaseire andmed on aegrida; Seda ei saa tõlgendada ilma trendi, hooajalisust ja anomaaliaid eristamata.
- QA/QC lipud on andmete usaldusmärgend; otsused tehakse ainult kehtivate (G) andmete põhjal.
- LLM on kiire esmalugemise abiline anomaaliate skannimiseks, ületamiste loendiks ja trendi kokkuvõtteks, mitte otsustaja.
- Puuduvate andmete strateegia (imputeerimine) peaks olema läbipaistev; Täidetud väärtused on märgitud ja neid ei võeta ületamise otsuse aluseks.
- Andurite triiv, biomäärdumine ja kalibreerimise triiv tekitavad "võltsitud ületamise"; eristab haaraproovi ja laboratoorset kinnitust.
- AI väljund on hüpotees; Algandmed ei sisestata ametlikku aruannet ilma kalibreerimiskirje ja välikontrolliga kontrollimiseta.
Rakenduse ülesanne
Võtke 24-tunnine ja 15-minutiline seireandmestik, mis teil on (või genereerige sünteetiliselt) (vähemalt üks parameeter: COD, pH või PM10) ja looge käitamine, mis lisab QA/QC lipud ja loetleb piirnormide ületused. Esmalt kirjutage tugev viip ja paluge LLM-ilt anomaalia ja ületamise skannimist; Seejärel kontrollige iseseisvalt samu ületusi Pythonis filtri väärtus > limiit abil. Tehke vähemalt üks imputatsiooninäide ja märkige täidetud väärtused tähega E. Iga "ülelöögi" kohta leiate vastuse "kuidas ma saan seda kontrollida proovivõtu/kalibreerimiskirjega?" Vastake küsimusele ühe lausega. Lõppkokkuvõttes esitage põhjendustega tabel, kui paljud LLM-i märgistatud kõrvalekalded on reaalsed sündmused ja kui paljud anduri/andmete probleemid.