Unità 6 / 10

Dejta Ambjentali u Analiżi ta' Monitoraġġ

Qligħ:

  • Kapaċità li tapplika kunċetti ta 'serje ta' ħin, qsim tal-limitu u kontroll tal-kwalità tas-sensuri (QA/QC).
  • Kapaċità li toħloq skanjar ta 'anomalija, sommarju tat-tendenza u strateġija ta' data nieqsa bl-AI
  • Kapaċità li tivverifika eċċessi u anomaliji indikati mill-AI b'dejta mhux ipproċessata u kalibrazzjoni

Int inġinier tax-xift fl-impjant tat-trattament tad-drenaġġ ta' żona industrijali organizzata. Stazzjon ta' monitoraġġ kontinwu li jinsab fl-iżbokk jirreġistra ossiġnu maħlul (DO), pH, konduttività u domanda ta' ossiġnu kimiku (COD) kull 15-il minuta. Fit-03:40 ta' filgħodu, il-valur COD fuq l-iskrin SCADA jaqbeż għal 1,240 mg/L u s-sistema tqajjem allarm. Limitu ta' ħruġ 250 mg/L. Il-mistoqsija li għandek bżonn tistaqsi qabel ma tieħu paniku hija: Dan huwa inċident ta 'tniġġis reali jew huwa reġistrazzjoni tas-sensuri? F'din l-unità, titgħallem kif tuża mudell tal-lingwa (LLM) bħala "assistent tal-ewwel qari" għall-iskannjar tad-dejta tas-serje tal-ħin, timmarka anomaliji u tiġġenera sommarji tat-tendenzi; Imma qed niddiskutu għaliex hu qatt mhu se jħalli f’idejnha d-deċiżjoni finali.

Anatomia ta 'data ta' monitoraġġ kontinwu

Id-dejta tal-monitoraġġ ambjentali hija serje ta' żmien miġbura f'intervalli ta' ħin regolari. Kull punt ta 'kejl iġorr marka taż-żmien, valur u idealment bandiera ta' kwalità. Biex tagħmel sens tad-dejta mhux ipproċessata, trid tiddistingwi tliet kunċetti:

  • Xejra: Xejra fit-tul (eż. żieda staġjonali fil-konduttività).
  • Staġjonalità/ċiklu: Disinji li jirrepetu matul il-ġurnata jew is-sena (eż., elevazzjoni tad-DO permezz tal-fotosintesi bi nhar).
  • Anomalja: Valuri singolari jew għal żmien qasir li statistikament jiddevjaw mill-mudell mistenni.

Parametru

Firxa ta 'monitoraġġ tipika

Limitu tal-kampjun (iskarigu)

Problema komuni tas-sensorju

pH

1-5 min

6-9 (mingħajr unitajiet)

Ċaqliq ta' l-elettrodu ta' referenza

Ossiġenu maħlul (DO)

5-15 min

≥ 5 mg/L (mezz li jirċievi)

Fowling tal-membrana (biofouling)

konduttività

5-15 min

Dipendenti mill-klassi, µS/cm

Drift tal-kalibrazzjoni

COD (analizzatur kontinwu)

15-60 min

250mg/L

Eżawriment tar-reaġent, imblukkar

PM10 (arja)

1 siegħa

50 µg/m³ (24 siegħa)

Effett ta 'umdità/kondensazzjoni

Għaliex il-bnadar tal-QA/QC huma vitali?

QA/QC (assigurazzjoni tal-kwalità / kontroll tal-kwalità) huwa dwar it-twaħħil ta 'tikketta ta' fiduċja ma 'kull kejl. Anke jekk valur jidher statistikament bħala "overshoot", huwa invalidu jekk ittieħed barra mit-tieqa tal-kalibrazzjoni jew jekk is-sensor ikun taħt manutenzjoni. Kodiċi tal-bandiera komuni:

Tifsira tal-Bandiera----- -----------------------------G Tajjeb — kejl validu, aċċettatS Suspettat — dubjuż, verifika meħtieġaM Nieqsa — rekord nieqes/vojtC Kalibrazzjoni — tieqa ta’ kalibrazzjoni/manutenzjoni, dejta invalidaE Stima — valur imputat stmat

Tip: Dejjem iftaħ ir-reġistri tal-kalibrazzjoni u l-manutenzjoni qabel tibda analiżi ta 'qabża. Jekk il-qabża tas-COD f'03:40 tikkoinċidi mal-kalibrazzjoni awtomatika matul il-lejl jew bidla tar-reaġent, din hija dejta tal-bandiera "C"; Mhuwiex suġġett għall-allarm, iżda għat-tindif tad-dejta.

Skennjar ta' anomaliji u sommarju tat-tendenza bl-AI

Tista 'tuża LLM biex tirrevedi malajr id-dejta tabulari, tindika mudelli li l-għajn tal-bniedem tista' titlef, u ssolvi l-ipoteżijiet inizjali. Il-punt kritiku: Li tagħti lill-mudell id-dejta mhux ipproċessata, l-unitajiet u l-limitu flimkien u titlob osservazzjonijiet verifikabbli minnu.

PROMPT DGĦAJF: "Hemm problema b'din id-dejta dwar il-kwalità tal-ilma?" PROMPT B'saħħtu: "Taħt hemm 15-il minuta ta 'dejta ta' monitoraġġ ta 'punt ta' skariku ta 'ilma mormi (kolonni: ħin, COD [mg/L], konduttività [µS/cm], pH, bandiera QA). Limitu COD ta' skariku huwa 250 mg/L, medda ta 'pH 6-9. Il-kompitu tiegħek: 1) Elenka timestamps b'limitu) jaqbeż biss 'G';good lines . separati dawk b'bnadar C/M/S f'lista separata ta '"verifika meħtieġa" 3) Indika għal kull qabża (linja waħda) jew żieda kontinwa (>= 3 linji konsekuttivi 4) Innota jekk il-konduttività u l-pH jinbidlu fl-istess ħin (bidla simultanja hija evidenza favur l-avveniment attwali ma tistax tiġi kkonfermata ma ' data' minflok."

Il-pront qawwi jorbot il-mudell ma 'proċedura konkreta, janalizza l-bnadar, u jinkludi istruzzjoni espliċita "jekk m'intix ċert, tgħidx" biex tillimita l-alluċinazzjoni (interpretazzjoni magħmula).

Attenzjoni: LLM jista' jagħmel żbalji fit-tqabbil ta' limitu numeriku; Jista 'jittikketta ħażin 248 mg/L bħala "qabeż" jew 252 mg/L bħala "fil-limitu." Ivverifika mill-ġdid KULL qabża tal-listi tal-mudelli, jew viżwalment mit-tabella mhux maħduma jew b'formula (eż. valur > 250). Il-mudell jiskenja; Inti tiddeċiedi l-limitu.

Strateġija tad-dejta nieqsa (imputazzjoni)

Is-sensuri jinstaddu, l-enerġija tintefa, il-komunikazzjoni tkisser. Kif timla d-dejta nieqsa taffettwa direttament l-analiżi tat-tendenza u l-qbiż tiegħek. Imputazzjoni falza tista' "toħloq" qabża li ma teżistix jew taħbi qabża reali.

importazzjoni pandas bħala pdimport numpy bħala np # serje COD ta '15-il minuta; -999 kodiċi tat-tagħmir "l-ebda data" "bandiera": ["G", "G", "M", "M", "G", "S", "G", "G"],})# 1) Ikkonverti l-kodiċijiet tal-apparat għal valuedf.loc [df["koi"] == -999, "koi"] = np.nan# 2) = interpolazzjoni lineari ta' l-interpolazzjoni HORT2); flag imputationgap = df["koi"].isna()df["koi_full"] = df["koi"].interpolate(limit=2)df.loc[gap & df["koi_full"].notna(), "flag"] = "E" # Stima # 3) Limitu ta' qbiż ta' deċiżjonijiet dwar skanjar tal-valur tal-kejl — ONLY = Assigning = G skanjar tal-valur df[(df["koi_full"] > 250) & (df["bandiera"] == "G")]print(asyms[["ts", "koi_full", "bandiera"]])

F'dan l-approċċ, vojt qosra jimtlew, iżda l-valuri mimlija huma mmarkati b'E u d-deċiżjoni ta 'qabża ssir biss mill-kejl attwali (G). Billi l-valur ta' 1240 mg/L huwa mmarkat bħala S (suspettuż), mhuwiex inkluż fil-lista ta' qbiż awtomatiku; jiġi vverifikat l-ewwel.

Verifika b'sensor drift u kalibrazzjoni

L-istandard tad-deheb biex jiġi ddeterminat jekk qabża hijiex reali jew drift tas-sensor huwa r-riżultat tal-laboratorju ta 'kampjun ta' grab konkorrenti. Pereżempju, jekk l-analizzatur kontinwu wera 1240 mg/L f'03:40, u l-valur imkejjel tal-laboratorju tal-kampjun meħud f'dak il-ħin huwa 205 mg/L, il-problema tinsab fis-sensor; ma jarmix. Din hija trijangulazzjoni tal-output AI jew allarm SCADA mal-qasam u l-laboratorju.

każ mini

Is-sensor tat-turbidità f'baċin tal-ilma tax-xorb kien qed juri xejra li qed tiżdied gradwalment għal tlett ijiem. It-tim tax-xift ta dejta ta' kull ġimgħa lil LLM; "Żieda reali fit-turbidità minħabba t-tnixxija ta 'wara x-xita hija possibbli," qal il-mudell. Madankollu, meta l-inġinier ħares lejn ir-rekords meteoroloġiċi, ra li ma kienx hemm xita fir-reġjun dik il-ġimgħa. Matul l-ispezzjoni fuq il-post, kien mifhum li l-biofouling kien iffurmat fuq it-tieqa ottika tas-sensorju; Wara t-tindif u l-kalibrazzjoni, il-valuri reġgħu lura għan-normal. L-interpretazzjoni ta 'LLM tal-"avveniment attwali possibbli" ġiet miċħuda minn dejta esterna (rekord tax-xita) u kontroll fuq il-post. Lezzjoni: Il-mudell jista' jipproduċi storja plawsibbli iżda falza; il-katina tal-verifika taqbadha.

Żbalji komuni

  • Tiżbalja d-dejta fit-tieqa tal-kalibrazzjoni/manutenzjoni (bandiera C) għal qbiż reali.
  • Imla d-dejta nieqsa fis-skiet u rrapporta valuri imputati bħala kejl reali.
  • Tiżbalja bounce singular (linja waħda, possibilment ħoss elettriku) għal avveniment kontinwu.
  • Tafda bl-addoċċ fil-paraguni tal-breakpoint tal-LLM (248 vs 250).
  • Teħid ta 'deċiżjonijiet ibbażati fuq parametru wieħed mingħajr kontroverifika ta' parametri simultanji (pH + konduttività + COD).
  • Tiddikjara l-allarm "reali" mingħajr ma teskludi drift tas-sensorju b'konferma tal-kampjun tal-grab/laboratorju.
  • Injora l-ħin lokali/UTC u bidliet fil-ħin tas-sajf u attribwixxi avvenimenti għall-ħin ħażin.

Fil-qosor

  • Id-dejta tal-monitoraġġ ambjentali hija serje ta' żmien; Ma jistax jiġi interpretat mingħajr ma ssir distinzjoni ta' xejra, staġjonalità u anomalija.
  • Il-bnadar tal-QA/QC huma t-tikketta tal-fiduċja tad-dejta; id-deċiżjonijiet jittieħdu biss minn data valida (G).
  • LLM huwa assistent ta 'malajr għall-ewwel qari għall-iskannjar ta' anomaliji, elenkar ta 'qabża u sommarju tat-tendenzi, mhux jieħu d-deċiżjonijiet.
  • L-istrateġija tad-dejta nieqsa (imputazzjoni) għandha tkun trasparenti; Il-valuri mimlija huma mmarkati u ma jittieħdux bħala bażi għad-deċiżjoni tal-qbiż.
  • Id-drift tas-sensuri, il-biofouling, u d-drift tal-kalibrazzjoni jipproduċu "spurious overshoot"; jiddistingwi kampjun tal-qabda u konferma tal-laboratorju.
  • L-output AI huwa ipoteżi; Id-dejta mhux ipproċessata ma tidħolx fir-rapport uffiċjali mingħajr verifika permezz tar-rekord tal-kalibrazzjoni u l-kontroll fuq il-post.

Kompitu ta' applikazzjoni

Ħu dataset ta' monitoraġġ ta' 24 siegħa u 15-il minuta li għandek (jew tiġġenera b'mod sintetiku) (mill-inqas parametru wieħed: COD, pH, jew PM10) u oħloq ġirja li żżid bnadar QA/QC u telenka l-qbiż tal-limiti. L-ewwel, ikteb pront qawwi u staqsi lil LLM għal skanjar ta 'anomalija u eċċess; Imbagħad ivverifika b'mod indipendenti l-istess eċċessi bil-valur > filtru tal-limitu f'Python. Agħmel mill-inqas eżempju wieħed ta' imputazzjoni u mmarka l-valuri mimlija b'E. Għal kull "overshoot" issib "kif nivverifika dan bir-rekord tal-kampjun tal-grab/kalibrazzjoni?" Wieġeb il-mistoqsija f'sentenza waħda. Fl-aħħar mill-aħħar, ikkalkula kemm mill-anomaliji mmarkati minn LLM huma avvenimenti reali u kemm huma problemi tas-sensuri/dejta, b'ġustifikazzjonijiet.