சுற்றுச்சூழல் தரவு மற்றும் கண்காணிப்பு பகுப்பாய்வு

ஆதாயங்கள்:

• நேரத் தொடர், த்ரெஷோல்ட் கிராசிங் மற்றும் சென்சார் தரக் கட்டுப்பாடு (QA/QC) கருத்துகளைப் பயன்படுத்துவதற்கான திறன்
• AI உடன் ஒழுங்கின்மை ஸ்கேனிங், போக்கு சுருக்கம் மற்றும் விடுபட்ட தரவு உத்தியை உருவாக்கும் திறன்
• மூல தரவு மற்றும் அளவுத்திருத்தத்துடன் AI ஆல் சுட்டிக்காட்டப்பட்ட மீறல்கள் மற்றும் முரண்பாடுகளை சரிபார்க்கும் திறன்

நீங்கள் ஒரு ஒழுங்கமைக்கப்பட்ட தொழில்துறை மண்டலத்தின் கழிவு நீர் சுத்திகரிப்பு நிலையத்தில் ஷிப்ட் இன்ஜினியர். கடையின் ஒரு தொடர்ச்சியான கண்காணிப்பு நிலையம் ஒவ்வொரு 15 நிமிடங்களுக்கும் கரைந்த ஆக்ஸிஜன் (DO), pH, கடத்துத்திறன் மற்றும் இரசாயன ஆக்ஸிஜன் தேவை (COD) ஆகியவற்றைப் பதிவு செய்கிறது. காலை 03:40 மணிக்கு, SCADA திரையில் COD மதிப்பு 1,240 mg/L ஆக உயர்கிறது மற்றும் கணினி எச்சரிக்கையை எழுப்புகிறது. வெளியேற்ற வரம்பு 250 mg/L. நீங்கள் பீதி அடையும் முன் நீங்கள் கேட்க வேண்டிய கேள்வி: இது உண்மையான மாசு சம்பவமா அல்லது சென்சார் பதிவா? இந்த யூனிட்டில், நேரத் தொடர் தரவை ஸ்கேன் செய்வதற்கும், முரண்பாடுகளைக் குறிப்பதற்கும், போக்கு சுருக்கங்களை உருவாக்குவதற்கும், மொழி மாதிரியை (LLM) "முதல் வாசிப்பு உதவியாளராக" எவ்வாறு பயன்படுத்துவது என்பதை நீங்கள் கற்றுக் கொள்வீர்கள்; ஆனால் அவர் ஏன் இறுதி முடிவை அவளிடம் விட்டுவிட மாட்டார் என்று நாங்கள் விவாதிக்கிறோம்.

தொடர்ச்சியான கண்காணிப்பு தரவின் உடற்கூறியல்

சுற்றுச்சூழல் கண்காணிப்பு தரவு என்பது வழக்கமான நேர இடைவெளியில் சேகரிக்கப்பட்ட நேரத் தொடராகும். ஒவ்வொரு அளவீட்டு புள்ளியும் ஒரு நேர முத்திரை, மதிப்பு மற்றும் சிறந்த தரமான கொடி ஆகியவற்றைக் கொண்டுள்ளது. மூலத் தரவைப் புரிந்துகொள்ள, நீங்கள் மூன்று கருத்துகளை வேறுபடுத்த வேண்டும்:

• போக்கு: நீண்ட கால போக்கு (எ.கா. கடத்துத்திறனில் பருவகால அதிகரிப்பு).
• பருவநிலை/சுழற்சி: நாள் அல்லது வருடத்தின் போது மீண்டும் மீண்டும் வரும் வடிவங்கள் (எ.கா., பகல்நேர ஒளிச்சேர்க்கை மூலம் DO இன் உயரம்).
• முரண்பாடு: எதிர்பார்க்கப்படும் வடிவத்திலிருந்து புள்ளியியல் ரீதியாக விலகும் ஒற்றை அல்லது குறுகிய கால மதிப்புகள்.

அளவுரு

வழக்கமான கண்காணிப்பு வரம்பு

மாதிரி வரம்பு (வெளியேற்றம்)

பொதுவான சென்சார் பிரச்சனை

pH

1-5 நிமிடம்

6-9 (அலகு இல்லாதது)

குறிப்பு மின்முனை மாற்றம்

கரைந்த ஆக்ஸிஜன் (DO)

5-15 நிமிடம்

≥ 5 mg/L (பெறும் நடுத்தர)

சவ்வு கறைபடிதல் (உயிர் கறைபடிதல்)

கடத்துத்திறன்

5-15 நிமிடம்

வகுப்பு சார்ந்தது, µS/cm

அளவுத்திருத்த சறுக்கல்

COD (தொடர் பகுப்பாய்வி)

15-60 நிமிடம்

250மிகி/லி

ரீஜெண்ட் சோர்வு, அடைப்பு

PM10 (காற்று)

1 மணிநேரம்

50 µg/m³ (24 மணிநேரம்)

ஈரப்பதம் / ஒடுக்க விளைவு

QA/QC கொடிகள் ஏன் முக்கியம்?

QA/QC (தர உத்தரவாதம் / தரக் கட்டுப்பாடு) என்பது ஒவ்வொரு அளவீட்டிற்கும் ஒரு நம்பிக்கை லேபிளை இணைப்பதாகும். ஒரு மதிப்பு "ஓவர்ஷூட்" என்று புள்ளிவிவர ரீதியாக தோன்றினாலும், அது அளவுத்திருத்த சாளரத்திற்கு வெளியே எடுக்கப்பட்டாலோ அல்லது சென்சார் பராமரிப்பில் இருந்தாலோ அது செல்லாது. பொதுவான கொடி குறியீடுகள்:

கொடியின் பொருள் ---------------------------------- ஜி நல்லது - செல்லுபடியாகும், ஏற்றுக்கொள்ளப்பட்ட அளவீடுகள் சந்தேகத்திற்குரியது - சந்தேகத்திற்குரியது, சரிபார்ப்பு தேவைM காணவில்லை - காணவில்லை / வெற்று பதிவுC அளவீடு - அளவுத்திருத்தம்/பராமரிப்பு சாளரம், தரவு தவறானதுE மதிப்பிடப்பட்டது - கணக்கிடப்பட்ட மதிப்பிடப்பட்ட மதிப்பு

உதவிக்குறிப்பு: அதிகப்படியான பகுப்பாய்வைத் தொடங்குவதற்கு முன் எப்போதும் அளவுத்திருத்தம் மற்றும் பராமரிப்புப் பதிவுகளைத் திறக்கவும். 03:40க்கு COD ஜம்ப் ஆனது தானியங்கு ஓவர்நைட் அளவுத்திருத்தம் அல்லது ரியாஜென்ட் மாற்றத்துடன் ஒத்துப்போனால், இது "C" ஃபிளாக் டேட்டா ஆகும்; இது அலாரத்திற்கான பொருள் அல்ல, ஆனால் தரவு சுத்தம் செய்வதற்கான பொருள்.

AI உடன் ஒழுங்கின்மை ஸ்கேனிங் மற்றும் போக்கு சுருக்கம்

அட்டவணைத் தரவை விரைவாக மதிப்பாய்வு செய்ய LLMஐப் பயன்படுத்தலாம், மனிதக் கண்கள் தவறவிடக்கூடிய கொடி வடிவங்கள் மற்றும் ஆரம்ப கருதுகோள்களை வரிசைப்படுத்தலாம். முக்கியமான புள்ளி: மாதிரிக்கு மூல தரவு, அலகுகள் மற்றும் வரம்புகளை ஒன்றாகக் கொடுத்து, அதிலிருந்து சரிபார்க்கக்கூடிய அவதானிப்புகளைக் கோருதல்.

பலவீனமான ப்ராம்ப்ட்: "இந்த தண்ணீரின் தர தரவுகளில் ஏதேனும் சிக்கல் உள்ளதா?" வலுவான அறிவுறுத்தல்: "கழிவு நீர் வெளியேற்றும் புள்ளியின் 15 நிமிட கண்காணிப்புத் தரவு கீழே உள்ளது (நெடுவரிசைகள்: நேரம், COD [mg/L], கடத்துத்திறன் [µS/cm], pH, QA கொடி). வெளியேற்ற COD வரம்பு 250 mg/L, pH வரம்பு 6-9. உங்கள் பணி: 1) வரம்புடன் 'V. 2 கோடு' வரம்பை மீறுகிறது. கொடிகள்; C/M/S கொடிகளை தனித்தனியாக 'சரிபார்ப்பு தேவை' பட்டியலில் பிரிக்கவும் தரவுகளுடன் சரிபார்க்கப்பட்டது, அதற்குப் பதிலாக 'மூலத் தரவுடன் உறுதிப்படுத்தப்பட வேண்டும்' என்று எழுதுங்கள்.

சக்திவாய்ந்த ப்ராம்ட் மாதிரியை ஒரு உறுதியான செயல்முறையுடன் பிணைக்கிறது, கொடிகளை பாகுபடுத்துகிறது மற்றும் மாயத்தோற்றத்தை கட்டுப்படுத்துவதற்கான வெளிப்படையான "உங்களுக்குத் தெரியாவிட்டால், சொல்ல வேண்டாம்" என்ற அறிவுறுத்தலை உள்ளடக்கியது (உருவாக்கப்பட்ட விளக்கம்).

எச்சரிக்கை: LLM ஆனது எண்ணியல் வரம்பு ஒப்பீடுகளில் பிழைகளைச் செய்யலாம்; 248 mg/L ஐ "அதிகமாக" அல்லது 252 mg/L "வரம்பிற்குள்" என தவறாக லேபிளிடலாம். மூல அட்டவணையில் இருந்து அல்லது சூத்திரத்தின் மூலம் (எ.கா. மதிப்பு > 250) மாதிரி பட்டியல்களின் ஒவ்வொரு மீறலையும் மீண்டும் சரிபார்க்கவும். மாதிரி ஸ்கேன் செய்கிறது; நீங்கள் வரம்பை முடிவு செய்யுங்கள்.

விடுபட்ட தரவு உத்தி (கணிப்பு)

சென்சார்கள் அடைக்கப்படுகின்றன, மின்சாரம் வெளியேறுகிறது, தொடர்பு உடைகிறது. விடுபட்ட தரவை நீங்கள் எவ்வாறு நிரப்புகிறீர்கள் என்பது உங்கள் போக்கு மற்றும் அதிகப்படியான பகுப்பாய்வை நேரடியாகப் பாதிக்கிறது. தவறான குற்றச்சாட்டானது, இல்லாத ஓவர்ஷூட்டை "உருவாக்கும்" அல்லது உண்மையான ஓவர்ஷூட்டை மறைக்கலாம்.

np# 15 நிமிட COD தொடராக pdimport numpy ஆக பாண்டாக்களை இறக்குமதி செய்; -999 சாதனக் குறியீடு "தரவு இல்லை" "கொடி": ["G", "G", "M", "M", "G", "S", "G", "G"],})# 1) சாதனக் குறியீடுகளை உண்மையான விடுபட்ட மதிப்புக்கு மாற்றவும் 2 படிகள்); கொடி imputationgap = df["koi"].isna()df["koi_full"] = df["koi"].interpolate(limit=2)df.loc[gap & df["koi_full"].notna(), "flag"] = "E" # G ன் ஸ்கேனிங்கிற்கான வரையறுக்கப்பட்ட அளவீடுகள்) — மதிப்பிடப்பட்ட # 3 அளவீடுகள் மதிப்புகள் மட்டும் = df[(df["koi_full"] > 250) & (df["flag"] == "G")]அச்சு(asyms[["ts", "koi_full", "flag"]])

இந்த அணுகுமுறையில், குறுகிய இடைவெளிகள் நிரப்பப்படுகின்றன, ஆனால் நிரப்பப்பட்ட மதிப்புகள் E உடன் குறிக்கப்படுகின்றன மற்றும் மிகைப்படுத்தல் முடிவு உண்மையான அளவீட்டில் (G) மட்டுமே எடுக்கப்படுகிறது. 1240 mg/L இன் மதிப்பு S (சந்தேகத்திற்குரியது) எனக் கொடியிடப்பட்டிருப்பதால், அது தானியங்கி மீறல் பட்டியலில் சேர்க்கப்படவில்லை; முதலில் சரிபார்க்கப்பட்டது.

சென்சார் சறுக்கல் மற்றும் அளவுத்திருத்தம் மூலம் சரிபார்ப்பு

ஓவர்ஷூட் உண்மையானதா அல்லது சென்சார் டிரிஃப்ட் என்பதை தீர்மானிப்பதற்கான தங்கத் தரநிலையானது ஒரே நேரத்தில் கிராப் மாதிரியின் ஆய்வக விளைவாகும். எடுத்துக்காட்டாக, தொடர்ச்சியான பகுப்பாய்வி 03:40 மணிக்கு 1240 mg/L ஐக் காட்டினால், அந்த நேரத்தில் எடுக்கப்பட்ட மாதிரியின் ஆய்வக அளவிடப்பட்ட மதிப்பு 205 mg/L ஆக இருந்தால், சிக்கல் உணரியில் உள்ளது; வெளியேற்றவில்லை. இது புலம் மற்றும் ஆய்வகத்துடன் கூடிய AI வெளியீடு அல்லது SCADA அலாரத்தின் முக்கோணமாகும்.

சிறிய வழக்கு

குடிநீர் தொட்டியில் உள்ள டர்பிடிட்டி சென்சார் மூன்று நாட்களாக படிப்படியாக அதிகரித்து வரும் போக்கைக் காட்டுகிறது. ஷிப்ட் குழு LLMக்கு வாராந்திர தரவை வழங்கியது; "மழைக்கு பிந்தைய ஓட்டம் காரணமாக கொந்தளிப்பில் உண்மையான அதிகரிப்பு சாத்தியமாகும்" என்று மாதிரி கூறினார். இருப்பினும், பொறியாளர் வானிலை பதிவேடுகளைப் பார்த்தபோது, ​​அந்த வாரம் இப்பகுதியில் மழை பெய்யவில்லை. புல ஆய்வின் போது, ​​சென்சார் ஆப்டிகல் விண்டோவில் உயிரி கறை படிந்திருப்பது புரிந்தது; சுத்தம் மற்றும் அளவுத்திருத்தத்திற்குப் பிறகு, மதிப்புகள் இயல்பு நிலைக்குத் திரும்பியது. "சாத்தியமான உண்மையான நிகழ்வு" பற்றிய LLM இன் விளக்கம் வெளிப்புற தரவு (மழைப் பதிவு) மற்றும் களக் கட்டுப்பாடு ஆகியவற்றால் மறுக்கப்பட்டது. பாடம்: மாதிரி நம்பத்தகுந்த ஆனால் தவறான கதையை உருவாக்கலாம்; சரிபார்ப்பு சங்கிலி அதைப் பிடிக்கிறது.

பொதுவான தவறுகள்

• அளவுத்திருத்தம்/பராமரிப்பு சாளரத்தில் (கொடி சி) தரவை உண்மையான மிகுதியாக தவறாகப் புரிந்துகொள்வது.
• காணாமல் போன தரவை அமைதியாக நிரப்புதல் மற்றும் கணக்கிடப்பட்ட மதிப்புகளை உண்மையான அளவீடுகளாகப் புகாரளித்தல்.
• தொடர்ச்சியான நிகழ்வுக்காக ஒரு ஒற்றைத் துள்ளல் (ஒற்றை வரி, மின்சார இரைச்சல்) தவறாகப் புரிந்துகொள்வது.
• LLMன் பிரேக்பாயிண்ட் ஒப்பீடுகளை கண்மூடித்தனமாக நம்புதல் (248 vs 250).
• ஒரே அளவுருக்கள் (pH + கடத்துத்திறன் + COD) குறுக்கு சரிபார்ப்பு இல்லாமல் ஒற்றை அளவுருவின் அடிப்படையில் முடிவுகளை எடுப்பது.
• கிராப் சாம்பிள்/ஆய்வக உறுதிப்படுத்தலுடன் சென்சார் ட்ரிஃப்ட்டை நிராகரிக்காமல் அலாரத்தை "உண்மையானது" என்று அறிவித்தல்.
• உள்ளூர் நேரம்/UTC மற்றும் கோடை கால மாற்றங்களை புறக்கணித்து நிகழ்வுகளை தவறான நேரத்திற்கு காரணம் காட்டுதல்.

சுருக்கமாக

• சுற்றுச்சூழல் கண்காணிப்பு தரவு ஒரு நேரத் தொடர்; போக்கு, பருவநிலை மற்றும் ஒழுங்கின்மை ஆகியவற்றை வேறுபடுத்தாமல் அதை விளக்க முடியாது.
• QA/QC கொடிகள் தரவுகளின் நம்பிக்கைக் குறிச்சொல்; சரியான (ஜி) தரவுகளிலிருந்து மட்டுமே முடிவுகள் எடுக்கப்படுகின்றன.
• LLM என்பது ஒழுங்கின்மை ஸ்கேனிங், அதிகப்படியான பட்டியல் மற்றும் போக்கு சுருக்கத்திற்கான விரைவான முதல் வாசிப்பு உதவியாளர், முடிவெடுப்பவர் அல்ல.
• விடுபட்ட தரவு மூலோபாயம் (இம்பூட்டேஷன்) வெளிப்படையானதாக இருக்க வேண்டும்; நிரப்பப்பட்ட மதிப்புகள் குறிக்கப்பட்டுள்ளன மற்றும் அதிகப்படியான முடிவின் அடிப்படையில் எடுக்கப்படவில்லை.
• சென்சார் டிரிஃப்ட், பயோஃபுல்லிங் மற்றும் அளவுத்திருத்த சறுக்கல் ஆகியவை "ஸ்பூரியஸ் ஓவர்ஷூட்டை" உருவாக்குகின்றன; கிராப் மாதிரி மற்றும் ஆய்வக உறுதிப்படுத்தல் ஆகியவற்றை வேறுபடுத்துகிறது.
• AI வெளியீடு என்பது ஒரு கருதுகோள்; அளவுத்திருத்தப் பதிவு மற்றும் புலக் கட்டுப்பாடு மூலம் சரிபார்ப்பு இல்லாமல் மூலத் தரவு அதிகாரப்பூர்வ அறிக்கையை உள்ளிடாது.

விண்ணப்ப பணி

உங்களிடம் உள்ள (அல்லது செயற்கையாக உருவாக்கப்படும்) 24-மணிநேர, 15-நிமிட கண்காணிப்பு தரவுத்தொகுப்பை எடுத்து (குறைந்தது ஒரு அளவுரு: COD, pH அல்லது PM10) மற்றும் QA/QC கொடிகள் மற்றும் வரம்பு மீறல்களை பட்டியலிடும் இயக்கத்தை உருவாக்கவும். முதலில், ஒரு வலுவான வரியில் எழுதி, ஒழுங்கின்மை மற்றும் அதிகப்படியான ஸ்கேனிங்கிற்கு LLM ஐக் கேளுங்கள்; பின்னர் பைத்தானில் உள்ள மதிப்பு > வரம்பு வடிப்பானுடன் அதே மீறல்களை சுயாதீனமாக சரிபார்க்கவும். குறைந்தபட்சம் ஒரு இம்ப்யூடேஷன் உதாரணத்தை உருவாக்கி, நிரப்பப்பட்ட மதிப்புகளை E உடன் குறிக்கவும். ஒவ்வொரு "ஓவர்ஷூட்" க்கும் நீங்கள் "கிராப் சாம்பிள்/கலிப்ரேஷன் ரெக்கார்டு மூலம் இதை எப்படி சரிபார்க்கலாம்?" ஒரு வாக்கியத்தில் கேள்விக்கு பதிலளிக்கவும். இறுதியில், LLM ஆல் கொடியிடப்பட்ட எத்தனை முரண்பாடுகள் உண்மையான நிகழ்வுகள் மற்றும் எத்தனை சென்சார்/தரவு சிக்கல்கள், நியாயப்படுத்தல்களுடன் அட்டவணைப்படுத்தவும்.