Добици:
- Способност примене концепта временских серија, прелаза прага и контроле квалитета сензора (КА/КЦ).
- Способност креирања скенирања аномалија, резимеа тренда и стратегије података који недостају са АИ
- Способност верификације прекорачења и аномалија на које је указао АИ са сировим подацима и калибрацијом
Ви сте сменски инжењер на постројењу за пречишћавање отпадних вода организоване индустријске зоне. Станица за континуирано праћење која се налази на излазу бележи растворени кисеоник (ДО), пХ, проводљивост и хемијску потребу за кисеоником (ЦОД) сваких 15 минута. У 03:40 ујутру, вредност ЦОД-а на екрану СЦАДА скаче на 1,240 мг/Л и систем подиже аларм. Граница испуштања 250 мг/Л. Питање које треба да поставите пре него што почнете да паничарите је: да ли је ово стварни инцидент загађења или је у питању снимак сензора? У овој јединици ћете научити како да користите језички модел (ЛЛМ) као „помоћника за прво читање“ за скенирање података временских серија, обележавање аномалија и генерисање сажетака трендова; Али разговарамо о томе зашто он никада неће препустити коначну одлуку њој.
Анатомија података континуираног праћења
Подаци о мониторингу животне средине су временске серије које се прикупљају у редовним временским интервалима. Свака тачка мерења носи временску ознаку, вредност и идеално ознаку квалитета. Да бисте добили смисао у сировим подацима, морате разликовати три концепта:
- Тренд: Дугорочни тренд (нпр. сезонско повећање проводљивости).
- Сезонство/циклус: обрасци који се понављају током дана или године (нпр. повећање ДО уз помоћ дневне фотосинтезе).
- Аномалија: Појединачне или краткорочне вредности које статистички одступају од очекиваног обрасца.
Параметар
Типичан опсег праћења
Ограничење узорка (пражњење)
Уобичајени проблем са сензором
пХ
1-5 мин
6-9 (без јединица)
Померање референтне електроде
растворени кисеоник (ДО)
5-15 мин
≥ 5 мг/Л (медиј за пријем)
Загађивање мембране (биообраштање)
проводљивост
5-15 мин
Зависно од класе, µС/цм
Калибрациони помак
ЦОД (континуални анализатор)
15-60 мин
250мг/Л
Исцрпљеност реагенса, зачепљење
ПМ10 (ваздух)
1 сат
50 µг/м³ (24 сата)
Ефекат влаге/кондензације
Зашто су заставице КА/КЦ виталне?
КА/КЦ (осигурање квалитета/контрола квалитета) се односи на причвршћивање ознаке поверења на свако мерење. Чак и ако се статистички чини да вредност представља „прекорачивање“, она је неважећа ако је узета изван прозора за калибрацију или ако је сензор на одржавању. Уобичајени кодови заставе:
Ознака Значење----- -----------------------------Г Добро — важећа, прихваћена мереСумња — сумња се, потребна је верификацијаМ Недостаје — недостаје / празан записЦ Калибрација — прозор за калибрацију/одржавање, подаци неважећиЕ Процењена — импутирана процењена вредност
Савет: Увек отворите дневнике калибрације и одржавања пре него што започнете анализу прекорачења. Ако се ЦОД скок у 03:40 поклопи са аутоматском калибрацијом преко ноћи или променом реагенса, ово је податак са ознаком „Ц“; То није предмет за аларм, већ за чишћење података.
Скенирање аномалија и резиме тренда са АИ
Можете користити ЛЛМ да брзо прегледате табеларне податке, означите обрасце које би људско око могло пропустити и разврстати почетне хипотезе. Критична тачка: давање модела сирових података, јединица и ограничења заједно и тражење проверљивих запажања од њега.
ВЕАК ПРОМПТ: "Да ли постоји проблем са овим подацима о квалитету воде?" ЈАКО УПИТ: „Испод је 15 минута праћења података о тачки испуштања отпадне воде (колоне: време, ЦОД [мг/Л], проводљивост [µС/цм], пХ, КА ознака). Граница ЦОД испуштања је 250 мг/Л, пХ опсег 6-9. Ваш задатак: 1) Наведите само временске ознаке са ограничењем Его)уГате са ограничењем. одвојите оне са ознакама Ц/М/С у засебну листу 'потребна за провјеру' 3) Наведите за свако прекорачење да ли се ради о појединачном скоку (појединачна линија) или о континуираном порасту (>= 3 узастопне линије 4) Имајте на уму да ли је проводљивост и пХ промјена истовремено (истовремена промјена која не може бити потврђена). уместо тога напишите 'морају бити потврђени сировим подацима';
Моћни промпт повезује модел са конкретном процедуром, анализира заставице и укључује експлицитну инструкцију „ако нисте сигурни, не говори“ за ограничавање халуцинације (измишљена интерпретација).
Опрез: ЛЛМ може направити грешке у нумеричким поређењима прагова; Може погрешно означити 248 мг/Л као „прекорачити“ или 252 мг/Л као „унутар границе“. Поново проверите СВАКО прекорачење на листи модела, било визуелно из необрађене табеле или помоћу формуле (нпр. вредност > 250). Модел скенира; Ви одлучујете о граници.
Недостаје стратегија података (импутација)
Сензори се зачепљују, струја нестаје, комуникација се прекида. Начин на који попуњавате податке који недостају директно утиче на вашу анализу тренда и прекорачења. Лажна импутација може „направити“ прекорачење које не постоји или сакрити стварно прекорачење.
импорт пандас ас пдимпорт нумпи ас нп# 15 минут ЦОД сериес; -999 код уређаја "без података" "застава": ["Г", "Г", "М", "М", "Г", "С", "Г", "Г"],})# 1) Претворите кодове уређаја у стварне недостајуће валуедф.лоц[дф["кои"] == -999, "кои"] = нп.нан# интерполатион фор С Лине<2п); флаг импутатионгап = дф["кои"].исна()дф["кои_фулл"] = дф["кои"].интерполате(лимит=2)дф.лоц[гап & дф["кои_фулл"].нотна(), "флаг"] = "Е" # Процењено# 3) Процењено# 3) — Одлуку о прекорачењу граничних вредности (ОН) Скенирање прекорачења границе (ОН) дф[(дф["кои_фулл"] > 250) & (дф["флаг"] == "Г")]принт(асимс[["тс", "кои_фулл", "флаг"]])
У овом приступу, кратке празнине се попуњавају, али попуњене вредности су означене са Е и одлука о прекорачењу се доноси само на основу стварног мерења (Г). Пошто је вредност од 1240 мг/Л означена као С (сумњиво), она није укључена у листу аутоматских прекорачења; прво се верификује.
Верификација помаком сензора и калибрацијом
Златни стандард за одређивање да ли је прекорачење стварно или померање сензора је лабораторијски резултат истовременог хватања узорка. На пример, ако је континуирани анализатор показао 1240 мг/Л у 03:40, а лабораторијски измерена вредност узорка узетог у том тренутку износи 205 мг/Л, проблем је у сензору; не пражњење. Ово је триангулација АИ излаза или СЦАДА аларма са тереном и лабораторијом.
мини цасе
Сензор замућености у базену са пијаћом водом показивао је постепено растући тренд током три дана. Тим смене је давао недељне податке ЛЛМ; „Могуће је стварно повећање замућености због отицања после падавина“, рекао је модел. Међутим, када је инжењер погледао метеоролошке записе, видео је да те недеље у региону није било кише. Током теренског прегледа установљено је да се на оптичком прозору сензора формирало биообраштање; Након чишћења и калибрације, вредности су се вратиле на нормалу. Интерпретација ЛЛМ-а „могућег стварног догађаја“ оповргнута је екстерним подацима (запис падавина) и теренском контролом. Поука: Модел може произвести веродостојну, али лажну причу; ланац верификације га ухвати.
Уобичајене грешке
- Грешка података у прозору за калибрацију/одржавање (застава Ц) за стварно прекорачење.
- Нечујно попуњавање података који недостају и пријављивање импутираних вредности као стварних мерења.
- Грешка појединачног одбијања (једна линија, могуће електрични шум) за континуирани догађај.
- Слепо верујући ЛЛМ-овим поређењима тачака прекида (248 наспрам 250).
- Доношење одлука на основу једног параметра без унакрсне провере истовремених параметара (пХ + проводљивост + ЦОД).
- Проглашавање аларма „стварним“ без искључивања померања сензора са потврдом узорка/лабораторије.
- Игнорисање померања локалног времена/УТЦ и летњег времена и приписивање догађаја у погрешно време.
Укратко
- Подаци о мониторингу животне средине су временске серије; Не може се тумачити без разликовања тренда, сезоналности и аномалије.
- КА/КЦ заставице су ознака поверења података; одлуке се доносе само на основу валидних (Г) података.
- ЛЛМ је брзи помоћник за прво читање за скенирање аномалија, листање прекорачења и резиме тренда, а не доносилац одлука.
- Стратегија података који недостају (импутација) треба да буде транспарентна; Попуњене вредности су означене и не узимају се као основа за одлуку о прекорачењу.
- Померање сензора, биообраштање и померање калибрације производе „лажно прекорачење“; разликује граб узорак и лабораторијску потврду.
- АИ излаз је хипотеза; Необрађени подаци не улазе у службени извештај без провере записником калибрације и теренском контролом.
Задатак апликације
Узмите 24-часовни, 15-минутни скуп података за праћење који имате (или синтетички генеришете) (најмање један параметар: ЦОД, пХ или ПМ10) и креирајте рад који додаје заставице КА/КЦ и наводи прекорачења ограничења. Прво, напишите снажан упит и замолите ЛЛМ за скенирање аномалија и прекорачења; Затим независно проверите иста прекорачења са филтером вредности > лимит у Питхон-у. Направите барем један пример импутације и означите попуњене вредности са Е. За свако „прекорачивање“ налазите „како да ово проверим помоћу записа узорка/калибрације?“ Одговорите на питање у једној реченици. На крају, табеларизирајте колико су аномалија које је означио ЛЛМ стварни догађаји, а колико проблеми са сензорима/подацима, са оправдањима.