Добивки:
- Способност да се разберат фазите на MLOps (ослободување, распоредување, следење, преквалификација, враќање) и префрлање на моделот и планирање на набљудувано распоредување
- Способност да се применат принципите на правичност, транспарентност и отчетност на моделот и да се разликува статистичката точност од етичката прифатливост
- Способност да се заштитат личните податоци со принципите KVKK/GDPR и да се додели конечна одговорност на човекот во одлуките со големо влијание
Да тренираш модел и да добиеш висока оценка не е крај, туку средина. Вистинската вредност доаѓа кога моделот се става во производство и работи сигурно, се следи со текот на времето без да се влошува, а целиот процес се спроведува во етички и законски граници. Оваа завршна единица комбинира три теми: MLOps (дисциплина на одење во живо, следење и одржување на модели), етика (праведност, транспарентност, незлобност) и приватност (заштита на лични податоци). Вештачката интелигенција произведува код, листи за проверка и нацрти во овие области; Но, луѓето одлучуваат дали моделот оди во живо, кој ќе биде погоден и кои податоци може да се користат. Овие одлуки не се технички, туку одговорни одлуки.
MLOps: моделот живее како производ
MLOps (Операции за машинско учење - практика на извршување, следење и ажурирање на моделите за машинско учење во производството) е адаптација на DevOps во развојот на софтвер кон науката за податоци. Основната идеја: моделот не е датотека која е обучена еднаш и заборавена, туку жив производ кој бара постојано одржување. Главните фази:
1. Верзија: Кодот (Git), податоците и моделот се верзии заедно; Се евидентира кој модел со кои податоци и код е произведен.
2. Распоредување: Моделот се става во живо како API или серија работа. Обично прво се дава на мала публика (дистрибуција во сенка/канари).
3. Мониторинг: Перформансите на моделот и влезните податоци постојано се следат.
4. Преквалификација: кога перформансите се намалуваат, моделот се преквалификува со ажурирани податоци.
Промена на моделот: тивко изобличување
Најголема опасност во производството е дрифтот на моделот (model drift / data drift). Светот се менува; Условите на кои сте го обучиле вашиот модел (однесување на клиентите, цени, сезона, законска регулатива) се менуваат со текот на времето и моделот почнува да застарува. На пример, моделот на побарувачка обучен пред пандемијата е целосно погрешен за време на пандемијата. Лебдат се јавува во две форми: податочен дрифт (дистрибуција на промените на влезните податоци) и дрифт на концептот (односот помеѓу влезните и целните промени). Начинот на снимање е следењето: постојано следење на влезната дистрибуција, распределбата на предвидувањата и (ако е можно) перформансите во споредба со вистинскиот резултат.
Внимание: моделот пуштен во производство сам ќе се влоши; Не се работи за „ако“ туку „кога“. Распоредувањето модели без поставување на мониторинг е како возење автомобил без да се контролира неговиот мотор; Еден ден само седи таму тивко и не забележуваш.
MLOps елемент
Цел
Доколку се занемари
Верзија
Знаејќи што се произведува
Не може да се репродуцира, не може да се следи
Мониторинг
Рано гледање на лапсусот
Моделот тивко се распаѓа
преквалификација
останете во тек
Предвидувањата стареат
Враќање назад
враќање на лошиот модел
Неисправниот модел останува во живо
Документација
транспарентност, промет
Информациите се заглавуваат во една личност
Етика: моделските одлуки влијаат на луѓето
Моделите на податоци се повеќе се користат во одлуките кои влијаат на животот на луѓето: кредит, вработување, осигурување, правда. Со оваа моќ доаѓа и одговорноста. Главните етички ризици:
Пристрасност и дискриминација: Моделот може да научи и да ги овековечи неправдите во историските податоци. Ако на одредена група и биле дадени помалку кредити во минатото, моделот претпоставува дека ова е „правило“ и ја автоматизира дискриминацијата. Затоа анализата на правичност - проверка дали моделот функционира слично за различни групи (пол, возраст, регион) - е од суштинско значење.
Транспарентност и објаснување: Треба да можете да објасните зошто моделот отфрлил некоја личност. „Црната кутија го кажа тоа“ е етички и често правно неприфатливо. Затоа алатките за објаснување (важноста на карактеристиките, вредностите на SHAP) се вредни.
Одговорност: Кој е одговорен ако моделот донесе погрешна одлука? Одговорот е секогаш личност/институција, а не модел. Човечкиот надзор (human-in-the-loop - човек кој ја одобрува конечната одлука) треба да се зачува во одлуките со големо влијание.
Внимание: Моделот може да биде статистички „точен“, но етички неприфатлив. Високо прецизен модел кој систематски ѝ става на штета на една група не е добар модел. Искреноста не е замена за правдата.
Приватност: личните податоци се внимателно заштитени
Суровина на науката за податоци често се лични податоци, а овие податоци се заштитени со закон: KVKK во Турција, GDPR во Европа. Основните принципи се: ограничување на целта (податоците не се користат за други цели освен за целта за која се собрани), минимизирање на податоците (не се собираат/чуваат повеќе податоци отколку што е потребно), анонимизација (информациите за идентификација се отстранети) и безбедност (податоците се чуваат шифрирани и пристапот е ограничен). Критично правило кога работите со алатки за вештачка интелигенција: никогаш не ставајте вистински лични податоци во јавна алатка за вештачка интелигенција. Најчесто за анализа се доволни дијаграм и анонимен/синтетички примерок.
Дополнителен акцент во контекст на безбедноста на информациите: користете алатки и техники за наука за податоци само за податоци и системи за кои имате авторитет, за одбранбени и легитимни цели на анализа. Неовластен пристап до туѓи податоци, повторна идентификација на поединци (вадење идентитет од анонимни податоци) или неовластено профилирање е и нелегално и неетичко.
три мини футроли
Случај 1 - Неследен колапс. Компанија за е-трговија започна во живо со својот модел за препораки и не постави следење. По 4 месеци, каталогот на производи е многу променет; моделот продолжи да препорачува застарени производи, а стапката на конверзија тивко падна за 30%. Никој не забележа со месеци. Лекција: распоредувањето без мониторинг станува слепо.
Случај 2 - Скриена дискриминација. Моделот за скрининг за вработување дозна за родовата нерамнотежа во историските податоци и систематски ги потценуваше женските кандидатки. Тоа не беше забележано бидејќи немаше правична анализа; Тоа беше откриено во ревизија и институцијата се соочи со сериозен репутациски/правен ризик. Лекција: групната контрола на правичноста е од суштинско значење во моделите со големо влијание.
Случај 3 - Нарушување на доверливоста. Еден аналитичар вчита датотека што содржи вистински е-пошта на клиенти и историја на купување во јавна алатка за вештачка интелигенција и рече: „Сумирајте ги сегментите“. Личните податоци ја напуштија институцијата; Процесот на КВКК започна. Точниот начин беше да се отстранат полињата за идентитет и да се споделуваат само анонимни својства. Поука: вистинските лични податоци не влегуваат во отворената алатка.
Четири шаблони за копирање
1) Список за проверка пред распоредување:
Вашата улога: MLOps консултант. Наведете ги работите што треба да ги проверам пред да го ставам моделот во производство: верзии, метрика за следење, план за враќање, праг на изведба, предупредување за префрлање на податоци, одговорно лице. Додајте објаснување со една реченица „зошто е важно“ за секоја ставка. Јас ќе одлучам.
2) Дизајн за следење на промена на моделот:
Предложете план за следење на дрифт за модел на класификација во производството: (1) кои влезни дистрибуции треба да ги надгледувам, (2) каков аларм за дистрибуцијата на предвидување, (3) како да се споредат перформансите кога ќе пристигне вистинскиот резултат, (4) на кој праг треба да се активира преквалификацијата. Обезбедете и скелет со код.
3) Контрола на правичност:
Напишете код што ги споредува перформансите на мојот модел за различни групи (на пр. возрасна група, регион): потсетување/прецизност и стапка на позитивна одлука за секоја група. Предупредете ако има значителна разлика помеѓу групите. Изработка на каузални/политички толкувања; Само покажете ми ги разликите и ќе ја разгледам одлуката.
4) Претходна проверка на приватноста:
Пред да дадете податоци на алатка за вештачка интелигенција, проверете: дали има лични/идентитетски податоци (име, е-пошта, лична карта, телефон, адреса, IP) во списокот со колони подолу? Ако е така, наведете кои треба да се отстранат или анонимизираат. Колони: [листа]. Цел: да се сподели само анонимна шема.
Слаб промпт / Силен промпт
Слаба навестување:
Мојот модел е подготвен, оди во живо.
Распоредувањето не е еден чекор; Одење во живо без следење, враќање назад, правичност и контрола на приватноста е тивка покана за катастрофа.
Моќен потсетник:
Вашата улога: одговорен консултант за MLOps. Мојот модел е обучен, сакам целосна подготовка пред да одам во живо. Создадете: (1) листа за проверка пред распоредувањето, (2) план за следење на дрифт, (3) код за проверка на правичност базирана на група, (4) проверка на приватноста (дали има лични податоци). Исто така, предложете како да се заштити човечката согласност при одлуки со големо влијание. Конечните одлуки се мои.
Овде дистрибуцијата, следењето, правичноста и приватноста се третираат како единствен одговорен процес.
Вообичаени грешки
- Распоредување на модел без поставување на мониторинг. Моделот тивко се лизга и искривува; Може да поминат месеци за да се забележи.
- Заобиколувајќи ја проверката на правдата. Моделот со висока верност може систематски да ја загрози групата.
- Донесување необјаснета одлука за црната кутија. Одлуките со големо влијание мора да бидат објаснети; „Така рече манекенката“ не е доволно.
- Давање вистински лични податоци за отворање алатка за вештачка интелигенција. Прекршување на KVKK/GDPR; Дијаграмот и анонимниот пример се доволни.
- Делегирање на одлуката на моделот. Одговорноста секогаш лежи кај некоја личност; Се одржува надзор над луѓето со големо влијание.
Совет: Пред да одите во живо со секоја манекенка, поставете едно прашање гласно: „Ако овој модел утре тивко раскине или неправедно казни група, како ќе забележам и ќе го вратам назад?“ Доколку немате јасен одговор на ова прашање, моделот сè уште не е подготвен за производство.
Сумирано
Работата на моделот не завршува со висока оценка, туку со сигурно и одговорно работење во производството. MLOps е дисциплина за одење во живо, следење за дрифт, преквалификација и враќање на моделот; Распоредувањето без следење е тивок колапс. Етиката бара правичност, транспарентност и отчетност на моделот; статистичката точност не е замена за етичката прифатливост. Приватноста значи заштита на личните податоци со принципите на KVKK/GDPR и чување на вистинските податоци подалеку од отворени алатки. Сите овие одлуки не се технички туку одговорни одлуки и секогаш припаѓаат на човек.
Задача за апликација
Помислете на тоа како да сакате да ставите модел што сте го изградиле (или хипотетички) во производство и да пополните четири листи: (1) листа за проверка пред распоредувањето, (2) метрики на дрифт што ќе ги следите, (3) план за контрола на правичност базиран на група, (4) контрола на приватноста. Потоа напишете конкретен одговор на прашањето „Како ќе забележам ако утре тивко пукне и ќе го вратам?
листа за проверка
- [ ] Дали го распоредувам моделот со мониторинг (предупредување за лизгање) и план за враќање?
- [ ] Дали го проверив јазот за правичност/перформанси за различни групи?
- [ ] Дали одржував човек во јамка за одлуки со големо влијание?
- [ ] Дали ги заштитив личните податоци со принципите на KVKK/GDPR и ги чував подалеку од отворени алатки?
- [ ] Дали ја ставив крајната одговорност на човекот, а не на моделот?
Модул испит
1. Научник за податоци ја прашува вештачката интелигенција: „Колку е точна случајната шума на овие податоци? без воопшто да го обучи моделот и директно го става одговорот „89%“ во презентацијата. Која е основната грешка во овој пристап?
- А) Чекање на метрика без давање податоци и модели на вештачката интелигенција; Игнорирање дека бројот што го произведува е лажен и дека вистинската метрика може да се најде само преку обука и тестирање ✔
- Б) Мора да користи логистичка регресија наместо случајна шума
- В) Стапката на точност секогаш мора да биде над 90%.
- Г) Строго е забрането вклучување на метрика во презентацијата
Објаснување: Вештачката интелигенција не може да произведе метрика без пристап до моделот и податоците; Бројката што ја дава е халуцинација (измислена). Метриката се добива со пресметување на самиот научник за податоци само откако моделот навистина е обучен и тестиран. Непроверениот излез е како непотпишан извештај.
2. Колоната „причина за затворање на сметката“ е вклучена кога се собираат податоци за прогноза за пречки; Оваа колона се пополнува само откако клиентот ќе замине. Моделот дава 97% на тест сет, но не работи во производството. Кое е името и причината за оваа состојба?
- А) Прекумерно учење; Моделот е премногу сложен
- Б) Протекување на податоци; ✔ Користење на информации кои нема да бидат достапни во моментот на предвидување, но се резултат на целта, како карактеристика
- В) Недоволно учење; Моделот е премногу едноставен
- Г) Пристрасност во изборот; мала големина на примерокот
Објаснување: Ова е класично протекување податоци: „причината за затворање“ е резултат на целта и сè уште е празна во времето на предвидувањето. Моделот го прави трикот со ова идно знаење, изгледа одлично на тест сет, но паѓа во производството бидејќи таа колона е празна. Прашањето „дали го имам во моментот на предвидување“ треба да се постави на секоја колона.
3. Аналитичарот ги пополнува вредностите што недостасуваат во колоната за приходи со средната вредност; но исчезнатите всушност припаѓаат на сегментот со ниски приходи кои никогаш не пријавиле приход (систематски исчезнати). Зошто ова полнење е неточно?
- А) Средната вредност е секогаш поголема од средната, затоа е неточна
- Б) Вредностите што недостасуваат никогаш не треба да се пополнуваат, тие секогаш треба да се бришат
- В) Пополнувањето на систематската празнина со средната вредност ги искривува податоците со вештачко претставување на таа група; Пополнувањето беше направено без да се постави прашањето „зошто е празно?“ ✔
- Г) Пресметувањето на просекот создава проблем со перформансите бидејќи е премногу бавен
Објаснување: Причината за недостатокот го одредува решението. Кога систематскиот недостаток (јазот концентриран во одредена група) се пополнува со просекот, таа група станува вештачки „просечен приход“ и податоците се искривуваат. Пред да го пополните, треба да се постави прашањето „зошто е празно“; не треба да се пополнува систематско/значајно средство што недостасува.
4. Еден тим наоѓа корелација од 0,78 помеѓу „трошење на реклами“ и „продажба“ и го удвојува буџетот; Сепак, она што всушност ги активира и двете се сезонските кампањи. Кој принцип во статистиката ја објаснува оваа грешка?
- А) Корелацијата не е каузалност; Скриена трета променлива може да влијае на двете променливи ✔
- Б) Бидејќи корелацијата од 0,78 е премногу ниска, врската треба да се игнорира
- В) Корелацијата секогаш докажува каузалност, тимот го сфати правилно
- Г) Корелацијата помеѓу рекламирањето и продажбата не може математички да се пресмета.
Објаснување: Корелацијата не е каузација. Двете променливи може да дејствуваат заедно бидејќи скриената трета променлива (тука сезонските кампањи) влијае на двете. Заклучокот дека едното предизвикува друго може да се утврди само преку експеримент и теренско знаење; Самиот број на корелации не е доказ за каузалноста.
5. Моделот за откривање измами покажува 99,2% точност и тимот слави; Сепак, стапката на лажни трансакции во податоците е само 0,8%, а отповикувањето на моделот е 6%. Што покажува оваа табела?
- А) Моделот е совршен бидејќи точноста е над 99%
- Б) Точноста е погрешна со неизбалансирани податоци; Моделот ги пропушта речиси сите фалсификати (низок отповик), треба да се погледне соодветната метрика ✔
- В) Нема проблем бидејќи повлекувањето на моделот е големо
- Г) Немаше потреба да се изгради модел бидејќи стапката на лажна беше мала
Објаснување: „Точноста“ е погрешна во неизбалансираните податоци. Кога моделот ја нарекува речиси секоја трансакција „чиста“, таа добива висока точност бидејќи фалсификатите се многу малку, но не успева да фати фалсификати, што е неговата главна цел (потсети 6%). Затоа, кај неурамнотежените проблеми, фокусот не е на точноста, туку на матрицата за конфузија и метриката погодна за целта на работата, како што е отповикување/прецизност.
6. Во проект за предвидување на побарувачката, податоците зависни од времето случајно се делат на обука/тестирање. Моделот дава 93% точност, но паѓа во производството. Кој треба да биде правилниот пристап за поделба?
- А) Зголемување на тест сет, на пр. разделување 50%/50%
- Б) Користење на покомплексен модел
- В) Целосно отстранете ја партицијата и обучете ги со сите податоци
- Г) Хронолошка поделба: обука со стариот период и тестирање со новиот период, со што се спречува моделот да ја види иднината ✔
Објаснување: Ако се направи случајна поделба во податоци за временски серии, моделот ја гледа иднината и го предвидува минатото во обуката; тоа е протекување и произведува успех кој всушност не постои. Правилниот пристап е хронолошко разделување: обука со стариот период и тестирање со новиот период, имитација на реалната ситуација во производството (предвидување од минатото во иднината).
7. Од кои податоци треба да се пресметуваат параметрите на скалирање (StandardScaler) во инженерството на карактеристики и како тие треба да се применат?
- А) Треба да се пресмета од сите податоци (обука + тестирање заедно) за да биде попрецизно
- Б) Треба да се пресметува посебно за секој ред, од сопствената вредност на тој ред
- В) Треба да се пресмета само од податоците од тестот
- Г) Треба да се пресмета само од податоците за обуката, потоа истите параметри треба да се применат на податоците од тестот; во спротивно ќе протече ✔
Објаснување: Параметрите на сите трансформации (средна вредност, стандардна девијација, итн.) како што се скалирање, кодирање и полнење треба да се научат само од податоците за обуката, а потоа истото треба да се примени и на податоците од тестот. Земајќи ги предвид податоците од тестот, исто така, предизвикува мешање на информациите од тестот во обуката, односно истекување и прави моделот да изгледа подобро отколку што е. Користењето на Pipeline го обезбедува тоа.
8. Моделот дава 98% точност на сетот за обука и 72% точност на тест сет. Што укажува овој симптом и што треба да се направи?
- А) Недоволно учење; моделот треба да се направи покомплексен
- Б) Протекување на податоци; тест сет мора да се смени
- В) Преоптоварување; треба да се поедностави моделот, да се примени регулација и вкрстена валидација ✔
- Г) Нормална ситуација; Оценката за образование и онака е секогаш повисока, мерките на претпазливост се непотребни
Објаснување: Многу висок резултат на обука и значително низок резултат во тестирање е класичен симптом на префитување: моделот ја запамтил бучавата од податоците за обуката, а не вистинската шема. Решенијата вклучуваат поедноставување на моделот, повеќе податоци, регулација и верификација на состојбата со вкрстена валидација. Потпирањето единствено на образовниот резултат ја крие оваа замка.
9. Во презентација за управување, y-оската на столбест дијаграм во која продажбата се зголемува од 1.000 на 1.020 започнува со 980 за да се направи зголемувањето да изгледа огромно. Вистинскиот пораст е 2%. Зошто е ова етичко прашање?
- А) Скратената y-оска визуелно преувеличува мала разлика и го доведува гледачот во заблуда; За правичност, оската во споредбените ленти треба да започнува од 0 ✔
- Б) Табелите со шипки никогаш не можат да се користат за податоци за продажбата
- В) Нема проблем; Секогаш е добро графиконот да изгледа импресивно
- Г) Y-оската секогаш треба да започнува од најголемата вредност на податоците
Објаснување: Во столбестовите графикони за компаративни цели, y-оската генерално треба да започнува на 0. Сечењето на оската и почнувајќи од 980 прави мала разлика од 2% да изгледа визуелно огромна и да го доведе гледачот во заблуда. Етичката одговорност на професионалецот за податоци е да нацрта искрени графикони кои не ги преценуваат или потценуваат податоците.
10. Аналитичарот го наоѓа вкупниот промет 3 пати по ПРИКЛУЧУВАЊЕ на нарачките со табелата со производи; Бројот на линии се зголеми од 240 илјади на 690 илјади. Што требаше да се направи за да се спречи оваа тивка грешка?
- А) Поделете го вкупниот промет со 3
- Б) Секогаш користете посебни прашања наместо ПРИДРУЖЕНИ
- В) Целосно бришење на табелата со производи
- Г) Проверка на бројот на редови по спојување/ПРИКЛУЧУВАЊЕ и потврдување дека тие се споени преку точниот клуч; Рано фаќање на репликација ✔
Објаснување: Кога има повеќе редови за секој производ (различна боја, на пример) во табелата со производи, ПРИКЛУЧУВАЈ преку погрешен клуч ќе ја дуплира секоја нарачка и ќе ги надува збирките. Кодот работи без грешки, но резултатот е погрешен. Начинот да го избегнете ова е да го проверите бројот на редови по секое спојување/ПРИКЛУЧУВАЊЕ и да се споите со правилното копче.
11. Моделот за скрининг за вработување учи за родовата нерамнотежа во историските податоци и систематски ги намалува резултатите од женските кандидати, но неговата вкупна точност е висока. Што значи ова?
- А) Нема проблем бидејќи моделот има висока точност
- Б) Статистичката точност не е замена за етичката прифатливост; моделот научил за дискриминацијата во минатото, потребна е групна проверка на правичноста ✔
- В) Понатамошното зголемување на точноста на моделот го решава проблемот
- Г) Праведноста е надвор од опсегот на науката за податоци
Објаснување: Дури и ако моделот е статистички точен, тој може да биде етички неприфатлив. Моделот ја учи неправдата во минатите податоци и ја автоматизира дискриминацијата. Високиот интегритет не е замена за правдата; Во моделите со големо влијание, контролата на правичноста, која ја мери разликата во изведбата/одлуката за различни групи, е од суштинско значење и крајната одговорност е на човекот.
12. Вработен прикачува датотека што содржи вистински е-пошта од клиенти и историја на купување во јавна алатка за вештачка интелигенција и вели „сумирај сегменти“. Зошто е ова сериозна грешка и кој е вистинскиот начин?
- А) Нема проблем; Алатките за вештачка интелигенција никогаш не складираат податоци
- Б) Грешката е што датотеката е преголема; требаше да се намали
- В) Давањето вистински лични податоци на отворена алатка е прекршување на KVKK/GDPR; Полињата за идентитет требаше да се отстранат и да се сподели само анонимна шема/својство ✔
- Г) CSV требаше да се користи наместо само Excel
Објаснување: Кога вистинските лични податоци (како што се е-пошта, име, итн.) се даваат на јавно достапна алатка за вештачка интелигенција, ќе има повреда на приватноста во опсегот на KVKK / GDPR; податоците ја напуштаат организацијата. Најчесто за анализа се доволни дијаграм и анонимен/синтетички примерок. Точниот начин е да се отстранат полињата за идентитет и да се споделуваат само анонимни својства.
13. Модел за препораки е пуштен во производство, но следењето не е воспоставено; Кога каталогот на производи се менува по 4 месеци, моделот продолжува да препорачува стари производи и стапката на конверзија тивко паѓа за 30%. Како се вика овој феномен?
- А) Прекумерно учење; Моделот го меморира комплетот за обука
- Б) Модел дрифт; Како што се менува светот, моделот станува застарен тивко, незабележано затоа што мониторингот не е воспоставен ✔
- В) Пристрасност во изборот; пристрасност на примерокот
- Г) Прекршување на минимизирање на податоците
Објаснување: Ова е дрифт на моделот (модел/податок на податоци): кога светот се менува (каталог, однесување, сезона) се менуваат условите под кои бил обучен моделот и моделот тивко се распаѓа. Модел пуштен во производство се влошува сам по себе; Се работи за „кога“. Распоредувањето без мониторинг (следење на влез и перформанси) го оневозможува откривањето на деградацијата.
14. Модел кој добива 88% прецизност при еднократна поделба на обука/тест има 5-кратни оценки за вкрстена валидација од 88%, 71%, 83%, 64%, 79%. Што покажува ова и зошто е важно вкрстената валидација?
- А) Моделот е стабилен; 88% се вистински перформанси
- Б) Вкрстената валидација е непотребна; Доволна е една преграда
- В) Големата нестабилност на оценките покажува дека моделот е нестабилен; вкрстената валидација ги заснова перформансите на просекот и распределбата на повеќе канти, а не на една среќна корпа ✔
- Г) Најдобро е да се пријави највисоката оценка (88%)
Објаснување: Една преграда може да има среќа или несреќна среќа; 88% беше само резултат на таа лесна поделба. Вкрстена валидација ги дели податоците повеќе пати, засновајќи ги перформансите на средната вредност (овде ~ 77%) и покажувајќи ја нестабилноста на оценките. Високата нестабилност овде сугерира дека моделот е нестабилен; Потпирањето на една преграда е погрешно.