Граници на ИИ в мореплаването: сигурност, кибер риск, етика и отчетност — Изкуствен интелект във военноморското и морското инженерство

Печалби:

Способност да разпознава, че AI може да произвежда фиктивни коефициенти, клаузи за правила и технически стойности и да прилага проверка в контекста на безопасността на живота/собствеността
Възможност за управление на киберсигурността, поверителността на данните и регулаторните ограничения в корабни и OT (оперативни технологии) системи
Разбирането, че крайната отговорност за одобрението на класа, навигационната безопасност и етиката се носи от инженера и капитана.

По време на този модул използвахме изкуствен интелект (AI) като ускорител на всеки етап от корабното и морското инженерство: от дизайна на формата до структурния анализ, прогнозната поддръжка до оптимизирането на пътуването, съответствието с емисиите до производството в корабостроителницата. В тази последна част ние се отдръпваме и разглеждаме цялата картина: какви са ключовите ограничения на AI в мореплаването, какви рискове (халюцинации, киберсигурност, поверителност на данните, пристрастия) са постоянно нащрек и кой носи отговорност? Защото предпоставката за безопасно използване на превозно средство е да знаете къде може да се обърка.

Постоянната теза на модула се прилага тук и управлява всички останали: в критична за безопасността морска работа, изходът на AI не е заместител на одобрението от компетентен инженер, главен или класен инспектор. AI предлага, чертае, изчислява и напомня; Но собственикът на решението, което определя безопасността на живота, собствеността и околната среда, е лицето, което подписва това решение и носи юридическа отговорност.

Концепции: Халюцинации: AI, измислящ стойност, правило или ресурс, който не съществува. OT сигурност: Киберзащита на оперативната технология (машина и системи за круиз контрол). Отравяне на данни: Умишлено повреждане на обучение/входни данни с цел подвеждане на модел. Пристрастие на модела: Систематичното и несправедливо пристрастие на модела, което идва от данните, на които е обучен. Верига на отговорност: Правната и техническа собственост върху дадено решение е ясно очевидна.

Постоянни ограничения на AI

AI има четири постоянни граници в корабоплаването и те няма да изчезнат дори с напредването на технологиите. Първо, халюцинация: моделът запълва празнината с „най-вероятни“ твърдения, когато няма окончателни данни; Това се оказва измислена класова клауза, невъзможна стойност на стабилност или несъществуващ коефициент. Второ, поведение извън разгръщането: моделът става ненадежден извън ситуациите, за които е бил обучен и тестван (необичаен тип кораб, необичайна повреда, невидим трафик). Трето, липса на разбиране на физиката: AI обработва шаблони на думи, не „разбира“ запазването на енергията или законите на Нютон; Може да произведе резултат, който изглежда разумен, но е физически невъзможен. Четвърто, навременност: промени в законодателството, цените и технологиите; Информацията за модела е замразена на дата.

Тези ограничения обясняват защо дисциплината за проверка, която научихме в целия модул, е незаменима: контрол на порядъка на величината, последователност на единиците, независимо възпроизвеждане и проверка на източника. Особено когато изкуственият интелект прави изчисления (напр. Python/Excel скрипт, генериран за момент на баласт/стабилност или изчисление на мощността), дори ако кодът изглежда течен и работещ, неговата логика, входове и крайни случаи не се превръщат в решение за безопасност без независимо тестване. Само защото кодът на акаунта "работи" не означава, че е "правилен".

Внимание: Счетоводен код, генериран от AI, може да работи без грешки, но може да съдържа грешна формула, грешна единица или пренебрегван краен случай. Преди да приемете кода, тествайте го с познат вход (пример, на който знаете отговора от първа ръка), тествайте за крайни случаи и проверете резултата по независим начин. При критични за безопасността изчисления, като например стабилност, одобрен компютър за зареждане и потвърждение от инженер са от съществено значение.

Киберсигурност и поверителност на данните

Модерният кораб е плаваща компютърна мрежа: навигационните системи, контролът на машините, управлението на товарите и сателитната връзка са свързани помежду си. Това означава повърхност за кибератака. AI системите добавят два нови риска към тази картина. Първо, безопасност на OT (оперативна технология): AI компонент, свързан с навигацията и управлението на машината, представлява пряк риск за безопасността, ако бъде атакуван; така че критичните OT системи са изолирани, изходът на AI никога не трябва да задейства контролно действие сам по себе си, одобрението на човека и безопасното поведение по подразбиране трябва да се поддържат. Второ, поверителност на данните: формата на корпуса, кривите на ефективността, договорите между корабособствениците и оперативната телеметрия са търговски тайни и интелектуална собственост; Въвеждането на тези данни в неодобрени външни AI услуги е необратима загуба.

Освен това, рисковете от манипулиране като отравяне на данни (подвеждане на модела със злонамерен вход) и подправяне на данни като AIS изискват да не се доверявате сляпо на входовете на AI. Правило: критичните данни се анонимизират или изобщо не се споделят, използват се само одобрени и гарантирани за поверителност инструменти, критичните входове се проверяват кръстосано за автентичност.

Риск

Как възниква?

предпазна мярка

халюцинация

Измислено правило/стойност/източник

Потвърждение от източника, контрол на ранга

OT кибератака

Проникване в системата за контрол

Изолация, човешко одобрение, защитено по подразбиране

изтичане на данни

Въвеждане на поверителни данни във външен инструмент

Анонимизиране, одобрен инструмент

Отравяне на данни/спуфинг

Умишлено повреден вход

Проверка на входа, кръстосана проверка

Пристрастие към модела

Небалансирани тренировъчни данни

Преглед на резултата с човешка преценка

Етика и верига от отговорност

Правната и техническата собственост на дадено решение в мореплаването трябва да е ясна: капитанът е отговорен за навигационната безопасност, главният инженер е отговорен за машините, отговорният инженер е отговорен за проектирането и изчисляването, а инспекторът на класа е отговорен за спазването на правилата. AI не трябва да въвежда „пропаст в отговорността“ в тази верига. „AI предложи това“ не е извинение; Човекът, който използва AI и приема неговия резултат, е отговорен. Следователно използването на AI трябва да бъде прозрачно (трябва да бъде записано кое решение поддържа, каква проверка е преминало) и окончателното решение трябва да бъде на подписан човек.

Етичното измерение също така включва безопасността на екипажа и околната среда: ако предложението за спестяване на гориво излага екипажа на риск, ако решението за автоматизация стеснява границата на безопасност, ако краткосрочната печалба маскира дългосрочния риск, инженерната етика изисква да се каже „не“. AI е мощен инструмент за продуктивност; Но ефективността никога не може да стои преди живота, околната среда и честната инженерна преценка.

Мини калъфи

Случай 1 — Извинение „AI каза така“. В отчет се използва гранична стойност, дадена от AI, без проверка, и стойността се оказва неправилна. Отговорното лице се опитва да се защити, като казва „AI предложи това“. Нито законът за класа, нито законът за отговорността признава това: инженерът, който приема резултата, носи отговорност. Урок: AI не е извинение; Отговорността е на лицето, което го използва.

Случай 2 — Изтичане на поверителни данни. Екип поставя действителните данни за производителността и горивото на собственика на кораба в публично достъпен AI инструмент и изисква анализ. Тези данни вече са извън контрол; възниква търговска тайна и нарушение на договора. Няма да има риск, ако работите с анонимизирани представителни стойности или одобрен инструмент. Урок: реални/поверителни данни никога не се въвеждат в неодобрен външен инструмент.

Случай 3 — Работещ, но грешен код. AI генерира Python скрипт за момент на стабилност; кодът работи без грешки и връща разумно число. Когато инженерът го тества с известен случай на натоварване (отговорът на който е известен на ръка), той открива, че кодът приема член на една ръка разстояние с грешен знак. Скриптът "работеше", но резултатът беше грешен. Поука: работата с кода на акаунта не е гаранция за коректност; Тестването с известни данни и независима проверка е от съществено значение.

Копируеми шаблони за подкана

Образец 1 — Лимит и самооценка на риска:

Роля: Вие сте рецензент, който одитира изхода на ИИ, който използвам. Контекст: [задача/изход]. Задача: 1) Къде е висок рискът от халюцинации в този изход? 2) Има ли нещо съмнително по отношение на физическата правдоподобност? 3) Кои стойности, които изискват навременност (законодателство/цена), трябва да бъдат проверени? 4) Шансовете този изход да е случай извън разпространение (невиждан)? Избройте всяка съмнителна точка и как да се проверете го.

Шаблон 2 — График за проверка на кода на акаунта:

Измислете план за проверка, преди да използвате следния генериран от изкуствен интелект счетоводен код (Python/Excel): [поставяне на код/логика]1) Предложете входен тест, за който знам отговора направо. 2) Избройте крайните случаи, които трябва да бъдат тествани (нула, отрицателен, екстремен). 3) Как да проверя последователността на единиците? 4) С какви независими средства да потвърдя резултата? Ограничение: Изисква се проверка на одобрен инструмент/инженер на критичния за безопасността акаунт.

Шаблон 3 — Филтър за поверителност на данните:

Проверка на поверителността в следния контекст, който бих дал на инструмент с изкуствен интелект: [текст за споделяне]1) Има ли търговска тайна/поверителни/договорни данни в него?2) Какви стойности трябва да бъдат анонимизирани или извлечени?3) Тази задача изисква ли одобрен вътрешен инструмент? Ограничение: Действителните данни за кораба/изпълнението/договора не влизат във външния инструмент.

Образец 4 — Бележка за отчетност и прозрачност:

Изгответе бележка за прозрачност, за да документирате следното решение, задвижвано от изкуствен интелект: [решение]. Съдържание: (1) на какъв етап е използван изкуственият интелект, (2) през какви проверки е преминал, (3) кой човек го е одобрил, (4) какви източници са проверени. Ограничение: Посочете ясно, че крайната отговорност се носи от човека, който подписва.

Слаба подкана / Силна подкана

Слаба подкана:

Ще включа този анализ на AI в доклада, добре ли е?

Мощна подкана:

Роля: Вие сте независимият рецензент, който одитира изхода на AI. Контекст: [анализ/изход и къде да се използва]. Задача: 1) Отбелязване на риск от халюцинации, физическа правдоподобност и навременност. 2) Има ли данни, които не трябва да се споделят с оглед на поверителността? 3) Какви стъпки ще трябва да предприеме човек, за да провери този изход? Ограничение: Вие не вземате решението „подходящо/неподходящо“; Посочете стъпките за проверка и че отговорността е на подписващия инженер.

Слабата подкана иска потвърждение; Силната подкана разкрива рискове, поверителност и човешка верига за проверка.

Често срещани грешки

Това означава "AI каза така." Отговорността е на лицето, което приема резултата; AI не е извинение.
Въвеждане на поверителни данни във външен инструмент. Търговска тайна и нарушение на договора; Веднъж изтекли данни не могат да бъдат извлечени.
Мисля, че работният код е правилен. Скрипт, който работи без грешки, може да съдържа грешна формула/единица; Тестването и независимото потвърждение са от съществено значение.
Оставяйки OT системата на AI. Контролното действие никога не се задейства само от AI; Човешкото одобрение и защитеното по подразбиране се поддържат.
Поставяне на ефективността пред безопасността. Животът, околната среда и честната инженерна преценка не се жертват за спестявания.

В обобщение

Трайните ограничения (халюцинации, поведение извън разпространението, липса на разбиране на физиката, неактуалност) и рисковете (кибер/OT сигурност, поверителност на данните, отравяне, пристрастия) на ИИ в мореплаването илюстрират защо дисциплината за проверка, научена в целия модул, е незаменима. При критични за безопасността решения изходът на AI не е заместител на одобрението на компетентния човек; Веригата на отговорност е ясна и „AI каза така“ не е извинение. AI е мощен ускорител; Но животът, околната среда и честната инженерна преценка винаги са на първо място.

Задача за приложение

Изберете AI изход (акаунт, чернова на отчет или код), който сте създали в този модул. Отбележете рисковете от халюцинации, физическа правдоподобност и реалност с шаблона „ограничение и самооценка на риска“. Ако това е код на акаунт, тествайте го с известен вход, като използвате шаблона „план за проверка на код на акаунт“ и проверете независимо. Приложете „филтър за поверителност на данните“ и филтрирайте данните, които не трябва да се споделят. И накрая, напишете бележка за прозрачност, документираща решението и изясняваща кой носи крайната отговорност.

контролен списък

[ ] Проверих рисковете от халюцинации, физика и действителност на изхода на AI.
[ ] Тествах и проверих независимо кода на акаунта с известен вход.
[ ] Не съм въвел поверителни/договорени данни във външния инструмент; Анонимизирах го.
[ ] Поддържах одобрение от хора и сигурно по подразбиране в OT/контролни системи.
[] Документирах прозрачно използването на AI и изясних кой е отговорен.
[ ] Никога не съм поставял ефективността пред живота, околната среда и инженерната етика.

Изпит по модул

1. Когато работите с AI инструмент като морски инженер, крайната отговорност за кое от следните трябва винаги да остава на човека (инженер/класник)?

A) Одобрение и подписване на съответствието на структурен елемент с правилото за клас ✔
B) Изготвяне на първата чернова на доклад за съпротива
C) Редактиране на етикетите на осите на диаграма
Г) Изготвяне на речник на термините за технически доклад

Описание: AI; Може да ускори задачи като предварително изчисляване на съпротивлението, изготвяне на отчети и обобщение на данните. Въпреки това, одобряването на съответствието на структурен елемент с правилото за клас и отразяването на това като подпис върху техническия файл е решение, което създава безопасност на живота и имуществото; не може да бъде прехвърлен към AI без независима проверка и оторизирано одобрение.

2. Накарахте изкуствения интелект да изчисли съпротивлението на лодка и той намали резултата с 20% с „емпиричен корекционен фактор“, който не беше в моделния експеримент. Кое е първото правилно действие, което трябва да предприемете?

A) Приемане на резултата такъв, какъвто е, защото ИИ изглежда уверен
B) Поставете под въпрос източника на коефициента, отхвърлете необоснованата корекция и я преизчислете с признатия метод ✔
В) Увеличаване на коефициента още повече и оставане на сигурната страна
D) Превключване към избор на витло без промяна на резултата

Обяснение: Езиковите модели могат убедително да измислят необосновани коефициенти и числа (халюцинации). При изчисление, което пряко засяга мощността на задвижването и горивото, като съпротивление, е необходимо да се постави под въпрос източникът на всеки използван коефициент (метод, тест на модела, стандарт) и да се отхвърли неподдържаният коефициент.

3. Вместо да използва количеството превозван товар като знаменател при изчисляването на CII на кораба (индикатор за въглероден интензитет), AI използва само разстоянието. Какъв е основният проблем с този резултат?

A) CII се изчислява само за танкери, това не е необходимо на борда
B) CII резултатът винаги идва като процент, десетичният знак е грешен
C) Знаменателят на CII не трябва да бъде само разстояние, но и товароносимостта (дедуейт), умножена по разстоянието ✔
D) Данните за скоростта са задължителни за изчисляване на CII, липсват

Описание: CII измерва въглеродните емисии за извършена работа и се основава на предлагания полезен товар, умножен по разстоянието (напр. собствена тежест x разстояние). Изоставянето на термина товар/капацитет напълно погрешно изчислява индикатора. Първата и задължителна стъпка е всеки термин в показателите за производителност да отговаря напълно на дефиницията на IMO.

4. Кой е най-ценният резултат от базирана на AI система за предсказуема поддръжка в машинното отделение?

A) Обобщете средните разходи за предишна поддръжка в един ред
B) Трансформиране на всички сензорни данни в по-цветна графика
C) Цвят и списък на вибрациите/температурните тенденции
D) Предварително маркиране на времевия прозорец, когато е по-вероятно лагерът или турбокомпресорът да се повредят ✔

Описание: Целта на предсказуемата поддръжка е да се открие тенденцията оборудването да се влошава, преди да се повреди, и да се планира поддръжката навреме. По този начин се намалява рискът от неочаквани повреди и спирания. Ценно е не само да се обобщи миналото, но и да се направят ранни предупреждения за бъдещето.

5. AI сравнява резултата от напрежението в FEA (анализ на крайни елементи) модел с допустимото напрежение в кода на класа и го обявява за „подходящ“. Кой е най-правилният подход?

A) Проверка на настройката на модела (мрежа, гранично състояние, натоварване) и потвърждаване на допустимото напрежение от текста на правилото на класа ✔
B) Директно потвърждаване на резултата, защото AI каза „подходящ“
C) Произволно намаляване на допустимото напрежение, за да остане на сигурно място
Г) Промяна само на цветовата скала без затягане на мрежата

Описание: FEA резултат; Това е напълно зависимо от качеството на мрежата, граничните условия, определянето на натоварването и свойствата на материала. Освен това стойността на допустимото напрежение, използвана от AI, може да е неправилна. Преди да приемете резултата, е необходимо да проверите настройката на модела и да потвърдите стойността на правилото на класа от текста.

6. Създадохте маршрут, който минимизира разхода на гориво чрез извършване на маршрут за времето с AI. Кое съображение е най-критично за използваемостта на резултата?

A) Маршрутът трябва да е безопасен по отношение на навигационната безопасност (вълни, време, ограничения за кораб) и трябва да бъде одобрен от капитана ✔
B) Най-краткото появяване на маршрута на картата
C) Маршрутът включва най-много посещения в пристанища
D) Маршрутът минимизира ETA независимо от договора

Обяснение: Без значение колко оптимално гориво е предложението за маршрут, навигационната безопасност и авторитетът на капитана имат приоритет. Ако бурята, височината на вълната и ограниченията за кораба надхвърлят границата за безопасност, печалбата от гориво е безсмислена. Окончателното решение за маршрут трябва да бъде филтрирано през ограниченията за безопасност и одобрено от капитана.

7. Поискахте от ИИ изискване на SOLAS и той даде точна стойност с позоваване на конкретен „номер на глава/правило“. Какво е правилното инженерно поведение?

A) Директно прилагане на стойността, тъй като AI е актуален
B) Повишаване на стойността на случаен принцип, за да остане на сигурно място
C) Проверете номера и стойността на артикула от официален, актуален източник на SOLAS/клас ✔
D) Добавяне към файла без проверка на номера на елемента

Описание: Езиковите модели може да запомнят погрешно или да измислят номера и стойности на клаузите на договор/правило. В обвързващи полета като SOLAS, MARPOL и правила на класа, всеки елемент и стойност трябва да бъдат проверени дословно от официалния актуален източник (текст на IMO, правило за клас, циркуляр за управление); AI изходът показва само къде да търсите.

8. В автономна или подпомагана с вземане на решения навигационна система AI предложи маневра въз основа на радарни и AIS данни. Коя е правилната оценка по отношение на COLREG (избягване на конфликти)?

A) Автоматично изпълнение на маневрата, когато AI има достъп до текущи данни
B) Предайте предложението на другия кораб чрез VHF и изчакайте неговото одобрение
В) Изключване на радара и разчитане само на AIS
D) Разгледайте предложението като подкрепа за вземане на решение и оставете COLREG и окончателното решение за маневра на вахтения офицер/капитана.

Обяснение: В съответствие с правилата на COLREG и добрата морска практика, отговорността за избягване на сблъсък и окончателното решение за маневра се носи от органа на мостика (капитан/вахтен офицер). Препоръката на AI е подкрепа за вземане на решения; слепите зони, грешката на сензора и тълкуването на правилата изискват човешки надзор.

9. Вие сте генерирали препоръка за икономия на гориво от кривата на SFOC (специфичен разход на гориво) на главния двигател с AI. Кой е най-подходящият метод за проверка на разумността?

A) Приложете препоръката към данните за минали пътувания и сравнете с действителния разход на гориво ✔
Б) Приемете предложението такова, каквото е, и го запишете в бюджета като спестявания.
В) Приемане на най-оптимистичния процент спестявания като единствената реална стойност
Г) Просто разкрасете графиката на кривата на SFOC

Обяснение: Искането за спестявания, създадено от AI, трябва да бъде тествано чрез сравняване с действителните данни за пътуването на кораба (записан разход на гориво, товар, скорост, време). Прилагането му със задна дата към данните за минали пътувания и сравняването му с действителното потребление показва колко реалистична е препоръката.

10. Проект на проучване/технически доклад, изготвен от AI, съдържа технически стойности, които са подвижни, но с неясен произход. Какво е правилното поведение?

А) Представяне на доклада такъв, какъвто е, защото текстът е свободен
B) Свържете всяка стойност с оригиналното измерване/източник и премахнете непотвърденото ✔
В) Закръгляване и гланциране на стойностите
Г) Просто прочетете резюмето и пропуснете останалото

Описание: Всяка техническа стойност в отчета трябва да бъде проследима до нейния оригинален източник (измерване, запис на калибрирано устройство, класово правило, данни на производителя). Нито едно число не трябва да се предава на клас или ръководство без проверка на неговия източник, дори ако е стойност в свободно изречение; В противен случай в базата за решение влиза фиктивна стойност.

11. Коя е най-добрата стъпка преди да използвате генерирано от AI изчисление на Excel/Python (напр. баластно състояние и момент на стабилност)?

A) Прилагане на изчислението директно към действителния план за натоварване
B) Просто гледам дължината и оформлението на кода
C) Изпробване на крайни случаи чрез сравняване на изчислението с известен тестов сценарий и одобрен инструмент за зареждане ✔
Г) Изтриване на част от кода, за да се съкрати

Обяснение: Изчисленията за стабилност и натоварване може да изглеждат правилни, но дават неправилни резултати. Изпълнението на изчислението при малък тестов сценарий, при който знаете резултата, или ръчно, или със сертифициран компютър за зареждане, сравняването му с очаквания изход и изпробването на случаи на гранично/ръбово натоварване ще хване грешката, преди тя да се пренесе към действителното решение за зареждане.

12. Искате да поставите неподелените данни за дизайна и производителността на вашия кораб в публичен AI инструмент и да поискате анализ. Кой е най-правилният подход?

A) Поставяне на данните както е за скорост
B) Достатъчно е просто да изтриете името на кораба и да споделите всички останали данни
C) Споделяне на данните и след това искане от AI да ги изтрие
D) Проверка на институционалната политика и анонимизиране на данните или използване на защитен/институционален инструмент ✔

Разкриване на информация: Формата на корпуса, кривите на експлоатационните характеристики и данните за договора на корабособственика/корабостроителницата са търговска тайна и са чувствителни към интелектуалната собственост; Освен това критичната инфраструктура и системната информация за OT носят кибер риск. Преди да споделите данни, е необходимо да проверите корпоративната политика, да ги анонимизирате или да използвате корпоративен инструмент, който не споделя данни.

13. Захранван с изкуствен интелект контрол на качеството в монтаж на блок в корабостроителница маркира заваръчния шев като „приемлив“. Какво е правилното инженерно поведение?

A) Считайте оценката на AI за окончателно приемане и одобрете шиенето
B) Разглеждане на предварителната оценка на AI като инструмент за проверка и свързване на окончателното приемане с резултата от NDT и одобрението на класа ✔
C) Преминаване към следващия блок, без изобщо да изследвате шева
Г) Достатъчно е просто да проверите визуално външния вид на шева

Описание: Качеството на заваряване е критична за безопасността област, която изисква резултати от безразрушителен тест (NDT) и одобрение за клас. Предварителната оценка на AI чрез изображения или данни предоставя насоки, но окончателното приемане се дава чрез квалифицирана проверка и одобрение от инспектора на класа.

14. В управлението на флота AI изготви окончателна препоръка за експедиция, в която се казва, че „това бункерно пристанище и тази скорост определено са най-печеливши“. Коя е правилната оценка?

A) Прилагане на препоръката директно, тъй като AI има достъп до актуални данни
Б) Да предаде предложението на корабособственика като твърд ангажимент
C) Заключване на целия план на експедицията въз основа на този единствен резултат
D) Считане на окончателната оферта за ненадеждна и третирането й като сценарий, който може да бъде проверен с текущата цена, условията на чартъра и безопасността ✔

Обяснение: Цената на бункера, условията на чартъра, времето и закъсненията в пристанищата са бързо променящи се и несигурни променливи; AI не може да гарантира абсолютна доходност. Предложението трябва да се третира като изходен сценарий, който трябва да бъде проверен с текущата цена, условията на чартърното парти и ограниченията за безопасност.