Пайдалар:
- Түзмөктө же булуттан чечим кабыл алуу жана купуялыкка, оффлайн режимине, моделдин өлчөмүнө жана батареянын критерийлерине негизделген туура куралды (ML Kit, Core ML, TensorFlow Lite) тандоо мүмкүнчүлүгү
- Моделдин интеграциясында моделдин документинен киргизилген алдын ала иштетүүнү (өлчөм жана нормалдаштыруу) текшерүү аркылуу үнсүз каталарды алдын алуу мүмкүнчүлүгү
- Ишенимдүүлүк көрсөткүчүн баалоо жана натыйжаны колдонуучунун макулдугу менен жана чыныгы түзмөктө өлчөө мүмкүнчүлүгү, төмөн ишеним божомолдорун абсолюттук чындык катары көрсөтпөстөн.
Буга чейин биз AIди иштеп чыгуу процессин тездетүү үчүн жардам катары колдондук. Эми биз AIнын экинчи ролуна өттүк: тиркемеде камтылган талант. Заманбап телефондор AI моделдерин, мисалы, сүрөттөрдү таануу, текстти которуу, кепти транскрипциялоо ж.б. түз эле аппаратта (түзмөктө — серверге барбастан телефондун өздүк процессорунда) иштетүүгө күчкө ээ. түзмөктөгү AI; Бул ылдамдык, купуялуулук жана оффлайн режиминде иштөө жагынан булут чечимдерине караганда чоң артыкчылыктарды сунуш кылат. Бул бөлүмдө биз AIди iOSтун Core ML, кросс-платформалуу TensorFlow Lite (азыр LiteRT деп аталат) жана Google'дун даяр ML Kit менен тиркемеге кантип киргизүүнү жана AIны бул интеграцияда ассистент катары кантип колдонууну үйрөнөбүз.
Түзмөктөбү же булуттанбы?
Бул биринчи жана эң маанилүү архитектуралык чечим. Түзмөктөгү AI телефондон маалыматтарды алып салбайт — купуялуулук үчүн чоң утуш. Ал ошондой эле көз ирмемдик жана оффлайн режиминде иштейт, анткени тармактын кечигүү убактысы жок. Бирок, ал аппараттын иштетүү күчү жана эс менен чектелген; Абдан чоң моделдер (мисалы, гигант тилдүү моделдер) телефонго батпай калат же батарейканы түгөтөт. Cloud AI, экинчи жагынан, чексиз кубаттуулукту сунуштайт, бирок серверге маалыматтарды жөнөтөт, тармакты талап кылат жана күтүү убактысын жаратат.
критерий
Түзмөктө
Булут (булут API)
Купуялык
Дайындар түзмөктө сакталат, күчтүү
Маалымат серверге кетет, көңүл буруу керек
ылдамдык
Ыкчам, тармак жок
Тармактын күтүү убактысына жараша болот
оффлайн
Бул иштейт
иштебейт
Модель өлчөмү
Чектелген (телефон булагы)
чексиз
батарея/жылуулук
Оор колдонуу менен эффекттер
Сервер жүктөлүүдө, түзмөк бош
Наркы
Акысыз (түзмөк булагы)
Колдонуу үчүн акы
Чечим кабыл алуу эрежеси: Жеке/купуя маалыматтар иштетилип жатса, оффлайн режиминде иштеши керек болсо же заматта жооп берүү маанилүү болсо, түзмөктү тандаңыз. Эгер сизге абдан чоң модель керек болсо, булутка кайрылыңыз. Бул бирдиги түзмөктө багытталган; Биз кийинки бөлүмдө булутту AI камтыйбыз.
Кеңеш: Купуя дайындарды (ден соолук, биометрика, жайгашкан жер) иштеткен функция үчүн ар дайым түзмөгүңүздү демейки кылып коюңуз. "Маалыматтар аппараттан кетпейт" деген сөз айкашы купуялуулуктун сакталышы жана колдонуучунун ишеними үчүн баа жеткис болуп саналат жана дүкөндүн купуялык энбелгисинде чоң айырманы түзөт.
Үч жол: ML Kit, Core ML, TensorFlow Lite
ML Kit (Google) – баштоонун эң оңой жолу: ал текстти таануу (OCR — сүрөттөгү текстти окуу), жүздү аныктоо, штрих-кодду окуу, бир нече сапта которуу сыяктуу даяр мүмкүнчүлүктөрдү берет. Өзүңүздүн моделиңизди үйрөтүүнүн кереги жок. Core ML (Apple) өзүңүздүн моделиңизди же iOS'то даяр моделди иштетүүнүн эң эффективдүү жолу; Ал Apple компаниясынын Neural Engine (жасалма нейрон тармагы процессору) аппараттык жабдыктарын колдонот. TensorFlow Lite/LiteRT бул кайчылаш платформа чечими, ал сизге өзүңүздүн үйрөтүлгөн моделиңизди Android жана iOS түзмөктөрүндө иштетүүгө мүмкүндүк берет.
AI менен жалпы интеграция агымы төмөнкүдөй болот:
- Талант аныктамасы. «Сүрөттөгү текстти окугум келет» деген сыяктуу так максат.
- Жол тандоо. даяр талант бар болсо, ML Kit; Core ML/TF Lite атайын модели бар болсо.
- Модел форматы. .mlmodel (Core ML), .tflite (TF Lite). AI трансформация кадамдарын түшүндүрөт.
- Интеграция коду. Моделди жүктөө, киргизүүнү алдын ала иштетүү, чыгарууну чечмелөө.
- Performance test. Чыныгы түзмөктө ылдамдык, эс тутум, батареяны өлчөө.
Эскертүү: Түзмөктөгү моделди интеграциялоодогу эң кеңири тараган AI катасы бул киргизүүнү алдын ала иштетүү — сүрөттү модель күткөн өлчөмдөргө жана түс форматына айландыруу. Модель 224x224 пикселди күтсө жана ага 300x300 берсе, натыйжа маанисиз болот, бирок сиз ката кабарын албайсыз. Моделдин документинен алдын ала иштетүү маанилерин текшериңиз.
Моделдин чегин билүү
Түзмөктөгү модель үйрөтүлгөн маалыматтардын негизинде чечим кабыл алат. Күндүз тартылган сүрөттөрдө гана үйрөтүлгөн объектти таануу модели түнкү сүрөттөрдө туура эмес болуп калат. Моделдин ишеним баллы бар (ишенимдүүлүк — модель өзүнүн жообуна канчалык ишенет, адатта 0 менен 1дин ортосунда); Ишенимдүүлүгү төмөн натыйжаларды колдонуучуга так деп көрсөтүү кооптуу. Мисалы, теринин тактарын сканерлөөчү тиркемеде "сөзсүз жакшы" деп айтылбашы керек, бирок "моделдин божомолу ушундай, дарыгерге кайрылыңыз" деп айтышы керек. Моделдин натыйжасы диагноз эмес, сунуш болуп саналат.
үч мини учурлар
1-жагдай — OCR менен ылдамдатуу. Чыгымдарга көз салуу колдонмосу ML Kit текстти таануу менен дүмүрчөктөрдү кол менен киргизүү түйшүгүн алып салды. Колдонуучу квитанцияны сүрөткө тартып, суммасы жана датасы автоматтык түрдө толтурулат. Кол менен киргизүү убактысы 40 секунддан 8 секундага чейин кыскарган. Команда ар дайым колдонуучуга AI окуган сумманы ырастап турган; анткени бырышталган квитанцияларда 6% ката бар болчу. Автоматташтыруу + адамдын макулдугу туура баланс болгон.
2-жагдай — Алдын ала иштетүү катасы. Бир команда TensorFlow Lite менен өсүмдүктөрдү таануу моделин бириктирди; Сыноочу боюнча жыйынтыктар кокусунан болгон. Көйгөй AI жараткан код сүрөттү модел күткөн [0,1] диапазонуна нормалдаштырбаганында болгон (пикселдик маанилер 0-255те калтырылган). Нормалдаштыруу кошулганда, тактык 30% дан 89% га чейин өстү. Сабак: алдын ала иштетүү үнсүз, бирок өлүмгө алып келет.
3-жагдай - Купуялыкка ээ болуу. Ден соолук колдонмосу түзмөктөгү Core ML модели менен жүрөктүн кагышынын дайындарынан аномалияны аныктады. Маалымат эч качан серверге түшкөн эмес. Бул тандоо колдонмого App Store купуялык энбелгисинде "маалыматтарды чогултпайт" деген сөз айкашын алууга мүмкүнчүлүк берди жана атаандаштарга салыштырмалуу анын жүктөө ылдамдыгын жогорулатты. Түзмөктөгү тандоо этикалык жактан да, коммерциялык жактан да пайдалуу болгон.
Алсыз тездик / Күчтүү тездик
Алсыз эскертүү: "Менин колдонмосума сүрөт таанууну кошуңуз."
Күчтүү чакырык: "Менин Android/Kotlin тиркемесиме сумманы жана датаны окуу мүмкүнчүлүгүн кошуңуз. - Google ML Kit Текст таануу функциясын колдонуңуз (түзмөктө, оффлайн) - Камерадан же галереядан сүрөт тартыңыз - Таанылган тексттен regex менен сумманы жана датаны чыгарыңыз - Жыйынтыгын колдонуучуга EDITABLE талаасында жактыруу үчүн көрсөтүңүз. алдын ала иштетүү жана ката кырдаалдар, кадамдарды түшүндүр."
Көчүрмө шаблондор
Жол тандоо шаблону: "Мен төмөнкү функцияны жасагым келет: [функция]. Бул түзмөктөбү же булуттанбы? Салыштырыңыз: купуялуулук, оффлайн режиминде керектөө, моделдин өлчөмү, батарея, баалар. Тийиштүү куралды (ML Kit / Core ML / TF Lite) сунуштаңыз жана негиздеңиз."
Интеграция үлгүсү: "[платформа] үчүн [модель/мүмкүнчүлүк] интеграциясын жазыңыз: 1) Модельди жүктөө2) Киргизүүнү алдын ала иштетүү (күтүлгөн өлчөмдө жана нормалдаштыруу) 3) Жыйынтык чалуу 4) Чыгуу чечмелөө жана ишеним упайын текшерүү5) Ишенимдүүлүгү төмөн натыйжа боюнча колдонуучуга эскертүү. Документтин алдын ала иштеп чыгуусунун баалуулуктарын текшерүү."
Ишенимдүүлүк упайынын шаблоны:"Бул корутунду кодундагы ишеним упайын карап көрүңүз:- Натыйжаны босогодон төмөн "так" көрсөтүңүз (мисалы, 0,6) - Колдонуучуга "бул болжол" эскертүүсүн көрсөтүңүз - Эгерде критикалык аймак (ден соолук, коопсуздук) [код] экспертке кайрылыңыз"
Иштин майнаптуулугун текшерүү шаблону: "Түзмөктөгү моделдин интеграцияланышы үчүн чыныгы түзмөктө өлчөө керек болгон метрикаларды тизмектеңиз: жыйынтык чыгаруу убактысы, эстутумдун көбөйүшү, батареянын таасири, жылытуу. Ар бири үчүн өлчөө ыкмасын айтыңыз."
Жалпы каталар
- Алдын ала иштетүүнү өткөрүп жиберүү же аны туура эмес кылуу. Туура эмес өлчөм/нормалаштыруу унчукпай туура эмес натыйжа берет.
- Ишенимдүүлүк упайына көңүл бурбоо. Ишенимдүүлүгү төмөн баалоону так көрсөтүү колдонуучуну адаштырышат.
- Модель эмулятордо сыналууда. Иш жүзүндө аппарат ылдамдыгы жана батарея абдан айырмаланат; ар дайым реалдуу аппараттык өлчөө.
- Булутка купуя маалыматтарды керексиз жөнөтүү. Түзмөктө мүмкүн болгондо булутту тандоо купуялуулуктун коркунучу болуп саналат.
- Модель өлчөмүн эске алуу. Чоң үлгүдөгү колдонмолор жүктөө көлөмүн көбөйтөт жана азыраак жабдыкта кыйроого учурайт.
- моделдин окутуу чегин унутуп. Үлгү көрбөгөн абалда жаңылат (түн, башка тил); Муну колдонуучуга ачык айтыңыз.
Кыскача айтканда
Түзмөктөгү AI телефондо маалыматтарды сактоо менен купуялуулукту, ылдамдыкты жана оффлайн режиминде иштөөнү камсыз кылат; Чектөө - бул түзмөктүн кубаттуулугу жана моделдин өлчөмү. ML Kit кутудан тышкаркы мүмкүнчүлүктөр үчүн колдонулат, Core ML (iOS) жана TensorFlow Lite (кросс-платформа) ыңгайлаштырылган моделдер үчүн колдонулат. Интеграциянын унчукпай өлтүрүүчүсү - бул туура эмес алдын ала иштетүү; Киргизүү өлчөмү жана нормалдаштыруу моделдин документтеринен текшерилет. Ар бир жыйынтык ишеним упай менен келет, ал эми төмөн ишеним божомолдору абсолюттук чындык катары көрсөтүлбөйт. Чечимдер эмулятордо эмес, чыныгы түзмөктө ченелет.
Колдонмо тапшырмасы
"Сүрөттөн текстти окуу" же "штрих-кодду окуу" функциясы үчүн AIдан "Жол тандоо шаблоны менен түзмөктөбү же булуттуубу" деп сураңыз, андан кийин "Интеграция үлгүсү" менен ML Kit негизиндеги схеманы сураңыз. Коддо алдын ала иштетүү кадамы жана колдонуучунун бекитүү/түзөтүү агымы бар экенин текшериңиз. Ишеним упай чегин коюп, натыйжада ишеним аз болсо, эмне кыла турганыңызды жазыңыз.
текшерүү тизмеси
- [ ] Мен критерийлердин негизинде түзмөктө/булуттан чечим кабыл алдым
- [ ] Мен туура куралды тандадым (ML Kit / Core ML / TF Lite)
- [ ] Мен моделдин документтеринен алдын ала иштетүү өлчөмүн жана нормалдаштырууну текшердим
- [ ] Мен ишеним упайын текшерип, ишеним натыйжалары төмөн экенин эскерттим
- [ ] Мен колдонуучуга натыйжаны жактыруу/түзөтүү менен көрсөттүм, мен аны сокур сактаган жокмун
- [ ] Мен эмулятордо эмес, чыныгы түзмөктө өндүрүмдүүлүктү өлчөдүм