Qligħ:
- Kapaċità li tiddeċiedi fuq l-apparat jew sħaba u tagħżel l-għodda t-tajba (ML Kit, Core ML, TensorFlow Lite) ibbażata fuq il-privatezza, il-ħtieġa offline, id-daqs tal-mudell u l-kriterji tal-batterija
- Kapaċità li tipprevjeni żbalji siekta billi tivverifika l-ipproċessar minn qabel tal-input (daqs u normalizzazzjoni) mid-dokument tal-mudell fl-integrazzjoni tal-mudell
- Kapaċità li tevalwa l-punteġġ ta 'kunfidenza u tkejjel ir-riżultat bl-approvazzjoni tal-utent u fuq l-apparat reali, mingħajr ma tippreżenta tbassir ta' kunfidenza baxxa bħala verità assoluta.
S'issa, użajna l-AI bħala għajnuna biex tħaffef il-proċess ta 'żvilupp. Issa ngħaddu għat-tieni rwol tal-AI: it-talent inkorporat fl-applikazzjoni. Telefowns moderni għandhom is-setgħa li jmexxu mudelli AI bħar-rikonoxximent tal-immaġni, it-traduzzjoni tat-test, it-traskrizzjoni tad-diskors, eċċ direttament fuq l-apparat (fuq l-apparat — fil-proċessur tat-telefon stess mingħajr ma jmorru fis-server). AI fuq l-apparat; Joffri vantaġġi kbar fuq is-soluzzjonijiet tal-cloud f'termini ta' veloċità, privatezza u tħaddim offline. F'din l-unità, se nitgħallmu kif inkorporaw l-AI fl-applikazzjoni bil-Core ML tal-iOS, TensorFlow Lite trans-pjattaforma (issa magħrufa bħala LiteRT) u s-soluzzjoni lesta ML Kit ta 'Google, u kif tuża l-AI bħala assistent f'din l-integrazzjoni.
Fuq l-apparat jew sħaba?
Din hija l-ewwel u l-aktar deċiżjoni arkitettonika importanti. L-AI fuq it-tagħmir ma tneħħix id-dejta mit-telefon — rebħa kbira għall-privatezza. Huwa wkoll istantanju u jaħdem offline peress li m'hemm l-ebda latency tan-netwerk. Madankollu, huwa limitat mill-qawwa tal-ipproċessar tal-apparat u l-memorja; Mudelli kbar ħafna (eż. mudelli tal-ilsien ġgant) mhux se jidħlu fit-telefon jew se jbattu l-batterija. Cloud AI, min-naħa l-oħra, toffri qawwa bla limitu, iżda tibgħat data lis-server, teħtieġ netwerk u toħloq latency.
kriterju
Fuq l-apparat
Cloud (cloud API)
Privatezza
Id-dejta tibqa' fuq l-apparat, b'saħħitha
Id-dejta tmur fuq is-server, hemm bżonn attenzjoni
veloċità
Instant, l-ebda netwerk
Jiddependi fuq il-latency tan-netwerk
offline
Jaħdem
Ma taħdimx
Daqs tal-mudell
Limitat (riżors tat-telefon)
illimitat
batterija/sħana
Effetti b'użu qawwi
Server taħt tagħbija, apparat rilassat
Spiża
Ħieles (sors tal-apparat)
Ħlas għal kull użu
Regola tad-deċiżjoni: Agħżel fuq l-apparat jekk id-dejta personali/sensittiva tkun qed tiġi pproċessata, jekk trid taħdem offline, jew jekk ikunx essenzjali rispons immedjat. Jekk għandek bżonn mudell kbir ħafna, dawwar lejn is-sħaba. Din l-unità hija ffukata fuq it-tagħmir; Aħna se nkopru sħaba AI fl-unità li jmiss.
Tip: Dejjem agħmel fuq it-tagħmir default tiegħek għal karatteristika li timmaniġġja dejta sensittiva (saħħa, bijometrika, post). Il-frażi "data ma tħallix l-apparat" hija imprezzabbli kemm għall-konformità tal-privatezza kif ukoll għall-fiduċja tal-utent, u tagħmel differenza kbira fit-tikketta tal-privatezza tal-maħżen.
Tliet modi: ML Kit, Core ML, TensorFlow Lite
ML Kit (Google) huwa l-eħfef mod biex tibda: tagħti kapaċitajiet lesti bħal rikonoxximent tat-test (OCR — qari ta 'test f'immaġni), skoperta tal-wiċċ, qari tal-barcode, traduzzjoni fi ftit linji. M'għandekx bżonn tħarreġ il-mudell tiegħek. Core ML (Apple) huwa l-aktar mod effiċjenti biex tmexxi l-mudell tiegħek jew mudell lest fuq iOS; Juża l-ħardwer tal-Magna Neural ta’ Apple (proċessur tan-netwerk newrali artifiċjali). TensorFlow Lite/LiteRT hija soluzzjoni multi-pjattaforma li tippermettilek tmexxi l-mudell imħarreġ tiegħek kemm fuq Android kif ukoll fuq iOS.
Il-fluss tal-integrazzjoni ġenerali mal-AI jmur hekk:
- Definizzjoni tat-talent. Għan ċar, bħal "Irrid naqra t-test fir-ritratt."
- Għażla tal-mogħdija. Jekk ikun hemm talent lest, ML Kit; Core ML/TF Lite jekk mudell speċjali disponibbli.
- Format tal-mudell. .mlmodel (Core ML), .tflite (TF Lite). Jispjega l-passi tat-trasformazzjoni tal-AI.
- Kodiċi ta' integrazzjoni. It-tagħbija tal-mudell, l-ipproċessar minn qabel tal-input, l-interpretazzjoni tal-output.
- Test tal-prestazzjoni. Veloċità, memorja, kejl tal-batterija fuq apparat reali.
Attenzjoni: L-iżball tal-AI l-aktar komuni fl-integrazzjoni tal-mudelli fuq it-tagħmir huwa l-ipproċessar minn qabel tal-input — il-konverżjoni tal-immaġni għad-daqs u l-format tal-kulur li l-mudell jistenna. Jekk il-mudell jistenna 224x224 pixels u inti tagħtih 300x300, ir-riżultat se jkun bla sens, iżda inti mhux se tirċievi messaġġ ta 'żball. Ivverifika l-valuri tal-ipproċessar minn qabel mid-dokument tal-mudell.
Li tkun taf il-limiti tal-mudell
Mudell fuq l-apparat jieħu deċiżjonijiet ibbażati fuq id-dejta li ġie mħarreġ fuqha. Mudell ta’ rikonoxximent ta’ oġġetti mħarreġ biss fuq ritratti meħuda matul il-ġurnata jkun żbaljat fuq immaġini bil-lejl. Il-mudell għandu punteġġ ta' kunfidenza (kunfidenza — kemm hu kunfidenti l-mudell dwar it-tweġiba tiegħu, ġeneralment bejn 0 u 1); Huwa perikoluż li tippreżenta riżultati ta 'kunfidenza baxxa lill-utent bħala preċiżi. Pereżempju, applikazzjoni għall-iskannjar tal-post tal-ġilda m'għandhiex tgħid "definittivament beninni", iżda għandha tgħid "it-tbassir tal-mudell huwa dan, jekk jogħġbok ikkonsulta tabib". Ir-riżultat tal-mudell huwa rakkomandazzjoni, mhux dijanjosi.
tliet każijiet żgħar
Każ 1 — Aċċelerazzjoni bl-OCR. App għall-intraċċar tal-ispejjeż neħħiet il-piż tad-dħul manwalment tal-irċevuti bir-rikonoxximent tat-test tal-ML Kit. L-utent jieħu ritratt tal-irċevuta, u l-ammont u d-data jimtlew awtomatikament. Il-ħin tad-dħul manwali naqas minn 40 sekonda għal 8 sekondi għal kull irċevuta. It-tim dejjem kellu lill-utent jikkonferma l-ammont li l-AI qrat; minħabba li l-irċevuti mkemmxa kellhom marġini ta 'żball ta' 6%. L-awtomazzjoni + l-approvazzjoni umana kienet il-bilanċ it-tajjeb.
Każ 2 — Żball tal-ipproċessar minn qabel. Tim wieħed integra mudell ta 'rikonoxximent tal-pjanti ma' TensorFlow Lite; Fuq it-tester, ir-riżultati kienu każwali. Il-problema kienet li l-kodiċi ġġenerat mill-AI ma nnormalizzax l-immaġni għall-firxa [0,1] li l-mudell mistenni (il-valuri tal-pixel tħallew f'0-255). Meta ġiet miżjuda n-normalizzazzjoni, l-eżattezza żdiedet minn 30% għal 89%. Lezzjoni: l-ipproċessar minn qabel huwa sieket iżda fatali.
Każ 3 — Il-gwadann tal-privatezza. Applikazzjoni tas-saħħa sabet anomalija mid-dejta tar-rata tal-qalb bil-mudell Core ML fuq it-tagħmir. Id-dejta qatt ma marret lis-server. Din l-għażla ppermettiet li l-applikazzjoni tirċievi l-frażi “ma tiġborx data” fit-tikketta tal-privatezza tal-App Store u żiedet ir-rata tat-tniżżil tagħha meta mqabbla mal-kompetituri. L-għażla fuq l-apparat kienet kemm etika kif ukoll kummerċjalment profittabbli.
Pront dgħajjef / Pront qawwi
Pront dgħajjef: "Żid ir-rikonoxximent tal-immaġni mal-app tiegħi."
Prompt qawwi: "Żid il-karatteristika tal-qari tal-ammont u d-data mal-applikazzjoni tiegħi Android/Kotlin. - Uża Google ML Kit Text Recognition (fuq l-apparat, offline) - Ħu immaġni mill-kamera jew gallerija - Oħroġ l-ammont u d-data mit-test rikonoxxut b'regex - Ippreżenta r-riżultat lill-utent għall-approvazzjoni fil-qasam EDITABLE, auto-save - Immaniġġja l-fluss tal-permess tal-kamera u tispjega s-sitwazzjonijiet ta' rifjut.
Mudelli kopjabbli
Mudell tal-għażla tal-mogħdija: "Irrid nagħmel il-karatteristika li ġejja: [karatteristika]. Għandu jkun fuq l-apparat jew sħaba? Qabbel ibbażat fuq: privatezza, ħtieġa offline, daqs tal-mudell, batterija, spiża. Irrakkomanda l-għodda xierqa (ML Kit / Core ML / TF Lite) u ġġustifika."
Mudell ta' integrazzjoni: "Ikteb [mudell/kapaċità] integrazzjoni għal [pjattaforma]:1) Tagħbija tal-mudell2) Preproċessar tad-dħul (daqs u normalizzazzjoni mistennija)3) Sejħa ta' inferenza4) Interpretazzjoni tal-output u verifika tal-punteġġ ta' kunfidenza5) Twissija lill-utent dwar riżultat ta' kunfidenza baxxa Fakkarni biex nivverifika l-valuri ta' preproċessar mid-dokumentazzjoni tal-mudell."
Mudell ta' punteġġ ta' kunfidenza: "Ikkunsidra l-punteġġ ta' kunfidenza f'dan il-kodiċi ta' inferenza:- Ippreżenta riżultat 'eżatt' taħt il-limitu (eż. 0.6)- Uri 'din hija stima' nota lill-utent- Irreferi lill-espert jekk qasam kritiku (saħħa, sigurtà)[kodiċi]"
Mudell ta 'verifika tal-prestazzjoni: "Elenka l-metriċi li għandi bżonn nkejjel fuq l-apparat attwali għal din l-integrazzjoni tal-mudell fuq l-apparat: ħin ta' inferenza, żieda fil-memorja, impatt tal-batterija, tisħin. Għid il-metodu ta 'kejl għal kull wieħed."
Żbalji komuni
- Taqbeż il-preproċessar jew tagħmel dan b'mod żbaljat. Daqs ħażin/normalizzazzjoni skiet tipproduċi riżultat ħażin.
- Injora l-punteġġ ta' kunfidenza. Il-preżentazzjoni ta' stima ta' fiduċja baxxa bħala preċiża tiżgwida lill-utent.
- Ittestjar tal-mudell fl-emulator. Il-veloċità attwali tal-apparat u l-batterija huma differenti ħafna; dejjem ikejjel fuq ħardwer reali.
- Tibgħat data sensittiva lill-cloud bla bżonn. L-għażla tas-sħab meta tkun possibbli fuq l-apparat hija riskju għall-privatezza.
- Injora d-daqs tal-mudell. Apps tal-mudelli kbar jintefħu d-daqs tat-tniżżil u jikkraxxjaw fuq hardware baxx.
- Jinsa l-limitu tat-taħriġ tal-mudell. Il-mudell huwa żbaljat fil-kundizzjoni fejn ma jarax (lejl, lingwa differenti); Agħmel dan ċar lill-utent.
Fil-qosor
L-AI fuq it-tagħmir tipprovdi privatezza, veloċità u tħaddim offline billi żżomm id-dejta fuq it-telefon; Il-limitu huwa l-qawwa tal-apparat u d-daqs tal-mudell. ML Kit jintuża għal kapaċitajiet out-of-the-box, Core ML (iOS) u TensorFlow Lite (cross-platform) jintużaw għal mudelli tad-dwana. Il-qattiel sieket tal-integrazzjoni huwa preproċessar mhux xieraq; Id-daqs tal-input u n-normalizzazzjoni huma vverifikati mid-dokumentazzjoni tal-mudell. Kull riżultat jiġi b'punteġġ ta 'kunfidenza, u tbassir ta' kunfidenza baxxa mhumiex ippreżentati bħala verità assoluta. Id-deċiżjonijiet jitkejlu fuq l-apparat reali, mhux l-emulator.
Kompitu ta' applikazzjoni
Għal karatteristika ta’ “qari ta’ test minn ritratt” jew “qari tal-barcode”, staqsi lill-AI jekk għandux ikun fuq it-tagħmir jew sħaba bil-“Path selection template”, imbagħad staqsi għal blueprint ibbażat fuq ML Kit bil-“Integration template”. Ivverifika li l-pass tal-ipproċessar minn qabel u l-fluss tal-approvazzjoni/editjar tal-utent huma preżenti fil-kodiċi. Issettja limitu ta’ punteġġ ta’ fiduċja u ikteb x’se tagħmel jekk ir-riżultat ikun ta’ fiduċja baxxa.
lista ta' kontroll
- [ ] Jien għamilt id-deċiżjoni fuq l-apparat/sħab ibbażat fuq kriterji
- [ ] Għażilt l-għodda t-tajba (ML Kit / Core ML / TF Lite)
- [ ] Ivverifikajt id-dimensjoni tal-ipproċessar minn qabel u n-normalizzazzjoni mid-dokumentazzjoni tal-mudell
- [ ] Iċċekkja l-punteġġ ta' fiduċja u wissajt dwar riżultati ta' fiduċja baxxa
- [ ] Ippreżentajt ir-riżultat lill-utent b'approvazzjoni/editjar, ma salvajtux bl-addoċċ
- [ ] Jien tkejjel il-prestazzjoni fuq l-apparat reali, mhux l-emulator