Bölüm 8 / 11

On-Prem, VPC we Açyk agramly hosting

Girdeji:

  • Dolandyrylan API, VPC we deslapky hostingiň arasyndaky söwda bahalaryna baha bermek ukyby
  • Maglumatlaryň özygtyýarlylygyna, göwrümine we iş ukybyna esaslanyp hosting barada karar bermek ukyby
  • Doly zatlar we dizaýn gibrid arhitekturasy bilen eýeçiligiň umumy bahasyny (TCO) hasaplamak ukyby

Käbir guramalar üçin “üpjün edijä maglumat ibermek” - näçe ygtybarly bolsa-da kabul ederliksiz. Goranmak pudagynda, jemgyýetçilik, bank we käbir saglyk ýagdaýlarynda maglumatlar hiç haçan edaranyň çäginden çykmaly däldir. Bu pursatda öz modeliňizi ýerleşdirmek birinji orunda durýar: açyk bulutly modeller, öz bulut toruňyzda (VPC) ýa-da öz serwerleriňizde (deslapky) işleýär. Bu bölümde, dolandyrylýan API bilen öz-özüňi ýerleşdirmegiň arasyndaky many-mazmuny we eýeçiligiň umumy bahasyny (TCO) öwreneris.

düşünjeleri

  • Dolandyrylan API: Model üpjün edijiniň infrastrukturasynda işleýär; Siz haýyş iberýärsiňiz we jogap alýarsyňyz. Işleýiş usuly az, ýöne maglumatlar üpjün edijä gidýär.
  • Açyk agramly model: Model parametrlerini (agramlary) göçürip alyp bolýar; Ony öz enjamyňyzda işledip bilersiňiz. "Açyk çeşme" bilen birmeňzeş däl (ygtyýarnama başgaça bolup biler).
  • VPC hosting (Wirtual Private Cloud): Modeli öz izolirlenen bulut toruňyzda işletmek; Maglumatlar toruňyzyň çäginde galýar, emma infrastruktura henizem bulutda.
  • Oturylyşykda (jaýda): Modeli tutuşlygyna öz maglumat merkeziňizdäki enjamlarda işletmek; iň ýokary gözegçilik, iň ýokary amaly ýük.
Üns beriň: "Öz hostingiňiz elmydama has ygtybarly" ýalňyş düşünje. Howpsuzlyk maglumatlary nirede saklaýandygyňyza we has gowy dolandyrýandygyňyza baglydyr. Iberilmedik, gowy düzülen deslapky serwer, kämillik ýaşyna ýeten API-den has töwekgelçiliklidir.

Karar oky: Haýsy haçan?

Karara üç sorag ugrukdyrýar:

  1. Maglumatlaryň özygtyýarlylygy: Kanun ýa-da şertnama maglumatlaryň edara / ýurtdan çykmagyny gadagan edýärmi? Hawa bolsa, VPC / premýer-e tarap iteriler.
  2. Sesi we bahasy: Ulanylyşy gaty ýokary we öňünden aýdyp bolarmy? Öz-özüňi ýerleşdirmegiň gaty ýokary mukdary birlik çykdajylaryny azaldyp biler; Pes / nädogry ses bilen dolandyrylýan API hemişe diýen ýaly arzan.
  3. Işleýiş kuwwaty: GPU infrastrukturasyny, modeli täzelemegi, ulaltmagy we howpsuzlygy berkitmegi üpjün edýän toparyňyz barmy? Otherwiseogsam, öz hostingiňiz gizlin çykdajy.

Söwda sanawy

Ölçegi

Dolandyrylan API

VPC

On-Prem (açyk agram)

Maglumatlaryň özygtyýarlylygy

Üpjün edijä bil baglaň

Highokary (toruňyzyň çäginde)

Iň ýokary (hiç haçan beýgelmeýär)

Işleýiş ýükleri

gaty pes

orta

beýik

Başlangyç bahasy

Pes (gideniňde töle)

orta

(Okary (apparat)

masştablandyrmak

awtomatiki

Dolandyrylýar

jogapkärçiligiňiz

Modeliň hili / walýuta

iň täze, awtomatiki

Baglydyr

Täzeleýärsiňiz

gözegçilik

pes

beýik

doly

Stepdimme-ädim: Hosting karary

  1. Maglumat synpyny kesgitläň. Maglumatlar haýsy gizlinlik derejesinde işlener?
  2. Kanuny çäklendirmäni barlaň. Maglumat çykyp bilermi? (KVKK, pudagy düzgünleşdirmek, şertnama.)
  3. Sesine baha beriň. Aýlyk haýyş / belgi göwrümi we ösüş egrisi.
  4. TCO-ny hasaplaň. Diňe GPU däl; energiýa, tehniki hyzmat, topar, howpsuzlyk, artykmaçlyk.
  5. Gibrid pikir ediň. Öňünden / VPC-de duýgur maglumatlary we dolandyrylýan API-de duýgur däl maglumatlary gaýtadan işleýän gibrid model köplenç iň durnuklydyr.

Göçürip boljak dört şablon

Hosting karary:

Aşakdaky ulanmak üçin hosting kararyna geliň: {{ssenariýa}} Soraglar: - Işlenmeli maglumatlaryň gizlinlik synpy näme? . Teklip: "Dolandyrylan API / VPC / On-prem / Gibrid" + esaslandyrma.

TCO elementleriň sanawy (öz-özüni ýerleşdirmek üçin):

Eýeçiligiň umumy bahasyny şu aşakdakylar bilen hasaplaň: - Enjam (GPU) satyn almak / kärendesi- Energetika we sowatmak- Adam: MLOps + howpsuzlyk toparynyň wagty- Model işçi güýjüni täzelemek we synag etmek - Artykmaçlyk / betbagtçylykdan halas etmek- Howpsuzlygy berkitmek we gözegçilik Muny 12-24 aýlyk gözýetimde dolandyrylýan API üçin aýlyk töleg bilen deňeşdiriň.

Gibrid marşrut düzgüni:

Maglumat synpyna esaslanýan her haýyşy ugrukdyryň: - "gizlin / iň gizlin" maglumatlar -> deslapky / VPC modeli- "köpçülige / içerki" maglumatlar -> dolandyrylýan API (has güýçli / arzan) Ibermek kararyny we maglumat synpyny audit gündeligine ýazyň.

Agram howpsuzlygyny barlamak haýyşy:

Özümiziň ýerleşdiren modelimize baha beriň: - Ygtyýarnama täjirçilik taýdan ulanmaga rugsat berýärmi we biziň ssenariýamyzda? - Ygtybarly çeşmeden nusga agramlary, bütewilik (hash) barlanylýarmy? - Serweriň ýasalmagy, tor izolýasiýasy, giriş gözegçiligi gurulýarmy? - Dolandyryş API ýaly gözegçilik we hasaba alyş barmy?

Gowşak gyssagly / güýçli teklip

çemeleşme

Güýçli çemeleşme

"Oturylyşyk has ygtybarly, hemişe ulanyň"

Maglumatlaryň özygtyýarlylygy + göwrümi + kuwwatyna esaslanýan karar

Diňe GPU bahasyna seredýärin

Doly TCO (energiýa, ekipa ,, täzelenmeler, howpsuzlyk)

Hosteke hosting modeline gulplanmak

Gibrid: maglumat synpy boýunça marşrut

Açyk agramy peseltmän we barlamazdan ylgamak

Ygtyýarnama + bitewilik + patch + yz gözegçiligi

Üç kiçi waka

1-nji waka - deslapky mandat dogry karar boldy. Goranmak potratçysy ýokary derejeli resminamalary gaýtadan işlemelidi; Şertnamada maglumatlary ýurtdan çykarmak gadagan edildi. Dolandyrylan API başdan ýok edildi. Öňünden açyk agram modeli döredildi; Bahasy ýokarydy, ýöne ýeke-täk gabat gelýän wariantydy.

2-nji waka - Gizlin TCO karary ýatyrdy. Bir başlangyç, “API gymmat” bolany üçin öz-özüni ýerleşdirmegi meýilleşdirýär. TCO hasaplamasynda diňe GPU däl; 2 sany doly işleýän MLOps inersenerini goşuň, ýüküň täzelenmegi we artykmaçlygy, 24 aýlyk jemi dolandyrylýan API-den iki esse köp. Sesleri az we seýrek bolany üçin API-de galdylar.

3-nji waka - Gibrid iň gowusyny berdi. Bankyň jaň merkeziniň kömekçisi iki görnüşli maglumatlary gaýtadan işleýärdi: umumy önüm soraglary we müşderi üçin aýratyn hasap maglumatlary. Hasap maglumatlary VPC-däki modele, umumy soraglar güýçli dolandyrylýan API-e gönükdirilýär. Duýgur maglumatlar hiç haçan çykmady, iň güýçli modeliň hili umumy soraglar üçin ulanyldy; bahasy we laýyklygy bilelikde optimallaşdyrylýar.

Maslahat: Karar ikilikli bolmaly däl (hemmesi ýa-da hiç zat). Gibrid arhitektura - maglumatlary synp boýunça ugrukdyrmak - şol bir wagtyň özünde kärhanalaryň köpüsinde laýyklygy we çykdajylary çözýär.

Adaty ýalňyşlyklar

  • "Öz hosting awtomatiki usulda has ygtybarly" diýip çaklaň; howpsuzlyk dolandyryşyň hiline baglydyr.
  • TCO-nyň diňe GPU bahasydygyny pikir etmek; topar, energiýa, täzelenmek we howpsuzlygy ýatdan çykarmak.
  • Pes / tertipsiz göwrümde öz-özüňi ýerleşdirmek we birligiň bahasyny ýokarlandyrmak.
  • Ygtyýarnamany we bitewiligini (hash) barlamazdan açyk agram modelini ulanmak.
  • Gözegçilik / hasaba alyş deslapky serwerde dolandyrylýan API ýaly ýetişmedik.
  • Gibrid warianty asla göz öňünde tutman ikili karar bermek.

Gysgaça

  • Dolandyrylan API amaly taýdan iň aňsat, ýöne maglumatlar üpjün edijä gidýär; VPC / deslapky maglumat serhediňizde maglumatlary saklaýar.
  • Üç sorag karara itergi berýär: maglumatlaryň özygtyýarlylygy, göwrümi / çykdajylaryny öňünden kesgitlemek we iş ukyby.
  • "Öz-özüňi ýerleşdirmek has ygtybarly" ýalňyş düşünje; Howpsuzlyk maglumatlary nirede saklaýandygyňyza däl-de, ony nädip dolandyrýandygyňyza baglydyr.
  • Takyk TCO-ny hasaplaň: energiýa, topar, täzelenme, artykmaçlyk we howpsuzlyk, şeýle hem GPU.
  • Gibrid arhitektura (maglumatlary synp boýunça ugrukdyrmak) şol bir wagtyň özünde kärhanalaryň köpüsinde laýyklygy we çykdajylary deňleşdirýär.

Programma meselesi

AI ulanylyşyny saýlaň we gaýtadan işlenmeli maglumatlary gizlinlik synpyna bölüň. Hosting karary bilen maslahat beriň. Soňra öz hostingiňiz üçin TCO elementleriniň sanawyny dolduryň we 24 aýlyk jemi dolandyrylýan API hasaby bilen deňeşdiriň. Ahyrynda, gibrid marşrutlaşdyryş düzgüniniň taslamasyny ýazyň: haýsy maglumatlar nirä gidýär?

gözegçilik sanawy

  • [] Gizlinlik synpyny we işlenmeli maglumatlaryň kanuny çäklendirmesini kesgitledim.
  • [] Hosting kararyny özygtyýarlylyk + göwrüm + kuwwat esasynda kabul etdim.
  • [] TCO-ny doly zatlar bilen hasapladym (GPU däl).
  • [] Ygtyýarnamany, bütewiligi, ýamany we öz-özüňe gözegçilik etmegi barladym.
  • [] Gibrid marşrut görnüşini göz öňünde tutdum.
  • [] Karary we onuň sebäbini dokumentleşdirdim.