অন-প্রেম, ভিপিসি এবং ওপেনওয়েট হোস্টিং

লাভ:

• পরিচালিত API, VPC এবং অন-প্রিম হোস্টিংয়ের মধ্যে ট্রেড-অফ মূল্যায়ন করার ক্ষমতা
• ডেটা সার্বভৌমত্ব, ভলিউম এবং অপারেশনাল ক্ষমতার উপর ভিত্তি করে হোস্টিং এর সিদ্ধান্ত নেওয়ার ক্ষমতা
• সম্পূর্ণ আইটেম এবং ডিজাইন হাইব্রিড আর্কিটেকচার সহ মালিকানার মোট খরচ (TCO) গণনা করার ক্ষমতা

কিছু সংস্থার জন্য, "একটি প্রদানকারীর কাছে ডেটা পাঠানো" — তা যতই নিরাপদ হোক না কেন — গ্রহণযোগ্য নয়৷ প্রতিরক্ষা শিল্প, জনসাধারণ, ব্যাঙ্কিং এবং কিছু স্বাস্থ্য পরিস্থিতিতে, ডেটা কখনই প্রতিষ্ঠানের সীমানার বাইরে যাওয়া উচিত নয়। এই মুহুর্তে, আপনার নিজস্ব মডেল হোস্টিং সামনে আসে: ওপেন-ওয়েট মডেল, আপনার নিজস্ব ক্লাউড নেটওয়ার্ক (VPC) বা আপনার নিজস্ব সার্ভারে (অন-প্রিম) চলছে৷ এই ইউনিটে আমরা ম্যানেজড এপিআই এবং সেলফ-হোস্টিং এর মধ্যে ট্রেডঅফ শিখব, যখন এটি বোঝা যায়, এবং মালিকানার মোট খরচ (TCO)।

ধারণা

• পরিচালিত API: মডেল প্রদানকারীর পরিকাঠামোতে চলে; আপনি একটি অনুরোধ পাঠান এবং একটি প্রতিক্রিয়া পেতে. অপারেশনাল ওভারহেড ন্যূনতম, কিন্তু ডেটা প্রদানকারীর কাছে যায়।
• ওপেন-ওয়েট মডেল: মডেল প্যারামিটার (ওজন) ডাউনলোড করা যেতে পারে; আপনি এটি আপনার নিজের হার্ডওয়্যারে চালাতে পারেন। এটি অগত্যা "ওপেন সোর্স" এর মত নয় (লাইসেন্স ভিন্ন হতে পারে)।
• VPC হোস্টিং (ভার্চুয়াল প্রাইভেট ক্লাউড): আপনার নিজস্ব বিচ্ছিন্ন ক্লাউড নেটওয়ার্কে মডেলটি চালানো; ডেটা আপনার নেটওয়ার্ক সীমানায় রয়ে গেছে, কিন্তু অবকাঠামো এখনও ক্লাউডে রয়েছে।
• অন-প্রেম (অন-প্রিমিসেস): আপনার নিজস্ব ডেটা সেন্টারে হার্ডওয়্যারে মডেলটি সম্পূর্ণভাবে চালানো; সর্বোচ্চ নিয়ন্ত্রণ, সর্বোচ্চ অপারেশনাল লোড।

সতর্কতা: "নিজের হোস্টিং সবসময় নিরাপদ" একটি ভুল ধারণা। আপনি ডেটা কোথায় রাখেন তার উপর নিরাপত্তা নির্ভর করে এবং কতটা ভালভাবে পরিচালনা করেন তার উপর বেশি। একটি আনপ্যাচড, খারাপভাবে কনফিগার করা অন-প্রিম সার্ভার একটি পরিপক্ক পরিচালিত API থেকে ঝুঁকিপূর্ণ।

সিদ্ধান্ত অক্ষ: কোনটি কখন?

তিনটি প্রশ্ন সিদ্ধান্ত নির্দেশ করে:

1. ডেটা সার্বভৌমত্ব: আইন বা চুক্তি কি তথ্যকে প্রতিষ্ঠান/দেশ ছেড়ে যাওয়া নিষিদ্ধ করে? যদি হ্যাঁ, তাহলে আপনাকে VPC/অন-প্রেম-এর দিকে ঠেলে দেওয়া হবে।
2. আয়তন এবং খরচ: ব্যবহার কি খুব বেশি এবং অনুমানযোগ্য? স্ব-হোস্টিং এর খুব বেশি পরিমাণ ইউনিট খরচ কমাতে পারে; কম/অনিশ্চিত ভলিউমে পরিচালিত API প্রায় সবসময় সস্তা।
3. অপারেশনাল ক্ষমতা: আপনার কাছে কি জিপিইউ অবকাঠামো, মডেল আপডেট, স্কেলিং এবং নিরাপত্তা প্যাচিং বজায় রাখার জন্য দল আছে? অন্যথায় আপনার নিজের হোস্টিং একটি লুকানো খরচ.

ট্রেডঅফ টেবিল

আকার

পরিচালিত API

ভিপিসি

অন-প্রেম (ওপেন ওয়েট)

ডেটা সার্বভৌমত্ব

প্রদানকারীকে বিশ্বাস করুন

উচ্চ (আপনার নেটওয়ার্ক সীমাতে)

সর্বোচ্চ (কখনও উঠে না)

অপারেশন লোড

খুব কম

মাঝারি

উচ্চ

প্রাথমিক খরচ

কম (যাওয়ার সাথে সাথে অর্থ প্রদান করুন)

মাঝারি

উচ্চ (হার্ডওয়্যার)

স্কেলিং

স্বয়ংক্রিয়

পরিচালিত

আপনার দায়িত্ব

মডেল গুণমান/মুদ্রা

নতুন, স্বয়ংক্রিয়

নির্ভর করে

আপনি আপডেট করুন

নিয়ন্ত্রণ

কম

উচ্চ

পূর্ণ

ধাপে ধাপে: হোস্টিং সিদ্ধান্ত

1. ডেটা ক্লাস নির্ধারণ করুন। কোন গোপনীয়তা স্তরে তথ্য প্রক্রিয়া করা হবে?
2. আইনি সীমাবদ্ধতা যাচাই করুন। ডেটা বের হতে পারে? (KVKK, সেক্টর রেগুলেশন, চুক্তি।)
3. আয়তন অনুমান করুন। মাসিক অনুরোধ/টোকেন ভলিউম এবং বৃদ্ধি বক্ররেখা।
4. TCO গণনা করুন। শুধু GPU নয়; শক্তি, রক্ষণাবেক্ষণ, দল, নিরাপত্তা, অপ্রয়োজনীয়তা।
5. হাইব্রিড ভাবুন। একটি হাইব্রিড মডেল যা অন-প্রিম/ভিপিসি-তে সংবেদনশীল ডেটা প্রক্রিয়া করে এবং পরিচালিত API-তে অ-সংবেদনশীল ডেটা প্রায়শই সবচেয়ে স্থিতিশীল থাকে।

চারটি অনুলিপিযোগ্য টেমপ্লেট

হোস্টিং সিদ্ধান্ত প্রম্পট:

নিম্নলিখিত ব্যবহারের জন্য হোস্টিং নির্ধারণ করুন: {{ দৃশ্যকল্প }}প্রশ্ন:- প্রসেস করা ডেটার গোপনীয়তা শ্রেণী কী? (সর্বজনীন/অভ্যন্তরীণ/গোপনীয়/টপ সিক্রেট)- আইন/চুক্তি কি সংস্থার বাইরে ডেটা যাওয়ার অনুমতি দেয়?- মাসিক ভলিউম পূর্বাভাস এবং অনুমানযোগ্যতা?- অপারেশন/জিপিইউ দলের ক্ষমতা আছে কি? সুপারিশ: "পরিচালিত API / VPC / অন-প্রেম / হাইব্রিড" + ন্যায্যতা।

TCO আইটেম তালিকা (স্ব-হোস্টিংয়ের জন্য):

এর দ্বারা মালিকানার মোট খরচ গণনা করুন:- হার্ডওয়্যার (GPU) ক্রয়/লিজ- শক্তি এবং শীতলকরণ- মানব: MLOps + নিরাপত্তা দলের সময়- মডেল আপডেট এবং পরীক্ষামূলক কর্মশক্তি- রিডানডেন্সি/দুর্যোগ পুনরুদ্ধার- নিরাপত্তা প্যাচিং এবং পর্যবেক্ষণ 12-24 মাসের দিগন্তে পরিচালিত API-এর মাসিক বিলের সাথে তুলনা করুন।

হাইব্রিড রাউটিং নিয়ম:

ডেটা ক্লাসের উপর ভিত্তি করে প্রতিটি অনুরোধ রুট করুন:- "সিক্রেট / টপ সিক্রেট" ডেটা -> অন-প্রেম/ভিপিসি মডেল- "পাবলিক/অভ্যন্তরীণ" ডেটা -> পরিচালিত API (আরও শক্তিশালী/সস্তা) অডিট লগে ফরওয়ার্ড করার সিদ্ধান্ত এবং ডেটা ক্লাস লিখুন।

ওজন নিরাপত্তা চেক প্রম্পট খুলুন:

আমাদের স্ব-হোস্ট করা মডেলের মূল্যায়ন করুন:- লাইসেন্সটি কি বাণিজ্যিক ব্যবহারের অনুমতি দেয় এবং আমাদের পরিস্থিতিতে?- বিশ্বস্ত উত্স থেকে মডেলের ওজন, অখণ্ডতা (হ্যাশ) যাচাই করা হয়েছে?- সার্ভার প্যাচিং, নেটওয়ার্ক বিচ্ছিন্নতা, অ্যাক্সেস নিয়ন্ত্রণ ইনস্টল করা আছে?- নিরীক্ষণ এবং লগিং কি পরিচালিত API-এর মতো পরিপক্ক? কোনো অনুপস্থিত আইটেমকে "চালু" হিসাবে চিহ্নিত করুন।

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

দরিদ্র পদ্ধতি

শক্তিশালী পন্থা

"অন-প্রেম নিরাপদ, সর্বদা এটি ব্যবহার করুন"

ডেটা সার্বভৌমত্ব + আয়তন + ক্ষমতার উপর ভিত্তি করে সিদ্ধান্ত

শুধু জিপিইউ খরচ দেখছি

সম্পূর্ণ TCO (শক্তি, ক্রু, আপডেট, নিরাপত্তা)

একটি একক হোস্টিং মডেলের মধ্যে লক করা হচ্ছে

হাইব্রিড: ডাটা ক্লাস দ্বারা রাউটিং

খোলা ওজন কমিয়ে এবং যাচাই না করেই দৌড়ানো

লাইসেন্স + অখণ্ডতা + প্যাচ + ট্রেস নিয়ন্ত্রণ

তিনটি মিনি কেস

কেস 1 - অন-প্রিম ম্যান্ডেট সঠিক সিদ্ধান্ত ছিল। একটি প্রতিরক্ষা ঠিকাদার অত্যন্ত শ্রেণীবদ্ধ নথি প্রক্রিয়াকরণ ছিল; চুক্তিটি দেশের বাইরে ডেটা নেওয়া নিষিদ্ধ করেছিল। পরিচালিত API শুরু থেকেই বাদ দেওয়া হয়েছিল। অন-প্রিম ওপেন ওয়েট মডেল প্রতিষ্ঠিত হয়েছিল; খরচ উচ্চ ছিল, কিন্তু এটি শুধুমাত্র সামঞ্জস্যপূর্ণ বিকল্প ছিল.

কেস 2 — গোপনীয় TCO সিদ্ধান্ত পরিবর্তন করেছে। একটি স্টার্টআপ স্ব-হোস্টিং-এ স্যুইচ করার পরিকল্পনা করেছে কারণ "এপিআই ব্যয়বহুল।" TCO গণনায়, আপনি শুধুমাত্র GPU অন্তর্ভুক্ত করেন না; 2 পূর্ণ-সময়ের MLOps ইঞ্জিনিয়ার যোগ করুন, লোড আপডেট করুন এবং রিডানডেন্সি, এবং 24-মাসের মোট পরিচালিত API এর দ্বিগুণ। তারা এপিআই-তে রয়ে গেছে কারণ তাদের ভলিউম কম এবং বিক্ষিপ্ত ছিল।

কেস 3 - হাইব্রিড সেরা দিয়েছে। একটি ব্যাঙ্কের কল সেন্টার সহকারী দুটি ধরণের ডেটা প্রক্রিয়া করছিল: সাধারণ পণ্যের প্রশ্ন এবং গ্রাহক-নির্দিষ্ট অ্যাকাউন্ট ডেটা। অ্যাকাউন্ট ডেটা VPC-এর মধ্যে মডেলের দিকে নির্দেশিত হয়, সাধারণ প্রশ্নগুলি শক্তিশালী পরিচালিত API-তে নির্দেশিত হয়। সংবেদনশীল ডেটা কখনই বেরিয়ে আসেনি, সাধারণ প্রশ্নের জন্য সবচেয়ে শক্তিশালী মডেলের গুণমান ব্যবহার করা হয়েছিল; খরচ এবং ফিট একসাথে অপ্টিমাইজ করা হয়.

টিপ: সিদ্ধান্তটি বাইনারি হতে হবে না (সব বা কিছুই)। হাইব্রিড আর্কিটেকচার — ক্লাস অনুসারে ডেটা রাউটিং — একই সাথে বেশিরভাগ এন্টারপ্রাইজ পরিস্থিতিতে কমপ্লায়েন্স এবং খরচের সমাধান করে।

সাধারণ ভুল

• ধরে নিন "নিজের হোস্টিং স্বয়ংক্রিয়ভাবে নিরাপদ"; যেখানে নিরাপত্তা নির্ভর করে ব্যবস্থাপনার মানের উপর।
• এই ভেবে যে TCO শুধু GPU খরচ; দল, শক্তি, আপডেট করা এবং নিরাপত্তা সম্পর্কে ভুলে যাওয়া।
• কম/অনিয়মিত ভলিউমে স্ব-হোস্টিং-এ স্যুইচ করা এবং ইউনিট খরচ বৃদ্ধি করা।
• লাইসেন্স এবং অখণ্ডতা (হ্যাশ) যাচাই না করে ওপেন ওয়েট মডেল ব্যবহার করা।
• অন-প্রিম সার্ভারে পরিচালিত API-এর মতো পরিপক্ক মনিটরিং/লগিং ইনস্টল না করা।
• হাইব্রিড বিকল্পটি মোটেও বিবেচনা না করে একটি বাইনারি সিদ্ধান্ত নেওয়া।

সংক্ষেপে

• ম্যানেজড এপিআই কার্যকরীভাবে সবচেয়ে সহজ, কিন্তু ডেটা প্রদানকারীর কাছে যায়; ভিপিসি/অন-প্রেম আপনার সীমানায় ডেটা রাখে।
• তিনটি প্রশ্ন সিদ্ধান্তকে চালিত করে: ডেটা সার্বভৌমত্ব, ভলিউম/খরচের পূর্বাভাসযোগ্যতা এবং অপারেশনাল ক্ষমতা।
• "সেলফ হোস্টিং বেশি নিরাপদ" একটি ভুল ধারণা; নিরাপত্তা নির্ভর করে আপনি ডেটা কোথায় রাখবেন তার উপর, কিন্তু আপনি কতটা ভালোভাবে পরিচালনা করেন তার উপর।
• সঠিক TCO গণনা করুন: শক্তি, দল, আপডেট, অপ্রয়োজনীয়তা এবং নিরাপত্তা, সেইসাথে GPU।
• হাইব্রিড আর্কিটেকচার (শ্রেণী অনুসারে ডেটা রাউটিং) একই সাথে বেশিরভাগ এন্টারপ্রাইজ পরিস্থিতিতে সম্মতি এবং খরচের ভারসাম্য বজায় রাখে।

আবেদন টাস্ক

একটি AI ব্যবহার চয়ন করুন এবং একটি গোপনীয়তা ক্লাসে প্রক্রিয়া করার জন্য ডেটা আলাদা করুন৷ হোস্টিং সিদ্ধান্ত প্রম্পট সহ একটি সুপারিশ তৈরি করুন। তারপর আপনার নিজের হোস্টিংয়ের জন্য TCO আইটেম তালিকাটি পূরণ করুন এবং পরিচালিত API বিলের সাথে 24-মাসের মোটের তুলনা করুন। অবশেষে, একটি খসড়া হাইব্রিড রাউটিং নিয়ম লিখুন: কোন ডেটা কোথায় যায়?

চেকলিস্ট

• [ ] আমি গোপনীয়তার শ্রেণী এবং প্রক্রিয়াকরণ করা ডেটার আইনি সীমাবদ্ধতা নির্ধারণ করেছি৷
• আমি সার্বভৌমত্ব + আয়তন + ক্ষমতার উপর ভিত্তি করে হোস্টিং সিদ্ধান্ত নিয়েছি।
• [ ] আমি সম্পূর্ণ আইটেম (নন-জিপিইউ সহ) টিসিও গণনা করেছি।
• [ ] আমি স্ব-হোস্টিং-এ লাইসেন্স, অখণ্ডতা, প্যাচিং এবং পর্যবেক্ষণ পরীক্ষা করেছি।
• [ ] আমি হাইব্রিড রাউটিং বিকল্পটি বিবেচনা করেছি।
• আমি সিদ্ধান্ত এবং এর যুক্তি নথিভুক্ত করেছি।