Lợi nhuận:
- Khả năng đánh giá sự cân bằng giữa API được quản lý, VPC và dịch vụ lưu trữ tại chỗ
- Khả năng quyết định lưu trữ dựa trên chủ quyền dữ liệu, khối lượng và năng lực hoạt động
- Khả năng tính toán tổng chi phí sở hữu (TCO) với đầy đủ các hạng mục và thiết kế kiến trúc lai
Đối với một số tổ chức, “gửi dữ liệu đến nhà cung cấp” - dù an toàn đến đâu - cũng không được chấp nhận. Trong ngành công nghiệp quốc phòng, công cộng, ngân hàng và một số tình huống y tế, dữ liệu không bao giờ được vượt ra ngoài biên giới của tổ chức. Tại thời điểm này, việc lưu trữ mô hình của riêng bạn trở nên nổi bật: các mô hình có trọng lượng mở, chạy trong mạng đám mây của riêng bạn (VPC) hoặc trên các máy chủ của riêng bạn (tại chỗ). Trong phần này, chúng ta sẽ tìm hiểu sự cân bằng giữa API được quản lý và tính năng tự lưu trữ khi điều này hợp lý và tổng chi phí sở hữu (TCO).
khái niệm
- API được quản lý: Chạy trên cơ sở hạ tầng của nhà cung cấp mô hình; Bạn gửi yêu cầu và nhận được phản hồi. Chi phí vận hành là tối thiểu nhưng dữ liệu sẽ được chuyển đến nhà cung cấp.
- Mô hình trọng lượng mở: Có thể tải xuống các tham số mô hình (trọng số); Bạn có thể chạy nó trên phần cứng của riêng bạn. Nó không nhất thiết giống như "nguồn mở" (giấy phép có thể khác).
- Lưu trữ VPC (Đám mây riêng ảo): Chạy mô hình trên mạng đám mây riêng biệt của bạn; Dữ liệu vẫn ở ranh giới mạng của bạn, nhưng cơ sở hạ tầng vẫn ở trên đám mây.
- On-prem (tại chỗ): Chạy mô hình hoàn toàn trên phần cứng trong trung tâm dữ liệu của riêng bạn; kiểm soát cao nhất, tải hoạt động cao nhất.
Lưu ý: “Sở hữu hosting luôn an toàn hơn” là một quan niệm sai lầm. Bảo mật phụ thuộc ít hơn vào nơi bạn lưu giữ dữ liệu mà phụ thuộc nhiều hơn vào mức độ bạn quản lý dữ liệu đó. Máy chủ tại chỗ chưa được vá lỗi, được cấu hình kém sẽ nguy hiểm hơn API được quản lý hoàn thiện.
Trục quyết định: Khi nào?
Ba câu hỏi hướng dẫn quyết định:
- Chủ quyền dữ liệu: Pháp luật hoặc hợp đồng có cấm dữ liệu rời khỏi tổ chức/quốc gia không? Nếu có, bạn sẽ được chuyển sang VPC/tại chỗ.
- Khối lượng và chi phí: Mức sử dụng có cao và có thể dự đoán được không? Khối lượng tự lưu trữ rất cao có thể giảm chi phí đơn vị; API được quản lý với khối lượng thấp/không ổn định hầu như luôn rẻ.
- Năng lực vận hành: Bạn có nhóm để duy trì cơ sở hạ tầng GPU, cập nhật mô hình, mở rộng quy mô và vá lỗi bảo mật không? Nếu không thì việc lưu trữ của riêng bạn sẽ là một chi phí ẩn.
Bảng đánh đổi
Kích thước
API được quản lý
VPC
Tại chỗ (trọng lượng mở)
Chủ quyền dữ liệu
Tin tưởng nhà cung cấp
Cao (ở giới hạn mạng của bạn)
Cao nhất (không bao giờ tăng)
Tải hoạt động
quá thấp
trung bình
cao
Chi phí ban đầu
Thấp (trả theo mức sử dụng)
trung bình
Cao (phần cứng)
chia tỷ lệ
tự động
Được quản lý
trách nhiệm của bạn
Chất lượng mẫu/tiền tệ
mới nhất, tự động
Phụ thuộc
Bạn cập nhật
kiểm soát
thấp
cao
đầy đủ
Từng bước: Quyết định lưu trữ
- Xác định lớp dữ liệu Dữ liệu sẽ được xử lý ở mức độ bảo mật nào?
- Xác minh ràng buộc pháp lý. Dữ liệu có thể thoát ra ngoài được không? (KVKK, quy định ngành, hợp đồng.)
- Ước tính khối lượng. Đường cong tăng trưởng và yêu cầu/khối lượng token hàng tháng.
- Tính TCO. Không chỉ GPU; năng lượng, bảo trì, đội ngũ, an ninh, dự phòng.
- Hãy suy nghĩ lai. Mô hình kết hợp xử lý dữ liệu nhạy cảm trong dữ liệu tại chỗ/VPC và dữ liệu không nhạy cảm trong API được quản lý thường ổn định nhất.
Bốn mẫu có thể sao chép
Lời nhắc quyết định lưu trữ:
Quyết định lưu trữ cho mục đích sử dụng sau: {{ kịch bản }}Câu hỏi:- Lớp bảo mật của dữ liệu sẽ được xử lý là gì? (công khai/nội bộ/bí mật/tuyệt mật)- Luật pháp/hợp đồng có cho phép dữ liệu đi ra ngoài tổ chức không?- Dự báo và khả năng dự đoán khối lượng hàng tháng?- Có năng lực vận hành/nhóm GPU không? Đề xuất: "API được quản lý / VPC / Tại chỗ / Kết hợp" + lý do chính đáng.
Danh sách mục TCO (để tự lưu trữ):
Tính tổng chi phí sở hữu theo:- Mua/thuê phần cứng (GPU)- Năng lượng và làm mát- Con người: MLOps + thời gian của nhóm bảo mật- Lực lượng lao động kiểm tra và cập nhật mô hình- Dự phòng/khắc phục thảm họa- Giám sát và vá lỗi bảo mật. So sánh chi phí này với hóa đơn hàng tháng cho API được quản lý trong khoảng thời gian 12-24 tháng.
Quy tắc định tuyến kết hợp:
Định tuyến từng yêu cầu dựa trên lớp dữ liệu:- dữ liệu "bí mật / tuyệt mật" -> mô hình tại chỗ/VPC- dữ liệu "công khai / nội bộ" -> API được quản lý (mạnh hơn/rẻ hơn) Ghi quyết định chuyển tiếp và lớp dữ liệu vào nhật ký kiểm tra.
Mở lời nhắc kiểm tra an ninh trọng lượng:
Đánh giá mô hình tự lưu trữ của chúng tôi: - Giấy phép có cho phép sử dụng thương mại và trong trường hợp của chúng tôi không? - Trọng số mô hình từ nguồn đáng tin cậy, tính toàn vẹn (băm) đã được xác minh? - Có cài đặt bản vá máy chủ, cách ly mạng, kiểm soát truy cập không? - Tính năng giám sát và ghi nhật ký có hoàn thiện như API được quản lý không? Đánh dấu mọi mục bị thiếu là "BẬT".
Nhắc yếu / Nhắc mạnh
cách tiếp cận kém
Cách tiếp cận mạnh mẽ
"Tại chỗ an toàn hơn, hãy luôn sử dụng nó"
Quyết định dựa trên chủ quyền dữ liệu + khối lượng + dung lượng
Chỉ cần nhìn vào giá GPU
TCO đầy đủ (năng lượng, phi hành đoàn, cập nhật, bảo mật)
Bị khóa vào một mô hình lưu trữ duy nhất
Kết hợp: định tuyến theo lớp dữ liệu
Chạy mà không hạ trọng lượng mở và kiểm tra nó
Giấy phép + tính toàn vẹn + bản vá + kiểm soát dấu vết
Ba hộp nhỏ
Trường hợp 1 - Ủy quyền tại chỗ là quyết định đúng đắn. Một nhà thầu quốc phòng phải xử lý các tài liệu mật; Hợp đồng cấm lấy dữ liệu ra khỏi đất nước. API được quản lý đã bị loại bỏ ngay từ đầu. Mô hình trọng lượng mở tại chỗ đã được thành lập; Chi phí cao, nhưng đó là lựa chọn tương thích duy nhất.
Trường hợp 2 - Quyết định hủy bỏ TCO bí mật. Một công ty khởi nghiệp đã lên kế hoạch chuyển sang tự lưu trữ vì “API đắt tiền”. Trong tính toán TCO, bạn không chỉ bao gồm GPU; Thêm 2 kỹ sư MLOps toàn thời gian, tải cập nhật và dự phòng, tổng thời gian 24 tháng gấp đôi so với API được quản lý. Họ vẫn ở trong API vì khối lượng của họ thấp và rời rạc.
Trường hợp 3 - Kết hợp cho kết quả tốt nhất. Trợ lý trung tâm cuộc gọi của một ngân hàng đang xử lý hai loại dữ liệu: câu hỏi chung về sản phẩm và dữ liệu tài khoản dành riêng cho khách hàng. Dữ liệu tài khoản được chuyển đến mô hình trong VPC, các câu hỏi chung được chuyển đến API được quản lý mạnh mẽ. Dữ liệu nhạy cảm không bao giờ bị lộ ra ngoài, chất lượng của mô hình mạnh nhất được sử dụng cho các câu hỏi chung chung; chi phí và sự phù hợp được tối ưu hóa cùng nhau.
Mẹo: Quyết định không nhất thiết phải ở dạng nhị phân (tất cả hoặc không có gì). Kiến trúc kết hợp — định tuyến dữ liệu theo lớp — đồng thời giải quyết vấn đề tuân thủ và chi phí trong hầu hết các tình huống doanh nghiệp.
Những lỗi thường gặp
- Giả sử "lưu trữ riêng tự động an toàn hơn"; trong khi đó an ninh phụ thuộc vào chất lượng quản lý.
- Nghĩ rằng TCO chỉ là chi phí GPU; đội ngũ, năng lượng, cập nhật và quên đi vấn đề bảo mật.
- Chuyển sang tự lưu trữ với dung lượng thấp/không đều và tăng đơn giá.
- Sử dụng mô hình trọng số mở mà không xác minh giấy phép và tính toàn vẹn (băm).
- Không cài đặt tính năng giám sát/ghi nhật ký hoàn chỉnh như API được quản lý trên máy chủ tại chỗ.
- Đưa ra quyết định nhị phân mà không xem xét tùy chọn kết hợp nào cả.
Tóm lại
- API được quản lý là API dễ vận hành nhất nhưng dữ liệu sẽ được chuyển đến nhà cung cấp; VPC/tại chỗ lưu giữ dữ liệu ở biên giới của bạn.
- Ba câu hỏi đưa ra quyết định: chủ quyền dữ liệu, khả năng dự đoán khối lượng/chi phí và năng lực vận hành.
- “Tự lưu trữ an toàn hơn” là một quan niệm sai lầm; Bảo mật không phụ thuộc vào nơi bạn lưu trữ dữ liệu mà phụ thuộc vào mức độ bạn quản lý dữ liệu đó.
- Tính toán TCO chính xác: năng lượng, nhóm, cập nhật, dự phòng và bảo mật cũng như GPU.
- Kiến trúc kết hợp (định tuyến dữ liệu theo lớp) đồng thời cân bằng giữa sự tuân thủ và chi phí trong hầu hết các tình huống doanh nghiệp.
Nhiệm vụ ứng dụng
Chọn cách sử dụng AI và tách dữ liệu cần xử lý thành lớp bảo mật. Tạo đề xuất với lời nhắc quyết định lưu trữ. Sau đó điền vào danh sách mục TCO cho dịch vụ lưu trữ của riêng bạn và so sánh tổng số tiền trong 24 tháng với hóa đơn API được quản lý. Cuối cùng, viết một quy tắc định tuyến kết hợp dự thảo: dữ liệu nào sẽ đi đâu?
danh sách kiểm tra
- [ ] Tôi đã xác định mức độ bảo mật và giới hạn pháp lý của dữ liệu sẽ được xử lý.
- [ ] Tôi đưa ra quyết định đăng cai dựa trên chủ quyền + khối lượng + năng lực.
- [ ] Tôi đã tính TCO với đầy đủ các mục (bao gồm cả không phải GPU).
- [ ] Tôi đã kiểm tra giấy phép, tính toàn vẹn, bản vá và giám sát việc tự lưu trữ.
- [ ] Tôi đã cân nhắc lựa chọn định tuyến kết hợp.
- [ ] Tôi đã ghi lại quyết định và lý do đưa ra.