Lợi nhuận:
- Hiểu biết cụ thể về khái niệm 'trọng lượng' của mô hình và sự phân biệt ngầm/rõ ràng
- Xem sự khác biệt giữa trọng lượng mở và nguồn mở cũng như những cạm bẫy cấp phép của chúng
- Có khả năng lựa chọn cách tiếp cận đóng, mở hoặc hỗn hợp có căn cứ tùy theo tình hình của doanh nghiệp
Khi tìm hiểu các nhà cung cấp ở đơn vị trước, trong bảng có một cột tên là “loại trọng số”: đóng, mở, hỗn hợp. Cột đơn này thực sự che giấu một trong những quyết định mang tính chiến lược nhất trong việc lựa chọn mô hình của bạn. Cho dù bạn sẽ làm việc với mô hình trọng lượng kín hay trọng lượng mở; Nó trực tiếp xác định nơi dữ liệu của bạn sẽ được xử lý, chi phí hàng tháng của bạn sẽ được định hình như thế nào, nhu cầu của nhóm kỹ thuật và trách nhiệm pháp lý của bạn. Vào thời điểm học phần này kết thúc, bạn sẽ hiểu cụ thể về khái niệm "trọng lượng", thấy được sự khác biệt tinh tế nhưng quan trọng giữa trọng lượng mở và nguồn mở và có thể biện minh cho cách tiếp cận đúng cho tình huống của riêng bạn.
Chính xác thì "Trọng lượng" là gì?
Một mô hình AI được huấn luyện với một đoạn văn bản khổng lồ trong khi từ từ điều chỉnh hàng tỷ giá trị số (tham số) bên trong nó. Tất cả những con số này được gọi là trọng số mô hình. Trọng lượng là nơi mô hình lưu trữ “mọi thứ nó đã học được”; Bạn có thể so sánh nó với sức mạnh của các khớp thần kinh trong não con người. Ngữ pháp, kiến thức thế giới và cách lập luận của mô hình đều được mã hóa bằng những con số này.
“Chạy” một mô hình có nghĩa là tải các trọng số này vào máy tính và chạy văn bản bạn nhập trên chúng. Câu hỏi quan trọng là: Ai có quyền truy cập vào các tập tin cân nặng này?
- Trọng lượng đóng: Trọng lượng chỉ nằm trên máy chủ của nhà cung cấp. Bạn không thể truy cập chúng trực tiếp; Bạn sử dụng nó qua internet thông qua giao diện (API) theo cách "gửi văn bản, nhận phản hồi". Anthropic Claude, OpenAI GPT, Google Gemini đều như thế này. (API là giao diện cho phép phần mềm gửi yêu cầu đến phần mềm khác thông qua cổng tiêu chuẩn và nhận phản hồi.)
- Trọng lượng mở: Có thể tải xuống các tập tin trọng lượng. Nếu muốn, bạn có thể cài đặt và chạy nó trên máy chủ của riêng mình. Một số model của Meta Llama, DeepSeek, Mistral đều như thế này.
Mẹo: Hãy coi trọng số đóng là "căn hộ thuê" và trọng số mở là "nhà đã mua". Việc di chuyển trong căn hộ thuê rất dễ dàng, việc bảo trì không phải là trách nhiệm của bạn mà chủ nhà đặt ra các quy định. Mọi thứ trong ngôi nhà đã mua đều là của bạn, nhưng việc cải tạo, an ninh và hóa đơn cũng là trách nhiệm của bạn.
Trọng lượng mở không giống với nguồn mở
Có một lỗi khái niệm rất phổ biến ở đây. "Trọng lượng mở" và "nguồn mở" thường được sử dụng thay thế cho nhau, nhưng chúng không giống nhau.
- Trọng số mở có nghĩa là chỉ chia sẻ các tham số đã học của mô hình. Người ta thường không giải thích cách mô hình được đào tạo và dữ liệu được cung cấp.
- Lý tưởng nhất là nguồn mở hoàn toàn có nghĩa là cả trọng số, dữ liệu huấn luyện và mã huấn luyện đều được chia sẻ và có thể được sử dụng tự do.
Ngoài ra còn có vấn đề cấp phép. Ngay cả khi trọng lượng của một mô hình có thể tải xuống được, giấy phép của nó có thể hạn chế việc sử dụng thương mại, áp đặt các yêu cầu bổ sung vượt quá một số lượng người dùng nhất định hoặc cấm phát triển sản phẩm cạnh tranh. Vì vậy, "Tôi có thể tải nó xuống" và "Tôi có thể sử dụng nó theo ý muốn" là những điều khác nhau.
Thận trọng: Trước khi đưa mô hình trọng lượng mở vào hoạt động kinh doanh của bạn, hãy nhớ đọc giấy phép của nó. Đừng để bị lừa bởi từ "mở"; Một số giấy phép yêu cầu các thỏa thuận riêng về số lượng người dùng hoạt động hàng tháng nhất định và một số hạn chế việc sử dụng đầu ra cho các mục đích nhất định. Đây là điều bạn nên hỏi nhóm pháp lý của mình.
So sánh hai phương pháp tiếp cận
Bảng dưới đây đặt hai cách tiếp cận cạnh nhau về các khía cạnh chính.
Kích thước
Trọng lượng đóng
Trọng lượng mở
Cài đặt
Không có, giao diện sẵn sàng
Cần có máy chủ và đội ngũ kỹ thuật
Dữ liệu được xử lý ở đâu
Trên máy chủ của nhà cung cấp
Trong môi trường dưới sự kiểm soát của bạn
Chi phí ban đầu
Thấp (trả theo mức sử dụng)
Cao (phần cứng, cài đặt)
Chi phí theo quy mô
tăng theo khối lượng
Có thể dự đoán được với phần cứng cố định
Cập nhật/bảo trì
tại nhà cung cấp
bạn cũng vậy
kiểm soát quyền riêng tư
hạn chế
đầy đủ
Truy cập vào mô hình mạnh mẽ nhất
thường ở đây
Biến
Trong bảng này, không có câu trả lời duy nhất cho "cái nào tốt hơn"; Mỗi dòng là cộng hoặc trừ tùy theo mức độ ưu tiên của bạn. Nếu bạn muốn chi phí ban đầu thấp, hãy đóng trọng lượng; Nếu dữ liệu không được rời khỏi công ty dù chỉ một milimet, trọng lượng mở sẽ được đặt lên hàng đầu.
Ba trường hợp thực tế
Trường hợp 1 - Khởi nghiệp thương mại điện tử (đóng tăng cân). Một nhóm thương mại điện tử gồm năm người muốn tạo mô tả sản phẩm. Họ không có đội ngũ kỹ thuật, họ không muốn quản lý máy chủ, khối lượng hàng tháng luôn thay đổi. Họ bắt đầu với mô hình trọng lượng kín, trả tiền cho những gì họ sử dụng. Trong tháng đầu tiên, họ xử lý 1,2 triệu token và trả khoảng 15 USD; Khi hoạt động kinh doanh của họ phát triển, hóa đơn cũng tăng theo tỷ lệ. Không có vấn đề về máy chủ, bảo trì hoặc cập nhật. Sự lựa chọn đúng đắn cho hồ sơ này là rõ ràng.
Trường hợp 2 - Bệnh viện (thâm hụt tăng cân). Một bệnh viện muốn tóm tắt và mã hóa các ghi chú của bệnh nhân. Dữ liệu là dữ liệu sức khỏe có độ nhạy cảm cao; không nên rời khỏi tổ chức trong bất kỳ trường hợp nào. Họ đang xây dựng một mô hình trọng lượng mở trong trung tâm dữ liệu của mình. Họ đầu tư ban đầu rất lớn vào thiết lập và phần cứng (ví dụ: một máy chủ trị giá 40.000 đô la và hai tuần lao động thiết lập), nhưng sau đó họ không trả thêm phí mã thông báo cho mỗi bệnh nhân và dữ liệu không bao giờ được chuyển đến máy chủ bên ngoài. Khối lượng lớn và tính bảo mật tuyệt đối phù hợp với chi phí ban đầu.
Trường hợp 3 - Công ty kế toán cỡ trung bình (phương pháp kết hợp sẽ thắng). Một công ty kế toán sử dụng mô hình đóng trọng lượng từ giao diện làm sẵn cho các văn bản nháp và thư từ chung hàng ngày; bởi vì nó không xứng đáng với nỗ lực cài đặt cho những công việc này. Tuy nhiên, họ thuê ngoài phân tích nhạy cảm liên quan đến dữ liệu tài chính của khách hàng cho một mô hình trọng lượng mở chạy trên máy chủ của riêng họ. Vì vậy, họ được hưởng lợi từ cả sự tiện lợi và sự riêng tư cùng một lúc. Chúng ta sẽ quay lại cách tiếp cận “danh mục đầu tư hỗn hợp” này ở bài 9.
Nhắc nhở yếu / Nhắc mạnh: Khi yêu cầu hỗ trợ quyết định
Dấu nhắc yếu:
Tôi nên sử dụng tạ mở hay tạ đóng?
Lời nhắc mạnh mẽ:
Vai trò của bạn: kiến trúc sư AI doanh nghiệp. Tình huống của tôi: Chúng tôi là một công ty kế toán gồm 12 người, chúng tôi không có đội ngũ kỹ thuật nhưng chúng tôi có một nhà tư vấn CNTT bên ngoài. ~500.000 token mỗi tháng kinh doanh. Một số dữ liệu là dữ liệu tài chính của khách hàng (nhạy cảm), một số là thư từ chung. Chúng tôi phải tuân thủ KVKK. Nhiệm vụ: So sánh cách tiếp cận đóng, mở và hỗn hợp cho phù hợp. Đối với mỗi: mức độ phù hợp (1-5), phạm vi chi phí ước tính trong năm đầu tiên, lưu ý về quyền riêng tư, rủi ro chính. Cuối cùng, đưa ra một gợi ý và tóm tắt lý do trong 3 điểm.
Lời nhắc thứ hai cho phép mô hình đưa ra đề xuất thực sự phù hợp với doanh nghiệp của bạn vì nó đưa ra tất cả các ranh giới cần thiết cho quyết định (nhóm, khối lượng, loại dữ liệu, khung pháp lý).
Mẫu có thể sao chép
1. Quyết định loại trọng lượng:
Công việc của tôi: [MÔ TẢ]. Đội ngũ kỹ thuật: [CÓ/KHÔNG]. Khối lượng mã thông báo hàng tháng: [NUM]. Độ nhạy dữ liệu: [THẤP/TRUNG BÌNH/CAO]. Tùy chọn cấu trúc ngân sách: [BẮT ĐẦU THẤP / CỐ ĐỊNH CÓ THỂ DỰ ĐOÁN].So sánh tùy chọn đóng, mở và hỗn hợp theo cấu hình này và đưa ra một đề xuất duy nhất.
2. Kiểm tra giấy phép:
Đơn giản hóa giấy phép cho mô hình trọng lượng mở này: [TÊN GIẤY PHÉP/TEXT].Trả lời những câu hỏi sau: Có được phép sử dụng thương mại không? Có giới hạn người dùng/doanh thu không? Tôi có thể bán lại đầu ra không? Những mục đích sử dụng nó cấm là gì? Nếu chưa rõ thì viết "hãy hỏi luật sư".
3. Phân tích chi phí:
Chia nhỏ tổng chi phí sở hữu cho một mô hình nhỏ gọn: phần cứng, nhân công lắp đặt, điện/lưu trữ, bảo trì, cập nhật. Thực hiện một so sánh sơ bộ trong 3 năm với phương án thay thế trọng lượng đóng. Khối lượng hàng tháng của tôi: [NUMBER].
4. Sàng lọc rủi ro về quyền riêng tư:
Theo dõi dữ liệu đi từ đâu đến trong quy trình làm việc sau: [MÔ TẢ QUY TRÌNH LÀM VIỆC]. Nếu tôi sử dụng trọng số đóng, dữ liệu sẽ mất ở thời điểm nào? Rủi ro này thay đổi như thế nào ở mức cân mở? Đề xuất biện pháp giảm thiểu cho từng rủi ro.
Những lỗi thường gặp
- Nhầm từ “mở” thành “miễn phí và không giới hạn”: Trọng lượng mở không đảm bảo việc sử dụng thương mại miễn phí hoặc không giới hạn; giấy phép có tính quyết định.
- Nghĩ rằng trọng lượng mở là "dễ dàng": Chạy mô hình trọng lượng mở cần có máy chủ, nhân viên kỹ thuật và bảo trì; Đánh giá thấp việc cài đặt là một lỗi phổ biến.
- Hoàn toàn không xem xét dữ liệu trọng lượng đóng: Trong mô hình đóng, dữ liệu sẽ được chuyển đến nhà cung cấp; Sẽ rất rủi ro khi bắt đầu mà không phân loại trước dữ liệu nào có thể được chuyển đi.
- Chỉ cần nhìn vào chi phí ban đầu: Mặc dù trọng lượng mở ban đầu có vẻ đắt nhưng về lâu dài nó có thể rẻ hơn với số lượng rất lớn. Nhìn vào tổng chi phí trong ba năm.
- Phương châm 'mẫu mạnh nhất luôn luôn đóng': Mặc dù điều này đúng trong hầu hết các trường hợp nhưng nó không phải là tuyệt đối; các mô hình trọng lượng mở có thể phù hợp hơn cho một số nhiệm vụ nhất định.
Tóm lại
- Trọng số của mô hình là hàng tỷ tham số lưu trữ thông tin mà mô hình đã học được; Sự khác biệt "tắt/bật" là về việc truy cập các tham số này.
- Trọng lượng đóng: giao diện sẵn sàng, khởi đầu thấp, trên nhà cung cấp dữ liệu. Trọng lượng rõ ràng: máy chủ của riêng bạn, toàn quyền kiểm soát, chi phí khởi động và bảo trì cao.
- Trọng lượng mở không giống như nguồn mở; Điều khoản cấp phép có thể hạn chế việc sử dụng thương mại.
- Sự lựa chọn đúng đắn; Thay đổi tùy thuộc vào nhóm, khối lượng, độ nhạy cảm của dữ liệu và cấu trúc ngân sách. Cách tiếp cận kết hợp có ý nghĩa đối với hầu hết các doanh nghiệp cỡ vừa.
Nhiệm vụ ứng dụng
Lấy hồ sơ nhu cầu bạn đã tạo ở bài trước. Đưa nó cho mô hình AI bằng cách sử dụng mẫu 1 (quyết định loại trọng số) trong đơn vị này. Tự đánh giá đề xuất thu được bằng cách kết hợp từng đề xuất với bảy khía cạnh trong bảng (cài đặt, vị trí dữ liệu, chi phí khởi động, chi phí quy mô, bảo trì, quyền riêng tư, quyền truy cập vào mô hình mạnh mẽ). Nếu đánh giá của bạn khác với đề xuất của mô hình, hãy ghi lại sự khác biệt của bạn trong một câu.
danh sách kiểm tra
- [ ] Tôi có thể giải thích khái niệm "trọng lượng" bằng lời của mình.
- [ ] Tôi có thể so sánh ưu/nhược điểm của trọng lượng đóng và trọng lượng mở theo bảy chiều.
- [ ] Tôi biết sự khác biệt giữa trọng lượng mở và nguồn mở cũng như rủi ro cấp phép.
- [ ] Tôi có thể biện minh cho việc lựa chọn đóng/mở/kết hợp cho hoạt động kinh doanh của riêng mình.
- [ ] Tôi có thể theo dõi dữ liệu đang diễn ra ở đâu trong quy trình làm việc và hiển thị điểm rủi ro.