Lợi nhuận:
- Nhận thức được vị thế của Meta (Llama), Mistral, xAI (Grok), DeepSeek và Cohere
- Xác định doanh nghiệp nào phù hợp nhất với các nhà cung cấp có trọng lượng mở, khu vực và tập trung vào chi phí
- Khả năng đánh giá nước xuất xứ và giấy phép làm tiêu chí lựa chọn
Chúng tôi đã biết ba nhà cung cấp lớn của Hoa Kỳ. Tuy nhiên, nghĩ rằng thị trường chỉ xoay quanh chúng sẽ khiến bạn bỏ qua một số lựa chọn có giá trị nhất mà bạn có. Meta, người dẫn đầu rõ ràng, Mistral, niềm tự hào của Châu Âu, xAI, hoạt động với dữ liệu thời gian thực, DeepSeek, nổi bật với sự cân bằng chi phí/hiệu suất và Cohere, chuyên về truy vấn tài liệu công ty; tất cả có thể phù hợp hơn cho một số công việc nhất định so với ba công việc lớn. Trong phần này, bạn sẽ làm quen một cách khách quan với năm tuyển thủ này, vị trí của họ và công việc họ phù hợp; Bạn sẽ thấy tại sao nước xuất xứ và giấy phép lại là tiêu chí lựa chọn.
Meta — Gia đình Llama (Người đứng đầu hạng cân mở)
Gia đình Llama của Meta là cái tên được biết đến nhiều nhất trong thế giới hạng cân mở. Vì trọng số có thể tải xuống nên bạn có thể chạy chúng trên máy chủ của riêng mình và xử lý dữ liệu mà không cần lấy ra. Có nhiều phiên bản với kích cỡ khác nhau: các mô hình nhỏ hoạt động ngay cả trên một máy chủ thông thường, trong khi các mô hình lớn yêu cầu phần cứng mạnh mẽ.
Các lĩnh vực nổi bật: Các tổ chức muốn kiểm soát dữ liệu đầy đủ; Những người muốn dự đoán được chi phí ở khối lượng rất lớn; và những người muốn tùy chỉnh (tinh chỉnh) mô hình bằng dữ liệu của riêng họ. Tinh chỉnh là tùy chỉnh một mô hình làm sẵn cho doanh nghiệp của bạn bằng cách đào tạo lại mô hình đó bằng các ví dụ của riêng bạn.
Người dùng điển hình: Các tổ chức lớn có trung tâm dữ liệu riêng, các ngành quan trọng về quyền riêng tư, các công ty có đội ngũ kỹ thuật mạnh.
Thận trọng: Mặc dù giấy phép Llama là "mở", nhưng nó không phải là vô điều kiện; có thể bao gồm các yêu cầu bổ sung đối với các công ty rất lớn trên ngưỡng người dùng hoạt động nhất định. Đọc giấy phép với nhóm pháp lý của bạn trước khi đưa nó vào kinh doanh.
Mistral — Nhà cung cấp của Châu Âu
Mistral có trụ sở tại Pháp nổi bật với nguồn gốc Châu Âu. Đây là nhà cung cấp “hỗn hợp” vì nó cung cấp cả mẫu có trọng lượng mở (chẳng hạn như Mixtral) và mẫu kín, mạnh mẽ hơn. Nó là một ứng cử viên đương nhiên cho các tổ chức có mối quan ngại về chủ quyền dữ liệu ở Châu Âu; bởi vì bản thân nhà cung cấp nằm trong EU.
Lĩnh vực nổi bật: Các tổ chức liên quan đến việc tuân thủ khuôn khổ pháp lý Châu Âu; Những người mong muốn sự linh hoạt về trọng lượng mở và sự tiện lợi của một mô hình khép kín dưới một mái nhà; và hỗ trợ ngôn ngữ châu Âu đa ngôn ngữ.
Người dùng thông thường: Các tổ chức có quy mô vừa và lớn hoạt động tại EU muốn dữ liệu của họ được lưu giữ trong biên giới EU.
xAI — Grok (Dữ liệu thời gian thực)
Mô hình Grok của xAI được định vị nhờ sự tích hợp với nền tảng X (trước đây là Twitter) và khả năng truy cập vào dữ liệu thời gian thực hiện tại. Mặc dù là một mô hình có mục đích chung nhưng nó vẫn thu hút sự chú ý với tuyên bố phản ánh các sự kiện hiện tại và nhịp đập truyền thông xã hội.
Các lĩnh vực nổi bật: Theo dõi sự kiện hiện tại, phân tích phương tiện truyền thông xã hội, nội dung liên quan đến chương trình nghị sự. Kết nối thời gian thực rất có giá trị khi một mô hình cần biết điều gì đó “vừa xảy ra”.
Người dùng điển hình: Nhóm truyền thông xã hội, nhà tiếp thị giám sát thương hiệu, nhà sản xuất nội dung mà việc theo dõi chương trình nghị sự là rất quan trọng.
DeepSeek — Chi phí/Hiệu suất (Xuất xứ Trung Quốc)
DeepSeek có trụ sở tại Trung Quốc nổi bật nhờ cung cấp hiệu suất mạnh mẽ với chi phí thấp và một số mẫu của nó có trọng lượng lớn. Nó mang lại kết quả cạnh tranh, đặc biệt là trong các nhiệm vụ đòi hỏi nhiều suy luận, đồng thời mang lại lợi thế về giá.
Các lĩnh vực nổi bật: Công việc lý luận khối lượng lớn với độ nhạy ngân sách cao; Các nhóm muốn có trọng lượng linh hoạt rõ ràng nhưng phải giữ chi phí ở mức thấp.
Người dùng điển hình: Các sáng kiến tập trung vào chi phí, các nhóm thực hiện phân tích khối lượng lớn.
Chú ý: DeepSeek có nguồn gốc từ Trung Quốc. Nếu bạn định xử lý dữ liệu cá nhân hoặc bí mật thương mại, hãy đảm bảo làm rõ nơi dữ liệu được xử lý và lưu trữ. Chạy phiên bản mở trên máy chủ của riêng bạn sẽ làm giảm bớt mối lo ngại này; Việc sử dụng dịch vụ đám mây cần được đánh giá cẩn thận về mặt chủ quyền dữ liệu. Chúng ta sẽ đề cập sâu hơn về chủ đề này trong bài 8.
Cohere — Tìm kiếm doanh nghiệp và RAG
Cohere có trụ sở tại Canada được định vị dành cho khối lượng công việc của doanh nghiệp thay vì các ứng dụng trò chuyện của người tiêu dùng. Nó đặc biệt mạnh mẽ trong các tình huống RAG (tạo bằng kiến thức được tìm nạp); nghĩa là, trong các hệ thống nơi mô hình tìm và đọc các phần có liên quan từ kho lưu trữ tài liệu của bạn trước khi phản hồi. Nó cũng được ưa thích để thiết lập cơ sở hạ tầng tìm kiếm của công ty với các mô hình "nhúng" chuyển đổi văn bản thành vectơ số. (Nhúng là chuyển đổi ý nghĩa của văn bản thành số để có thể đặt các văn bản tương tự cạnh nhau.)
Các lĩnh vực nổi bật: Truy vấn tài liệu nội bộ, tìm kiếm thông minh, hệ thống trả lời câu hỏi trên cơ sở kiến thức.
Người dùng tiêu biểu: Các tổ chức có kho lưu trữ tài liệu lớn, các nhóm muốn làm cho nền tảng kiến thức nội bộ của họ có thể tìm kiếm được bằng AI.
Năm người chơi cạnh nhau
nhà cung cấp
Giá trị nổi bật
cân nặng
Xuất xứ
Công việc điển hình
Meta (Llama)
Kiểm soát hoàn toàn, tinh chỉnh
mở
Hoa Kỳ
Kinh doanh bí mật trên máy chủ riêng
sương mù
Nguồn gốc EU, tính linh hoạt
hỗn hợp
Pháp
Chủ quyền dữ liệu của EU
xAI (Grok)
dữ liệu thời gian thực
Đã đóng
Hoa Kỳ
Chương trình nghị sự/phương tiện truyền thông xã hội
tìm kiếm sâu
Chi phí/hiệu suất
mở
Trung Quốc
Khối lượng lớn, định hướng ngân sách
mạch lạc
Tìm kiếm doanh nghiệp/RAG
hỗn hợp
Canada
Truy vấn tài liệu
Ba trường hợp thực tế
Trường hợp 1 - Công ty sản xuất hoạt động tại EU. Một công ty có nhà máy ở Đức muốn tìm kiếm tài liệu kỹ thuật bằng AI nhưng không muốn dữ liệu của mình đi ra ngoài EU. Họ chọn mô hình khép kín của Mistral tại EU; Nó vừa mạnh mẽ vừa phù hợp với khuôn khổ pháp luật. Công việc hàng tháng ~800.000 token trở thành một hóa đơn có thể dự đoán được và nhóm pháp lý cảm thấy nhẹ nhõm.
Trường hợp 2 - Sáng kiến phân tích bị ràng buộc về ngân sách. Một công ty khởi nghiệp phân tích dữ liệu gồm tám người phải phân loại và tóm tắt hàng chục nghìn văn bản ngắn mỗi ngày, nhưng ngân sách của họ rất eo hẹp. Họ chạy mô hình trọng lượng mở của DeepSeek trên máy chủ mà họ thuê; Do đó, họ không trả tiền cho mỗi mã thông báo và họ giải quyết mối lo ngại về nguồn gốc dữ liệu bằng cách không bao giờ lấy dữ liệu ra.
Trường hợp 3 - Cơ sở kiến thức về công ty bảo hiểm lớn. Một công ty bảo hiểm với hàng chục nghìn đơn bảo hiểm, văn bản thủ tục hỏi nhân viên “phải làm gì trong tình huống này?” Anh ấy muốn có thể đặt câu hỏi của mình cho kho lưu trữ. Họ đang xây dựng một hệ thống tìm kiếm nội bộ với RAG của Cohere và các mô hình nhúng. Khi nhân viên đặt câu hỏi, trước tiên hệ thống sẽ tìm các tài liệu liên quan, sau đó mô hình sẽ trả lời dựa trên các tài liệu đó; Như vậy, câu trả lời không hề bịa đặt mà dựa trên những tài liệu có thật.
Nhắc yếu / Nhắc mạnh
Dấu nhắc yếu:
Đề xuất mô hình AI giá rẻ.
Lời nhắc mạnh mẽ:
Vai trò của bạn: Nhà tư vấn mua sắm AI. Nhu cầu: Sắp xếp ~30.000 đánh giá ngắn của khách hàng Thổ Nhĩ Kỳ mỗi ngày thành tích cực/tiêu cực/trung tính. Ngân sách rất hạn chế. Dữ liệu không chứa dữ liệu cá nhân (ẩn danh). Nhiệm vụ: Đề xuất 3 tùy chọn (bao gồm cả trọng lượng mở) với sự cân bằng giữa chi phí/hiệu suất tốt. Viết phạm vi chi phí ước tính hàng tháng, ghi chú nguồn gốc/dữ liệu và rủi ro chính cho từng khoản. Cuối cùng, đưa ra một khuyến nghị duy nhất cho phi công.
Lời nhắc mạnh mẽ đưa ra đề xuất thực sự có thể thực hiện được vì nó đưa ra số lượng, giới hạn ngân sách, loại dữ liệu và ngôn ngữ.
Mẫu có thể sao chép
1. Sàng lọc nhà cung cấp thay thế:
Liệt kê các nhà cung cấp ngoài ba nhà cung cấp lớn (Anthropic/OpenAI/Google) có thể phù hợp với nhiệm vụ sau [TASK]: Meta, Mistral, xAI, DeepSeek, Cohere. Viết một dòng “tại sao phù hợp/tại sao không phù hợp” cho mỗi câu.
2. Ghi chú về xuất xứ và giấy phép:
Tôi đang nghĩ đến việc sử dụng nhà cung cấp sau [PROVIDER]. Quốc gia xuất xứ, loại trọng lượng và điều khoản cấp phép gây ra rủi ro gì cho tôi về chủ quyền dữ liệu? Đề xuất biện pháp phòng ngừa cho từng rủi ro.
3. Kiểm tra tuân thủ RAG:
Tôi có ~[NUMBER] tài liệu và tôi muốn nhân viên đặt câu hỏi về chúng. Đây có phải là kịch bản RAG không? Nếu vậy, bạn sẽ đề xuất nhà cung cấp/loại mô hình nào (nhúng + sản xuất) và 3 bước cài đặt đầu tiên là gì?
4. Kế hoạch thí điểm tạ mở:
Chúng tôi muốn thử nghiệm mô hình trọng lượng mở [MODEL] này trên máy chủ của riêng mình. Tạo một kế hoạch sơ bộ với các yêu cầu về phần cứng, các bước cài đặt, thời gian ước tính và 3 chỉ số thành công cần tuân theo trong tuần đầu tiên.
Những lỗi thường gặp
- Bị mắc kẹt với ba ông lớn: Nhà cung cấp nổi tiếng nhất có thể không phù hợp nhất với doanh nghiệp cụ thể của bạn; Đừng đưa ra quyết định mà không đánh giá các lựa chọn thay thế.
- Nhầm nước xuất xứ vì tính kỹ thuật: Xuất xứ là tiêu chí chiến lược về chủ quyền dữ liệu và rủi ro pháp lý, không phải là nhãn hiệu thông thường.
- Nhầm lẫn RAG với sức mạnh của mô hình: Thành công trong truy vấn tài liệu thường đến từ thiết lập RAG tốt chứ không phải từ mô hình mạnh nhất.
- Giả sử trọng lượng mở không cần cài đặt: Chọn DeepSeek hoặc Llama vì chúng "miễn phí" và không tính đến gánh nặng phần cứng và bảo trì.
- Đánh giá quá cao nhu cầu về thời gian thực: Không phải doanh nghiệp nào cũng muốn có dữ liệu theo thời gian thực; Lợi thế của Grok chỉ có ý nghĩa khi tính kịp thời là rất quan trọng.
Tóm lại
- Meta (Llama) trọng lượng mở và toàn quyền kiểm soát; Nguồn gốc và tính linh hoạt của Mistral EU; dữ liệu thời gian thực xAI; Chi phí/hiệu suất DeepSeek; Cohere nổi bật với tìm kiếm doanh nghiệp/RAG.
- Nước xuất xứ và giấy phép là tiêu chí lựa chọn chiến lược, đặc biệt đối với những người xử lý dữ liệu cá nhân hoặc bí mật.
- Trong các trường hợp RAG, thành công đến từ thiết lập tìm nạp tài liệu tốt chứ không phải từ mô hình mạnh nhất.
- Nhà cung cấp phù hợp có thể đến từ bên ngoài ba công ty lớn, tùy thuộc vào loại hình kinh doanh, ngân sách và khung pháp lý.
Nhiệm vụ ứng dụng
Xem xét liệu có nhu cầu truy vấn tài liệu trong doanh nghiệp của bạn hay không (chẳng hạn như nhân viên đặt câu hỏi về kho lưu trữ). Yêu cầu mô hình AI đánh giá tình huống của bạn bằng mẫu 3 trong bài học này (kiểm tra mức độ phù hợp của RAG). Ngoài ra, nếu bạn đang xử lý dữ liệu cá nhân hoặc bí mật, hãy loại bỏ rủi ro về chủ quyền dữ liệu của nhà cung cấp mà bạn đang cân nhắc lựa chọn bằng mẫu thứ 2 (ghi chú về nguồn gốc và giấy phép). Chúng ta sẽ sử dụng kết quả này trong nghiên cứu KVKK ở bài 8.
danh sách kiểm tra
- [ ] Tôi có thể so sánh giá trị nổi bật và tác phẩm tiêu biểu của năm người chơi thay thế.
- [ ] Tôi có thể tách biệt các nhà cung cấp trọng lượng mở, khu vực và tập trung vào chi phí dựa trên công việc mà họ phù hợp.
- [ ] Tôi có thể giải thích tại sao nước xuất xứ và giấy phép là tiêu chí lựa chọn.
- [ ] Tôi có thể nhận ra tình huống RAG và đề xuất loại nhà cung cấp phù hợp.
- [ ] Tôi có thể nhận ra những bước đi thô ráp của một phi công hạng cân mở.