Lợi nhuận:
- Có thể so sánh dòng mô hình (nhanh/cân bằng/mạnh mẽ) về khả năng, tốc độ và chi phí
- Thiết kế lựa chọn mô hình và chiến lược định tuyến theo độ phức tạp của nhiệm vụ
- Lựa chọn mô hình dựa trên bằng chứng với một tập hợp nhỏ các đánh giá
Quyết định duy nhất quyết định lợi ích và chất lượng tốt nhất của bạn trong việc tích hợp LLM là bạn sử dụng mô hình nào. Phản xạ thông thường là “chọn mẫu mạnh nhất”; Tuy nhiên, điều này thường có nghĩa là chi phí và sự chậm trễ không cần thiết. Cách tiếp cận phù hợp là chọn mô hình nhẹ nhất có thể hoàn thành từng nhiệm vụ và đưa ra lựa chọn đó dựa trên phép đo chứ không phải phỏng đoán. Trong phần này, bạn sẽ so sánh họ mô hình trên trục khả năng/tốc độ/chi phí, thiết lập chiến lược định tuyến mô hình theo mức độ phức tạp của nhiệm vụ và chứng minh việc lựa chọn bằng một tập hợp đánh giá nhỏ.
Hiểu về Gia đình kiểu mẫu
Các nhà cung cấp thường cung cấp ba loại: nhanh/rẻ, ổn định và mạnh mẽ. Mối quan hệ giữa chúng được tóm tắt trên ba trục: khả năng (sức mạnh giải quyết các nhiệm vụ khó khăn), tốc độ (độ trễ), chi phí (giá token).
lớp học
ví dụ
tài năng
tốc độ
Chi phí
Nhiệm vụ có sẵn
nhanh
Haiku 4.5
trung bình
rất cao
thấp
Phân loại, ghi nhãn, tóm tắt ngắn gọn, định hướng
cân bằng
bài sonnet 5
cao
cao
trung bình
Mục đích chung, mã hóa, quy trình nhiều bước, hầu hết công việc của tác nhân
mạnh mẽ
Tác phẩm 4.8
cao nhất
trung bình
cao
Lý luận phức tạp, nhiệm vụ tự chủ tầm xa, phân tích khó
Cái nhìn sâu sắc quan trọng: mô hình mạnh mẽ hơn không hoạt động tốt hơn trong mọi công việc. Trong cách dán nhãn đơn giản “khẩn cấp hay không”, mô hình mạnh và mô hình nhanh đều đưa ra câu trả lời đúng như nhau; sự khác biệt duy nhất là mạnh mẽ hơn và chậm hơn gấp 5 lần. Tài năng bổ sung chỉ tạo ra giá trị khi nhiệm vụ yêu cầu.
Từng bước: Làm thế nào để chọn một mô hình?
- Phân loại nhiệm vụ. Đó là quy trình/theo khuôn mẫu (gắn nhãn, suy luận) hay kết thúc mở/nhiều bước (phân tích, lập kế hoạch, mã)?
- Bắt đầu với ứng viên nhẹ nhàng nhất. Hãy thử nó với mô hình nhanh. Nếu đủ rồi thì dừng lại.
- Nếu chưa đủ thì chuyển lên lớp cao hơn. Nếu độ chính xác thấp thì chuyển sang loại cân bằng, nếu chưa đủ thì chuyển sang loại mạnh.
- Đo lường, đừng đoán. So sánh độ chính xác và chi phí của từng ứng viên với một tập hợp đánh giá nhỏ (bên dưới).
- Thiết lập chuyển hướng. Thay vì kết nối với một mô hình duy nhất, hãy phân phối tác vụ cho đúng mô hình bằng "bộ định tuyến".
Định tuyến mô hình
Khối lượng công việc thực tế rất đa dạng: hầu hết các yêu cầu gửi đến đều đơn giản, một số lại khó. Thật lãng phí khi gửi tất cả chúng vào mô hình mạnh mẽ; Gửi tất cả chúng đến mô hình nhanh sẽ làm giảm chất lượng. Định tuyến giải quyết vấn đề này: một mô hình giá rẻ (hoặc một quy tắc đơn giản) phân loại nhiệm vụ trước, sau đó công việc sẽ chuyển sang mô hình thích hợp.
# Lời nhắc của bộ định tuyến (hoạt động với model giá rẻ) Phân loại yêu cầu đến theo độ khó của nó. Chỉ trả về JSON sau:{"khó khăn": "đơn giản|phức tạp"}Đơn giản: một bước, theo công thức, câu trả lời ngắn.Phức tạp: yêu cầu lý luận, phân tích nhiều bước hoặc tạo dài.Yêu cầu: """{{request}}"""
- chuyển sang mô hình đơn giản → nhanh (rẻ, nhanh).
- đi đến mô hình phức tạp → mạnh mẽ (đắt tiền nhưng cần thiết).
Mô hình này làm giảm đáng kể chi phí trung bình vì hầu hết lưu lượng truy cập nói chung là đơn giản.
Mẹo: Quyết định giới thiệu không phải lúc nào cũng yêu cầu LLM. Các quy tắc đơn giản như “Chuyển sang mô hình nhanh nếu văn bản dưới 20 từ” cũng là một hướng dẫn và không tốn thêm chi phí mã thông báo. Hãy thử quy tắc đầu tiên.
Liên kết lựa chọn với bằng chứng: Cụm đánh giá nhỏ
Đừng chọn mô hình dựa trên "nó trông đẹp hơn với tôi". Đánh giá (bộ đánh giá) là một tập hợp nhỏ các mẫu đã biết câu trả lời đúng; bạn chạy từng mô hình trên bộ này và đo lường độ chính xác, chi phí và độ trễ.
# Mẫu thiết lập đánh giá1) Thu thập 20-50 ví dụ thực tế, viết tay "câu trả lời đúng" trên mỗi mẫu.2) Chạy từng mô hình (nhanh/cân bằng/mạnh) trên bộ này.3) Đối với mỗi mô hình: số lần sửa, mã thông báo thông lượng trung bình, chi phí cho mỗi yêu cầu, thời gian trung bình.4) Chọn mô hình "đủ độ chính xác với giá rẻ nhất".
# Bảng so sánh đánh giá (điền)Mô hình | Độ chính xác | Chi phí cho mỗi yêu cầu | Thời lượng trung bìnhHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...giây
Lời nhắc yếu / Lời nhắc mạnh (quyết định lựa chọn mô hình)
# YẾU (không có cơ sở để quyết định)Hãy sử dụng mô hình tốt nhất, kinh phí không quan trọng.
# MẠNH MẼ (quyết định dựa trên kết quả đo lường) Trong đánh giá 50 mẫu, Haiku cho độ chính xác 96%, Sonnet cho độ chính xác 97%; Sự khác biệt là không có ý nghĩa thống kê. Haiku được chọn vì nó rẻ hơn 5 lần và nhanh hơn 2 lần. Nếu độ chính xác giảm xuống dưới 95%, quyết định nâng cấp lên Sonnet sẽ được đưa ra tự động.
Phiên bản mạnh mẽ; liên kết lựa chọn với một số, một ngưỡng và quy tắc leo thang. Điều này vừa bảo vệ quyết định của ngày hôm nay vừa quản lý sự thay đổi trong tương lai.
Ba hộp nhỏ
Trường hợp 1 - Thoát khỏi mô hình áp đảo. Một trung tâm cuộc gọi đang tạo ra tất cả các bản tóm tắt cuộc trò chuyện với Opus; hóa đơn hàng tháng cao. Ở mức đánh giá 40 mẫu, Sonnet kém Opus 1% về độ chính xác nhưng chi phí chỉ bằng 1/3. Họ chuyển bản tóm tắt sang Sonnet; chi phí hàng tháng giảm từ 9.000 USD xuống còn 3.100 USD mà không có phàn nàn nào về chất lượng.
Trường hợp 2 - Lưu lượng truy cập hỗn hợp có chuyển hướng. 80% yêu cầu của nhóm công nghệ pháp lý là gắn thẻ tài liệu đơn giản, 20% là phân tích hợp đồng phức tạp. Họ đã gửi tất cả đến mô hình mạnh mẽ. Họ bổ sung thêm một bộ định tuyến giá rẻ và phân phối các công việc đơn giản cho Haiku và các công việc phức tạp cho Opus; chi phí yêu cầu trung bình giảm 64%, trong khi chất lượng phân tích vẫn được duy trì.
Trường hợp 3 - Chi phí thu hẹp quy mô mà không đo lường. Để giảm chi phí, một nhóm đã giảm trực tiếp việc trích xuất mã y tế phức tạp sang mô hình nhanh; Họ không đánh giá. Trong thực tế, độ chính xác giảm từ 92% xuống 78%, dẫn đến kết quả suy luận không chính xác. Họ phải đánh giá trước: nhiệm vụ đó đòi hỏi phải có mô hình mạnh mẽ. Bài học: cả việc thu nhỏ và nâng cao đều được thực hiện bằng phép đo.
Những lỗi thường gặp
- Phản xạ “mô hình mạnh nhất”: Lãng phí và trì hoãn không cần thiết trong những công việc đơn giản.
- Thay đổi mô hình mà không đo lường: Cả thu nhỏ và mở rộng đều có rủi ro nếu không đánh giá.
- Khóa vào một mô hình duy nhất: Định tuyến trong giao thông hỗn hợp thường hiệu quả hơn.
- Luôn nhầm bộ định tuyến với LLM: Các quy tắc đơn giản có thể hoạt động với chi phí bằng 0.
- Không đặt ngưỡng tăng: Điều gì xảy ra nếu độ chính xác giảm cần được xác định trước.
- Không sửa phiên bản model: Ghi lại model/phiên bản bạn đang làm trong quá trình sản xuất; Thay đổi phiên bản có thể thay đổi hành vi.
Sâu hơn: Đánh giá kéo dài và thử nghiệm gia tăng
Lựa chọn mô hình không phải là quyết định một lần. Nhà cung cấp giới thiệu mẫu mã mới, giá thay đổi, mô tả công việc của bạn ngày càng phát triển. Vì vậy, hãy thiết lập cụm đánh giá một lần và đừng quên; giữ nó như một sinh vật sống. Khi một mô hình mới xuất hiện, bạn chạy 20-50 mẫu tương tự qua mô hình đó, cập nhật bảng và đưa ra quyết định lại. Điều này bảo vệ bạn khỏi cái bẫy “trực giác chuyển đổi khuôn mẫu”.
Kỹ thuật nâng cao thứ hai là mô hình dự phòng/phân tầng. Bạn giao nhiệm vụ cho mẫu giá rẻ trước; Nếu đầu ra có độ tin cậy thấp hoặc lớp xác minh (đơn vị 11) từ chối nó, bạn sẽ gửi yêu cầu tương tự. Vì vậy, hầu hết lưu lượng truy cập được giải quyết bằng mô hình giá rẻ, chỉ một số ít còn lại chuyển sang mô hình đắt tiền. Cách này vừa rẻ hơn vừa bền hơn so với phương pháp tiếp cận một mô hình cố định.
Điểm thứ ba là eval không chỉ bao gồm độ chính xác mà còn cả chi phí và độ trễ. Nếu một mô hình chính xác hơn 1% nhưng đắt gấp 3 lần và chậm hơn 2 lần thì sự đánh đổi đó không có giá trị đối với hầu hết các công việc. Đưa ra quyết định theo ba trục (độ chính xác, chi phí, độ trễ) và xác định “ngưỡng đủ”: “nếu độ chính xác trên 95%, hãy chọn mức rẻ nhất”.
Cuối cùng, ghi lại model/phiên bản bạn đã sử dụng trong sản xuất. Nếu một ngày chất lượng đầu ra thay đổi, điều đầu tiên bạn sẽ xem xét là liệu phiên bản mô hình có thay đổi hay không. Khả năng truy nguyên phiên bản giúp tìm ra nguyên nhân cốt lõi của vấn đề chất lượng nhanh hơn.
Một lưu ý nữa: cụm eval sẽ thể hiện khối lượng công việc thực tế của bạn. Một đánh giá chỉ bao gồm các ví dụ dễ ẩn giấu chỗ mô hình vấp ngã trong các trường hợp khó và khiến bạn rơi vào tình trạng tự tin sai lầm. Một đánh giá tốt; Nó bao gồm các ví dụ dễ hiểu phổ biến cũng như các trường hợp góc cạnh mà bạn gặp phải trong thực tế (đầu vào mơ hồ, không đầy đủ, mâu thuẫn). Nhóm thiểu số khó tính này quyết định sự lựa chọn mô hình của bạn, bởi vì dù sao thì mọi mô hình đều thành công trong nhóm đa số dễ dàng. Giữ cho Đánh giá của bạn luôn mới mẻ và mang tính đại diện bằng cách định kỳ cung cấp cho nó các ví dụ thực tế mới.
Tóm lại
Mẫu phù hợp là mẫu nhẹ nhất có thể hoàn thành công việc; Mạnh hơn không phải là tốt hơn ở mọi công việc, nó chỉ đắt hơn và chậm hơn. Phân loại nhiệm vụ và bắt đầu từ ứng cử viên nhẹ nhất, phân phối lưu lượng hỗn hợp với định tuyến và chứng minh việc lựa chọn bằng một tập hợp eval nhỏ giúp giảm chi phí nhiều lần mà vẫn duy trì chất lượng.
Nhiệm vụ ứng dụng
Chọn khối lượng công việc. (1) Phân loại nhiệm vụ đơn giản/phức tạp. (2) Thiết kế một bộ đánh giá nhỏ gồm 20 ví dụ thực tế (với các câu trả lời đúng). (3) Lập kế hoạch điền bảng so sánh độ chính xác/chi phí/thời gian cho ba lớp mô hình. (4) Nếu bạn có lưu lượng truy cập hỗn hợp, hãy viết quy tắc định tuyến và đặt ngưỡng leo thang.
danh sách kiểm tra
- [ ] Tôi có thể so sánh dòng mô hình trên trục khả năng/tốc độ/chi phí.
- [ ] Tôi có thể áp dụng nguyên tắc “mô hình thành công nhẹ nhàng nhất”.
- [ ] Tôi có thể thiết lập định tuyến mô hình theo độ phức tạp của nhiệm vụ.
- [ ] Với một tập hợp đánh giá nhỏ, tôi có thể liên kết lựa chọn với bằng chứng.
- [ ] Tôi có thể xác định ngưỡng nâng cấp/hạ cấp.