Logic định giá: Nền kinh tế mã thông báo và cân bằng chất lượng chi phí

Lợi nhuận:

• Khả năng đọc các mục hóa đơn và giá mã thông báo đầu vào/đầu ra
• Khả năng ước tính chi phí hàng tháng của quy trình làm việc với công thức thô
• Triển khai các phương pháp cắt giảm chi phí như lưu vào bộ nhớ đệm, xử lý hàng loạt và dàn dựng mô hình

Có thể ước tính chi phí của một mô hình là bao nhiêu là một trong những kỹ năng thực tế nhất của người ra quyết định. "Tôi phải trả bao nhiêu tiền hàng tháng?" Nếu không thể trả lời câu hỏi, bạn không thể lập kế hoạch ngân sách cũng như không thể chọn mức phù hợp. Tin tốt là việc định giá đơn giản hơn bạn tưởng và khi bạn đã hiểu rõ về nó, bạn có thể tự mình ước tính sơ bộ. Trong phần này, bạn sẽ tìm hiểu cách đọc giá mã thông báo đầu vào/đầu ra, ước tính chi phí hàng tháng của quy trình làm việc bằng công thức đơn giản và các phương pháp thực sự giảm chi phí.

Nguyên tắc chung: Đầu vào và đầu ra được định giá riêng

Trong các mô hình trọng lượng đóng, giá được tính dựa trên số lượng mã thông báo được xử lý và có hai mục riêng biệt:

• Mã thông báo đầu vào (input): Văn bản bạn gửi đến mô hình. Lời nhắc của bạn, tài liệu của bạn, mẫu của bạn.
• Mã thông báo đầu ra: Câu trả lời mà mô hình tạo ra cho bạn.

Điểm quan trọng: Token đầu ra thường đắt hơn vài lần so với token đầu vào. Điều này là do mô hình này tốn kém hơn về mặt tính toán để tạo ra đầu ra. Ví dụ: trong một mô hình, đầu vào có thể là 3 USD trên một triệu token trong khi đầu ra có thể là 15 USD; Vì vậy, đầu ra đắt hơn năm lần. Điều này có nghĩa là những câu trả lời dài dòng và không cần thiết có thể nhanh chóng tiêu tốn ngân sách.

Mẹo: Một trong những cách dễ nhất để giảm chi phí là không hỏi người mẫu những câu trả lời dài không cần thiết. Các hạn chế như "tối đa 5 bài viết", "đoạn đơn", "chỉ xuất bảng" sẽ tăng chất lượng và lưu mã thông báo đầu ra.

Ví dụ về giá hiện tại

Dưới đây là giá gần đúng của một số mô hình (trên một triệu token, đô la Mỹ). Các giá trị này thuộc về khoảng thời gian mà mô-đun này được chuẩn bị và thay đổi thường xuyên; Kiểm tra trang giá hiện tại của nhà cung cấp để có quyết định chính xác.

người mẫu

Sân khấu

Đầu vào $/1 triệu

Đầu ra $/1 triệu

Claude Opus 4.8

mạnh mẽ

~5

~25

Claude Sonnet 5

cân bằng

~3

~15

Claude Haiku 4.5

nhẹ

~1

~5

Như đã thấy trong bảng, có thể có chênh lệch giá lên tới năm lần giữa bậc mạnh và bậc nhẹ. Đó là lý do tại sao cách tiếp cận “mô hình phù hợp nhất cho mọi doanh nghiệp” thường gây lãng phí tiền bạc. Việc thực hiện công việc đơn giản bằng mô hình giá rẻ và công việc khó khăn bằng mô hình mạnh mẽ sẽ mang lại khoản tiết kiệm lớn mà không làm giảm chất lượng. Chúng ta sẽ đào sâu ý tưởng này ở bài 7 và 9.

Ước tính chi phí hàng tháng: Công thức đơn giản

Để ước tính chi phí hàng tháng sơ bộ, bạn có thể sử dụng công thức sau:

Chi phí hàng tháng ≈ (Số lượng yêu cầu mỗi tháng × Mã thông báo đầu vào trung bình × Giá đầu vào / 1.000.000)+ (Số lượng yêu cầu mỗi tháng × Mã thông báo đầu ra trung bình × Giá đầu ra / 1.000.000)

Hãy chạy một ví dụ. Giả sử một nhóm thương mại điện tử tạo ra 50.000 mô tả sản phẩm mỗi tháng. Mỗi yêu cầu gửi trung bình 500 mã thông báo đầu vào (thông tin sản phẩm) và nhận 300 mã thông báo đầu ra (mô tả). Trong mô hình cân bằng (đầu vào ~3, đầu ra ~15):

• Chi phí đầu vào: 50.000 × 500 × 3 / 1.000.000 = 75 USD
• Chi phí đầu ra: 50.000 × 300 × 15 / 1.000.000 = 225 USD
• Tổng cộng ≈ $300/tháng

Nếu họ thực hiện công việc tương tự trong một mô hình nhẹ (đầu vào ~1, đầu ra ~5):

• Đầu vào: 50.000 × 500 × 1 / 1.000.000 = 25 USD
• Đầu ra: 50.000 × 300 × 5 / 1.000.000 = 75 USD
• Tổng cộng ≈ $100/tháng

Vì vậy, chỉ cần lựa chọn giai đoạn cũng có thể giảm cùng một công việc từ 300 USD xuống còn 100 USD. Đối với một nhiệm vụ tương đối đơn giản như mô tả sản phẩm, mô hình gọn nhẹ thường là quá đủ.

Thận trọng: Công thức này là ước tính sơ bộ; hóa đơn thực tế thay đổi tùy theo các yếu tố như mức sử dụng bộ đệm, số lần thử lại và chế độ lý luận. Tuy nhiên, đây là một khởi đầu rất tốt để nhận được xác nhận ngân sách hoặc so sánh hai mô hình. Tốt nhất nên đo lường con số thực bằng một phi công nhỏ trước khi đưa ra quyết định.

Năm phương pháp để giảm chi phí

1. Chọn đúng cấp độ. Mẫu mã đơn giản, nhẹ nhàng. Đây là nguồn tiết kiệm lớn nhất.
2. Làm cho đầu vào nhỏ hơn. Thay vì điền vào các tài liệu khổng lồ cho mỗi yêu cầu, hãy chỉ gửi phần có liên quan (tối ưu hóa ngữ cảnh ở bài 5).
3. Giới hạn đầu ra. Làm rõ độ dài và hình thức của câu trả lời; Câu trả lời dài không cần thiết = chi phí không cần thiết.
4. Sử dụng bộ nhớ đệm. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Điều này giúp tiết kiệm đáng kể nếu bạn gửi cùng một lệnh lớn hàng nghìn lần.
5. Thực hiện xử lý hàng loạt. Nếu bạn không vội, các tùy chọn "hàng loạt", gửi nhiều yêu cầu với số lượng lớn và xử lý chúng với giá ưu đãi, sẽ giảm đáng kể chi phí.

Ba trường hợp thực tế

Trường hợp 1 - Tiết kiệm khi thay đổi bước. Một nhóm dịch vụ khách hàng đang tóm tắt tất cả các email đến bằng mô hình mạnh nhất và hóa đơn hàng tháng của họ là ~900 USD. Tóm tắt là một nhiệm vụ đơn giản; Khi họ chuyển sang cấp độ cân bằng, chất lượng đầu ra gần như giữ nguyên nhưng hóa đơn giảm xuống còn ~$250. Tiết kiệm ~$7.800 mỗi năm chỉ bằng cách chọn đúng cấp độ.

Trường hợp 2 - Lưu bằng bộ đệm. Một nhóm phần mềm đã gửi cùng một tài liệu “tiêu chuẩn mã hóa” 8.000 mã thông báo với mỗi yêu cầu xem xét mã. 400 yêu cầu mỗi ngày × 8.000 mã thông báo = đầu vào lặp lại lớn. Khi họ bật tính năng bộ đệm, phân vùng cố định này bắt đầu được đọc với giá rẻ hơn nhiều và một phần đáng kể chi phí đầu vào biến mất.

Trường hợp 3 - Tiết kiệm bằng cách hạn chế sản lượng. Khi nhóm tiếp thị yêu cầu mô tả sản phẩm, mô hình sẽ tạo ra các đoạn văn dài và hoa mỹ. Khi họ thêm giới hạn "tối đa 60 từ, một đoạn văn", phần giải thích trở nên hữu ích hơn và mã thông báo đầu ra giảm đi một nửa. Trong khi chất lượng tăng lên thì chi phí lại giảm xuống; đôi bên cùng có lợi.

Nhắc yếu / Nhắc mạnh

Dấu nhắc yếu:

Viết cho tôi một mô tả hay cho sản phẩm này. [thông tin sản phẩm]

Người mẫu có thể viết bao lâu tùy thích; Mã thông báo đầu ra không được kiểm soát.

Lời nhắc mạnh mẽ:

Vai trò của bạn: người viết quảng cáo thương mại điện tử. Sản phẩm: [THÔNG TIN]. Công việc: Viết mô tả sản phẩm. Hạn chế: Tối đa 60 từ, một đoạn văn, thu hút khách hàng không rành về kỹ thuật, bao gồm 2 lợi ích + 1 trường hợp sử dụng. Tránh những tính từ ưa thích.

Lời nhắc mạnh mẽ kiểm soát cả chất lượng và độ dài đầu ra (và do đó cả chi phí).

Mẫu có thể sao chép

1. Dự toán chi phí hàng tháng:

Tôi thực hiện [QUANTITY] yêu cầu hàng tháng. Đầu vào trung bình ~[NUM] mã thông báo, đầu ra ~[NUM] mã thông báo. Tính toán chi phí hàng tháng cho các mẫu máy sau ([MODEL A], [MODEL B]) bằng công thức và so sánh trong bảng. Chấp nhận giá đầu vào/đầu ra [PRICES].

So sánh bậc 2:

Nhiệm vụ của tôi [NHIỆM VỤ]. Công việc này có thực sự cần một mô hình mạnh mẽ hay một mô hình nhẹ/cân bằng là đủ? Đánh giá về chất lượng, giá thành và gợi ý 2 bậc để mình test thử.

3. Sàng lọc giảm chi phí:

Xác định các cách để giảm chi phí trong quy trình làm việc sau: [WORKFLOW].Viết tính khả thi và mức tiết kiệm ước tính cho từng tầng, giảm đầu vào, giới hạn đầu ra, bộ đệm và tiêu đề xử lý hàng loạt.

4. Giới hạn đầu ra:

Viết lại lời nhắc sau để giảm mã thông báo đầu ra mà không làm giảm chất lượng: "[PROMPT]". Tối ưu hóa độ dài, định dạng và sự lặp lại không cần thiết.

Những lỗi thường gặp

• Bỏ qua chênh lệch đầu vào/đầu ra: Cho phép trả lời dài mà không biết rằng đầu ra đắt hơn nhiều.
• Mô hình mạnh mẽ nhất cho mọi công việc: Làm một công việc đơn giản với mô hình đắt tiền và phải trả giá đắt gấp nhiều lần một cách không cần thiết.
• Giải phóng độ dài đầu ra: Cấp quyền ghi không giới hạn cho mô hình mà không áp đặt bất kỳ hạn chế nào về định dạng hoặc độ dài.
• Bỏ qua bộ nhớ đệm và hàng loạt: Bỏ lỡ cơ hội tiết kiệm nghiêm trọng cho các đầu vào lặp đi lặp lại và các tác vụ không khẩn cấp.
• Nghĩ rằng giá cả là cập nhật: Dựa vào bảng giá cũ và lập kế hoạch ngân sách không chính xác; giá thay đổi thường xuyên.

Tóm lại

• Giá được tính dựa trên token; đầu vào và đầu ra được định giá riêng và đầu ra thường đắt hơn gấp mấy lần.
• Bạn có thể ước tính đại khái chi phí hàng tháng theo công thức số lượng yêu cầu × mã thông báo trung bình × giá.
• Chỉ riêng việc lựa chọn bước đúng có thể giảm chi phí rất nhiều lần.
• Giảm thiểu đầu vào, giới hạn đầu ra, lưu vào bộ nhớ đệm và xử lý hàng loạt là những phương pháp thiết thực giúp giảm đáng kể hóa đơn.

Nhiệm vụ ứng dụng

Nhận các giá trị mã thông báo mà bạn đã ước tính ở đơn vị trước. Tính toán chi phí hàng tháng của doanh nghiệp bạn cho hai cấp độ khác nhau với mẫu 1 trong đơn vị này (ước tính chi phí hàng tháng). Sau đó, với mẫu thứ 3 (quét giảm chi phí), hãy suy ra mức tiết kiệm mà mỗi phương pháp có thể mang lại cho quy trình làm việc của bạn. Lên kế hoạch chọn hai phương pháp hứa hẹn nhất và áp dụng chúng vào ngân sách tháng tiếp theo của bạn.

danh sách kiểm tra

• [ ] Tôi biết rằng mã thông báo đầu vào và đầu ra được định giá riêng và đầu ra đắt hơn.
• [ ] Tôi có thể ước tính đại khái chi phí hàng tháng của một quy trình làm việc bằng công thức đơn giản.
• [ ] Tôi có thể chỉ ra tác động chi phí của việc chọn mức phù hợp bằng một ví dụ.
• [ ] Tôi có thể nhận ra năm phương pháp giảm chi phí và chọn phương pháp phù hợp.
• [ ] Tôi có thể viết lại lời nhắc để giảm mã thông báo đầu ra.