Lợi nhuận:
- Khả năng giải thích các khái niệm về mã thông báo, cửa sổ ngữ cảnh và đa phương thức bằng ngôn ngữ hàng ngày
- Chẩn đoán xem một nhiệm vụ có yêu cầu bối cảnh rộng hay đa phương thức hay không
- Khả năng tính đến việc các khái niệm này ảnh hưởng như thế nào đến việc lựa chọn mô hình và chi phí
Cho đến nay chúng ta đã quen thuộc với các nhà cung cấp và các loại mô hình. Tuy nhiên, để lựa chọn mô hình phù hợp cũng cần hiểu rõ hoạt động của các mô hình “bên trong” như thế nào; bởi vì các quyết định về giá, công suất và tính khả dụng đều dựa trên ba khái niệm cốt lõi: mã thông báo, cửa sổ ngữ cảnh và đa phương thức. Người không biết những khái niệm này sẽ không thể đọc được bảng giá và thắc mắc "tài liệu này có phù hợp với mô hình không?" không thể trả lời câu hỏi và không thể biết khi nào việc xử lý hình ảnh là cần thiết. Khi kết thúc phần này, bạn sẽ có thể giải thích ba khái niệm này bằng ngôn ngữ hàng ngày, chẩn đoán xem một công việc đòi hỏi bối cảnh rộng hay đa phương thức và tính đến tác động của chúng đối với chi phí.
Mã thông báo: Đơn vị được mô hình sử dụng thay vì Word
Các mô hình trí tuệ nhân tạo xử lý văn bản không phải từng chữ mà thành từng phần nhỏ gọi là mã thông báo. Một mã thông báo; Nó có thể là một từ, một phần của từ, dấu chấm câu hoặc dấu cách. Để thực hiện một phép tính sơ bộ: Trong tiếng Anh, một mã thông báo trung bình có khoảng bốn ký tự và 100 từ là khoảng 130-150 mã thông báo. Trong tiếng Thổ Nhĩ Kỳ, tỷ lệ này có thể cao hơn một chút do có hậu tố và từ dài; Nói cách khác, một văn bản tiếng Thổ Nhĩ Kỳ có cùng ý nghĩa sẽ sử dụng nhiều mã thông báo hơn một chút so với tiếng Anh.
Tại sao điều này quan trọng để biết? Bởi vì mọi thứ đều được tính phí và đo lường bằng token. Văn bản (đầu vào) bạn gửi đến mô hình và phản hồi (đầu ra) do mô hình tạo ra được tính là các mã thông báo riêng biệt. Cả hóa đơn của bạn và dung lượng của mô hình đều được tính bằng mã thông báo.
Mẹo: Để ước tính sơ bộ số lượng mã thông báo trong một văn bản, hãy chia số ký tự cho 4. Một email 4.000 ký tự tương đương khoảng 1.000 mã thông báo. Trong tiếng Thổ Nhĩ Kỳ, hãy giả sử cao hơn một chút để đảm bảo an toàn.
Cửa sổ ngữ cảnh: "Bộ nhớ ngắn hạn" của mô hình
Cửa sổ ngữ cảnh là tổng số lượng mã thông báo mà mô hình có thể ghi nhớ tại một thời điểm. Đầu vào và đầu ra phải khớp với nhau trong cửa sổ này. Hãy nghĩ về nó giống như số lượng giấy bạn có thể trải trên bàn cùng một lúc: Tờ giấy không vừa trên bàn sẽ nằm ngoài tầm nhìn của bạn vào thời điểm đó.
Nếu cửa sổ ngữ cảnh của mô hình là 200.000 mã thông báo thì điều này tương đương với khoảng 150.000 từ hoặc một vài cuốn sách cỡ trung bình. 1 triệu token có thể xử lý toàn bộ tài liệu lớn hơn nhiều. Một số mô hình mạnh mẽ hiện nay (ví dụ: Claude Opus 4.8 và Sonnet 5) cung cấp 1 triệu bối cảnh mã thông báo, trong khi các mô hình nhẹ thường đi kèm với cửa sổ nhỏ hơn (ví dụ: 200.000 mã thông báo cho Haiku 4.5).
Tại sao nó quan trọng? Bởi vì nếu một tài liệu không vừa với cửa sổ ngữ cảnh, mô hình không thể nhìn thấy tất cả cùng nhau. Bạn không thể cung cấp toàn bộ hợp đồng 500 trang cho mô hình 200.000 mã thông báo; Bạn có thể chia tài liệu thành nhiều phần (có thể làm mất mối quan hệ giữa các phần) hoặc chọn một mô hình có ngữ cảnh rộng hơn.
Thận trọng: Sẽ không khôn ngoan nếu điền vào mọi tài liệu vì cửa sổ ngữ cảnh quá lớn. Bạn đặt càng nhiều mã thông báo vào cửa sổ thì bạn càng phải trả nhiều tiền hơn và đôi khi mô hình có thể bỏ lỡ các chi tiết ở giữa trong các văn bản rất dài. Thường sẽ rẻ hơn và chính xác hơn nếu chỉ gửi phần hoạt động tốt.
Cửa sổ ngữ cảnh là tiêu chí quyết định
Nhiệm vụ
Bối cảnh cần thiết gần đúng
Mức độ phù hợp
Phản hồi email ngắn
vài trăm token
nhẹ
Tóm tắt một trang
vài nghìn token
Nhẹ/cân bằng
Phân tích báo cáo 40 trang
~30.000 token
Cân bằng/mạnh mẽ
Đánh giá hợp đồng 300 trang
~250.000 token
Mạnh mẽ với bối cảnh rộng
Xử lý hàng trăm tài liệu cùng một lúc
Hơn 500.000 token
Bối cảnh rộng nhất
Bảng này trả lời câu hỏi "mô hình nào?" Nó cho thấy một phần câu hỏi được trả lời trực tiếp bằng kích thước tài liệu. Thật lãng phí khi mua một mô hình đắt tiền với bối cảnh rộng lớn cho công việc ngắn hạn; Một mô hình có cửa sổ nhỏ sẽ không phù hợp với các tài liệu lớn.
Đa phương thức: Vượt ra ngoài văn bản
Đa phương thức là khả năng của một mô hình xử lý nhiều loại dữ liệu (hình ảnh, âm thanh, đôi khi là video), không chỉ văn bản. "Phương thức" ở đây có nghĩa là "kiểu dữ liệu"; multimodal có nghĩa là "nhiều loại".
- Mô hình chỉ có văn bản: Chỉ đọc và viết văn bản bằng văn bản.
- Mô hình đa phương thức: Có thể đọc ảnh tờ tiền, diễn giải xu hướng trên biểu đồ, giải mã ghi chú viết tay, đôi khi chép lại bản ghi âm giọng nói.
Tại sao nó quan trọng? Bởi vì tính chất kinh doanh của bạn có thể yêu cầu đa phương thức. Nhóm kế toán trích xuất số tiền từ hình ảnh hóa đơn, nhóm thương mại điện tử phân loại ảnh sản phẩm hoặc nhóm bảo hiểm đánh giá ảnh thiệt hại không thể thực hiện công việc này với mô hình chỉ đọc văn bản. Xử lý hình ảnh là điều cần thiết cho những nhiệm vụ này.
Ba trường hợp thực tế
Trường hợp 1 - Giá token bất ngờ. Nhóm nội dung cũng gửi cho người mẫu một tài liệu “hướng dẫn thương hiệu” dài 20 trang khi họ tạo mỗi bài đăng trên blog. Hướng dẫn này có giá khoảng 15.000 token. Họ sản xuất 2.000 bài báo mỗi tháng; Vì vậy, chỉ cần gửi đi gửi lại hướng dẫn có nghĩa là 30 triệu mã thông báo đầu vào. Bằng cách rút ngắn hướng dẫn và chỉ gửi phần có liên quan (khoảng 2.000 mã thông báo), họ giảm đầu vào xuống còn 1/7 và giảm đáng kể hóa đơn.
Trường hợp 2 - Cửa sổ ngữ cảnh là không đủ. Một công ty luật muốn xem xét lại một thỏa thuận sáp nhập dài 280 trang. Mô hình đầu tiên họ thử có ràng buộc 200.000 mã thông báo và tài liệu không phù hợp; Khi tài liệu bị xé rời, mô hình không thể nhận thấy rằng một bài viết ở phần đầu tiên mâu thuẫn với một bài viết ở phần cuối cùng. Khi nó chuyển sang một mô hình có ngữ cảnh 1 triệu mã thông báo, nó sẽ đọc toàn bộ tài liệu và phát hiện ra sự mâu thuẫn. Ở đây cửa sổ ngữ cảnh trực tiếp xác định độ chính xác.
Trường hợp 3 - Đa phương thức là bắt buộc. Một công ty bảo hiểm muốn đánh giá sơ bộ từ những bức ảnh chụp hư hỏng xe. Điều này là không thể với một mô hình chỉ đọc văn bản; Cần phải có một mô hình đa phương thức có thể "nhìn thấy" bức ảnh. Khi chuyển sang mô hình đa phương thức, họ thiết lập một hệ thống sàng lọc trước để phân loại đại khái vị trí và mức độ hư hỏng trong ảnh và chỉ đạo chuyên gia. Tuy nhiên, họ lưu ý rằng chuyên gia về con người sẽ đưa ra quyết định cuối cùng; vì mô hình là công cụ sàng lọc sơ bộ chứ không phải là quyết định cuối cùng.
Nhắc yếu / Nhắc mạnh
Dấu nhắc yếu:
Tóm tắt tài liệu này. [đã dán tài liệu quá dài]
Lời nhắc mạnh mẽ:
Tóm tắt báo cáo 40 trang dưới đây. Trước tiên hãy ước tính số lượng mã thông báo gần đúng trong báo cáo và cho chúng tôi biết liệu nó có phù hợp với cửa sổ ngữ cảnh của mô hình cân bằng điển hình hay không. Sau đó đưa ra bản tóm tắt theo dạng này: tóm tắt điều hành gồm 5 mục + 3 phát hiện rủi ro. Chỉ sử dụng thông tin trong báo cáo; Đánh dấu phần bạn không chắc chắn là "không rõ ràng trong báo cáo". [báo cáo]
Lời nhắc mạnh mẽ vừa nhận biết mã thông báo/ngữ cảnh, vừa kiểm soát định dạng cũng như khả năng xác minh của đầu ra.
Mẫu có thể sao chép
1. Dự đoán mã thông báo:
Ước tính số lượng mã thông báo gần đúng cho văn bản sau và diễn giải số này theo chi phí đầu vào: "[TEXT]". Hãy làm tròn nó lên một chút, có tính đến việc đó là tiếng Thổ Nhĩ Kỳ.
2. Kiểm tra tính khả dụng của bối cảnh:
Công việc của tôi là xử lý các tài liệu sau: trung bình [TRANG] trong số [QTY] tài liệu mỗi tháng. Kích thước này yêu cầu cửa sổ ngữ cảnh nào? Mức độ nhẹ/cân bằng/mạnh nào là đủ? Rủi ro gì phát sinh nếu nó cần phải được tháo dỡ?
3. Chẩn đoán đa phương thức:
Quy trình làm việc của tôi: [MÔ TẢ]. Có xử lý hình ảnh, âm thanh hoặc video trong luồng này không? Nếu vậy, có cần phải có mô hình đa phương thức hay nó có thể được chuyển đổi thành văn bản (OCR/phiên âm) và được giải quyết bằng mô hình văn bản không? So sánh ưu/nhược điểm của hai con đường.
4. Tối ưu hóa bối cảnh:
Tôi gửi tài liệu cho người mẫu theo mọi yêu cầu, nhưng hầu hết đều không cần thiết. Làm cách nào để trích xuất những phần thực sự cần thiết cho [TASK] từ tài liệu này? Đề xuất 3 cách cụ thể để giảm đầu vào và cho biết mức tiết kiệm token ước tính.
Những lỗi thường gặp
- Nhầm mã thông báo với một từ: Mã thông báo khác với một từ; Hóa đơn, năng lực luôn bằng token, tính bằng chữ dễ gây hiểu lầm.
- Nghĩ rằng cửa sổ ngữ cảnh là vô hạn: Mọi mô hình đều có giới hạn; Nếu tài liệu không phù hợp, mô hình không thể nhìn thấy toàn bộ.
- Sử dụng bối cảnh lớn không cần thiết: Mua một mô hình đắt tiền với bối cảnh lớn cho một công việc ngắn hạn; hoặc điền vào các tài liệu khổng lồ cho mọi yêu cầu và trả tiền vô ích.
- Giả sử đa phương thức: Không phải mọi mô hình đều có thể xử lý hình ảnh; Đối với công việc trực quan, hãy bắt đầu mà không xác nhận rằng mô hình là đa phương thức.
- Quên tải mã thông báo của tiếng Thổ Nhĩ Kỳ: Văn bản tiếng Thổ Nhĩ Kỳ thường tiêu thụ nhiều mã thông báo hơn một chút cho cùng một ý nghĩa; bỏ qua điều này trong dự toán chi phí.
Tóm lại
- Mã thông báo là đơn vị nhỏ trong đó mô hình xử lý văn bản; đầu vào và đầu ra được đo lường và lập hoá đơn riêng biệt dưới dạng mã thông báo.
- Cửa sổ ngữ cảnh là tổng số mã thông báo mà mô hình có thể ghi nhớ tại một thời điểm; kích thước tài liệu ảnh hưởng trực tiếp đến việc lựa chọn mô hình.
- Đa phương thức là khả năng của mô hình xử lý dữ liệu phi văn bản như hình ảnh/âm thanh; Nó rất cần thiết cho các tác phẩm trực quan.
- Ba khái niệm này đều liên quan đến câu hỏi "mô hình nào?" cũng như “giá bao nhiêu?” Nó tạo thành cơ sở của các câu hỏi.
Nhiệm vụ ứng dụng
Chọn một nhiệm vụ AI định kỳ trong doanh nghiệp của bạn. Yêu cầu mẫu thứ nhất (dự đoán mã thông báo) tính toán số lượng mã thông báo mà một đầu vào thông thường có trong nhiệm vụ này. Sau đó, xác định mức nào là đủ với mẫu 2 (kiểm tra tính khả dụng của ngữ cảnh). Nếu bạn có công việc trực quan, hãy làm rõ liệu có cần mô hình đa phương thức với mẫu thứ 3 (chẩn đoán đa phương thức) hay không. Chúng tôi sẽ sử dụng ước tính mã thông báo kết quả để tính toán chi phí của đơn vị tiếp theo.
danh sách kiểm tra
- [ ] Tôi biết khái niệm về mã thông báo và cách ước tính đại khái số lượng mã thông báo trong một văn bản.
- [ ] Tôi có thể giải thích cửa sổ ngữ cảnh bằng phép tương tự "bảng/bộ nhớ".
- [ ] Tôi có thể đánh giá liệu một tài liệu có phù hợp với mô hình hay không.
- [ ] Tôi có thể chẩn đoán khi nào cần sử dụng đa phương thức.
- [ ] Tôi tính đến chi phí mã thông báo của tiếng Thổ Nhĩ Kỳ và chi phí cho bối cảnh không cần thiết.