Thông số mô hình và lời nhắc hệ thống — API, chi phí và tích hợp

Lợi nhuận:

Có thể thiết kế cách lời nhắc của hệ thống hướng dẫn mô hình trong toàn bộ cuộc trò chuyện
Hiểu vai trò và tác động chi phí của các thông số nỗ lực và tư duy thích ứng
triển khai các điều khiển đầu ra như max_tokens, chuỗi dừng và đầu ra có cấu trúc

Hai sản phẩm khác nhau của cùng một mẫu có thể hoạt động hoàn toàn khác nhau. Sự khác biệt không nằm ở bản thân mô hình mà ở dấu nhắc hệ thống và các thông số được cung cấp cho nó. Lời nhắc hệ thống là "hợp đồng làm việc" của mô hình và các tham số là "cài đặt công việc". Trong phần này, bạn sẽ học cách thiết kế lời nhắc hệ thống mạnh mẽ, cài đặt tư duy và nỗ lực trong các mô hình hiện đại thực hiện như thế nào cũng như cách kiểm soát đầu ra theo định dạng/độ dài. Việc đặt các cài đặt này một cách chính xác cho phép bạn quản lý cả chất lượng và chi phí cùng một lúc.

Lời nhắc hệ thống: Chỉ thị thường trực của Model

Lời nhắc hệ thống là hướng dẫn cấp cao áp dụng trong toàn bộ cuộc trò chuyện. Các quy tắc này vẫn hợp lệ cho dù người dùng gõ gì. Một lời nhắc hệ thống tốt bao gồm các thành phần sau:

Vai trò/bản sắc: Người mẫu là ai? (“Bạn là trợ lý hỗ trợ của công ty.”)
Phạm vi và ranh giới: Nó làm gì và không làm gì? (“Chỉ dựa trên tài liệu chính sách được cung cấp.”)
Quy tắc định dạng: Kết quả đầu ra sẽ trông như thế nào? ("Tối đa 3 bài viết, ngôn ngữ chính thức.")
Hành vi khi không chắc chắn: Người ta làm gì khi không chắc chắn? ("Nếu thông tin chưa có thì bịa đặt, chuyển cho đơn vị liên quan.")
Bảo mật/quyền riêng tư: Điều gì không/không muốn? ("Yêu cầu dữ liệu cá nhân.")

Mẹo: Giữ cố định lời nhắc hệ thống. Không nhúng thông tin thay đổi theo từng yêu cầu (ngày hiện tại, tên người dùng, ID phiên). Điều này vừa phá vỡ tính nhất quán vừa làm mất hiệu lực bộ nhớ đệm nhắc nhở trên thiết bị 6. Đưa thông tin biến đổi vào thông báo của người dùng.

Bẫy hướng dẫn quá hung hăng

Các mô hình hiện đại tuân theo hướng dẫn rất chặt chẽ. Các cụm từ mang tính công kích như "PHẢI", "LUÔN LUÔN", "CHẮC CHẮN làm điều này", v.v., vốn hoạt động trong các mô hình cũ, ngày nay dẫn đến kích hoạt quá mức: mô hình gọi một tác nhân khi không cần thiết hoặc chạy trong một thời gian dài không cần thiết. Làm mềm quy tắc: Thay vì “PHẢI sử dụng công cụ tìm kiếm”, “Nếu câu trả lời không có trong cuộc trò chuyện, hãy sử dụng công cụ tìm kiếm” sẽ chính xác hơn.

Thông số mô hình: Suy nghĩ và nỗ lực

LLM cổ điển có thông số nhiệt độ: giá trị thấp hơn tạo ra đầu ra cụ thể/nhất quán hơn, giá trị cao hơn tạo ra đầu ra đa dạng/sáng tạo hơn. Các mẫu thế hệ hiện đại (như Opus 4.8, Sonnet 5) thay thế phương pháp này bằng hai cơ chế mạnh hơn và không còn chấp nhận các thông số lấy mẫu như nhiệt độ.

Tư duy thích ứng: Người mẫu lý luận từng bước trong “cái đầu” của mình trước khi phản hồi. Mô hình quyết định mức độ suy nghĩ dựa trên độ khó của nhiệm vụ. Cải thiện đáng kể độ chính xác đối với các vấn đề phức tạp, nhiều bước; Anh ấy suy nghĩ ít hơn để tránh sự chậm trễ không cần thiết đối với những câu hỏi đơn giản.
Nỗ lực: Núm điều khiển cấp cao điều chỉnh mức độ mô hình đi sâu vào một nhiệm vụ và tổng số lượng mã thông báo mà nó chi tiêu. Mức độ điển hình: thấp, trung bình, cao và trên. Nỗ lực cao có thể cải thiện chất lượng nhưng cũng làm tăng độ trễ và chi phí; Nỗ lực thấp mang lại tốc độ và tiết kiệm.

Cài đặt

làm gì

khi nào

Suy nghĩ thiếu suy nghĩ/nỗ lực thấp

Nhanh, rẻ, hời hợt

Phân loại đơn giản, phản hồi ngắn, trì hoãn các nhiệm vụ nhạy cảm

Tư duy thích ứng + nỗ lực trung bình

Cân bằng chất lượng/chi phí

Hầu hết các nhiệm vụ có mục đích chung

Tư duy thích ứng + nỗ lực cao

độ chính xác cao nhất

Lý luận phức tạp, mã hóa, tác nhân tầm xa

Thận trọng: Phản xạ "nỗ lực tối đa bất kể thế nào" sẽ làm tăng chi phí. Điều chỉnh nỗ lực cho nhiệm vụ; Trong những nhiệm vụ đơn giản, tốn ít công sức thường mang lại kết quả chính xác như nhau với mức giá rẻ hơn nhiều. Lên cao ở nơi cần độ chính xác quan trọng.

Kiểm soát đầu ra: Định dạng, Độ dài, Cấu trúc

Bên cạnh các tham số, bạn còn tự điều khiển đầu ra:

max_tokens: Trần cứng đầu ra (đơn vị thứ 1 và thứ 3).
Dừng trình tự: Dừng mô hình khi nhìn thấy một chuỗi nhất định. Hữu ích cho việc thiết lập các điểm dừng trong sản xuất có cấu trúc.
Đầu ra có cấu trúc: Buộc phản hồi của mô hình phải tuân theo lược đồ JSON mà bạn cung cấp. Nó đảm bảo rằng đầu ra có thể phân tích cú pháp và hợp lệ theo chương trình. Nó đáng tin cậy hơn việc nói "chỉ cần trả về JSON" bằng lời nhắc.

{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "bổ sungProperties": false, "properties": { "category": { "type": "string", "enum": ["invoice", "technology", "return", "other"] }, "khẩn cấp": { "type": "string", "enum": ["thấp", "trung bình", "cao"] } }, "bắt buộc": ["danh mục", "khẩn cấp"] } } }}

Mẫu lời nhắc hệ thống có thể sao chép

# Trợ lý hỗ trợ doanh nghiệpBạn là trợ lý hỗ trợ doanh nghiệp.- Chỉ dựa vào tài liệu chính sách được cung cấp; Nếu nó không có trong tài liệu, hãy nói "Tôi không có thông tin này". - Đưa ra câu trả lời chính thức, rõ ràng trong tối đa 3 câu. - Yêu cầu dữ liệu cá nhân (số TC ID, số thẻ) và không lặp lại trong câu trả lời của bạn. - Không chắc thì đừng đoán.

# Trình phân loại bắt buộc đầu ra có cấu trúcBạn là người phân loại nhu cầu. Đầu vào là tin nhắn của khách hàng. Chỉ trả lại các trường được yêu cầu, không viết bình luận. Nếu bạn không chắc chắn, hãy sử dụng "khác".

# Nhà phân tích có hành vi được xác định là không chắc chắn Bạn là nhà phân tích dữ liệu. Chỉ rút ra những suy luận có thể kiểm chứng được từ bảng được cung cấp. Đừng bao giờ đưa ra kết luận không tồn tại trong dữ liệu. Nếu suy luận không rõ ràng, hãy viết "dữ liệu không đầy đủ".

# Người viết nội dung có khả năng kiểm soát giọng điệu và độ dàiBạn là người viết nội dung. Sử dụng giọng điệu ấm áp nhưng chuyên nghiệp. Giới hạn mỗi văn bản ở mức 120 từ hoặc ít hơn. Tránh ngôn ngữ tiếp thị sáo rỗng.

Dấu nhắc yếu / Dấu nhắc mạnh

# YẾUHãy hữu ích và đưa ra những câu trả lời hay. Làm hết sức mình.

# MẠNH MẼVai trò: Chuyên gia hỗ trợ kỹ thuật.Phạm vi: Chỉ cung cấp hướng dẫn sản phẩm.Định dạng: Từng bước, danh sách được đánh số, tối đa 5 bước.Giới hạn: Đề xuất giải pháp không có trong hướng dẫn; Nói "Tôi không thể tìm thấy nó trong hướng dẫn sử dụng." Quyền riêng tư: Không lặp lại số sê-ri được người dùng chia sẻ trong phản hồi.

Phiên bản mạnh mẽ; Nó xác định vai trò, phạm vi, định dạng, ranh giới và tính bảo mật một cách riêng biệt. Tính nhất quán đầu ra xuất phát trực tiếp từ sự rõ ràng này.

Ba hộp nhỏ

Trường hợp 1 - Giảm chi phí thông qua điều chỉnh nỗ lực. Một nhóm thực hiện tất cả các cuộc gọi của họ với nỗ lực cao + suy nghĩ; Ngay cả những thông báo email đơn giản cũng tốn kém và sản xuất chậm. Họ giao những nhiệm vụ đơn giản như tóm tắt cho những người có nỗ lực thấp và phân tích hợp đồng cho những người có nỗ lực cao. Độ chính xác được duy trì, độ trễ trung bình giảm một nửa và chi phí hàng tháng giảm 1/3.

Trường hợp 2 - Đảm bảo JSON. Một nhóm vận hành đã yêu cầu kết quả phân loại kèm theo lời nhắc "chỉ cần cung cấp JSON", nhưng mô hình đôi khi sẽ viết "Đây là kết quả:" và trình phân tích cú pháp sẽ gặp sự cố. Khi tôi kết nối lược đồ đầu ra đã định cấu hình, đầu ra luôn trả về JSON hợp lệ; lỗi phân tích cú pháp đã được thiết lập lại.

Trường hợp 3 - Sự giật lùi nhanh chóng. Lời nhắc của trợ lý cho biết: "PHẢI tìm kiếm MỌI CÂU HỎI"; Mô hình đã thực hiện những tìm kiếm không cần thiết ngay cả đối với những câu hỏi đơn giản mà nó đã biết câu trả lời, điều này làm chậm lại và tăng chi phí. Họ nới lỏng quy tắc thành "Nếu câu trả lời không phù hợp với ngữ cảnh, hãy tìm kiếm"; Các cuộc gọi không cần thiết giảm 70% và phản hồi nhanh hơn.

Những lỗi thường gặp

Nhúng dữ liệu biến đổi vào lời nhắc hệ thống: Phá vỡ tính nhất quán và vô hiệu hóa bộ đệm.
Hướng dẫn quá tích cực: Kích hoạt quá mức và chi phí không cần thiết trong các mô hình hiện đại.
Nỗ lực cao trong mọi công việc: Lãng phí trong những công việc đơn giản; điều chỉnh nỗ lực cho công việc.
Chỉ yêu cầu JSON thông qua lời nhắc: Đôi khi nó bị hỏng; nếu quan trọng, hãy sử dụng đầu ra có cấu trúc.
Không xác định hành vi ranh giới/mơ hồ: Mô hình lấp đầy khoảng trống bằng sự bịa đặt (ảo giác).
Thói quen `nhiệt độ` cũ: Các mô hình hiện đại không chấp nhận điều này; Hướng dẫn hành vi một cách nhanh chóng và nỗ lực.

Sâu sắc hơn: Viết lời nhắc giống như một hợp đồng

Các nhóm có kinh nghiệm coi lời nhắc hệ thống giống như một hợp đồng chứ không phải một văn bản văn học: các mệnh đề rõ ràng, các quy tắc có thể đo lường được, các ranh giới rõ ràng. Cách tiếp cận này có ba lợi ích cụ thể. Đầu tiên là tính nhất quán: cùng một đầu vào cho ra đầu ra giống nhau ở các thời điểm khác nhau. Thứ hai là khả năng kiểm tra: bạn có thể kiểm tra từng mục riêng biệt bằng một mẫu. Thứ ba là dễ bảo trì: nếu có hành vi sai, bạn sẽ biết cần thay thế mặt hàng nào.

Một cách thực hành tốt là dẫn dắt bằng những ví dụ tích cực. Thay vì cung cấp danh sách "không làm điều này", sẽ hiệu quả hơn nhiều trong các mô hình hiện đại nếu cung cấp một ví dụ cho biết "đây chính xác là kết quả đầu ra mong muốn trông như thế nào". Ví dụ: trong trình phân loại, việc thêm một hoặc hai mẫu JSON dự kiến vào dấu nhắc sẽ giảm đáng kể lỗi định dạng.

Một kỹ thuật mạnh mẽ khác là viết hành vi không chắc chắn một cách rõ ràng. Một mệnh đề như "Nếu không chắc chắn, đừng đoán; hãy nói 'không đủ dữ liệu'" sẽ ngăn chặn xu hướng điền vào chỗ trống của mô hình bằng sự bịa đặt (ảo giác). Câu duy nhất này giảm tải lớp xác minh mà chúng ta sẽ đề cập đến trong bài 11: một khi mô hình đã gắn cờ sự không chắc chắn, việc dẫn đến xác thực của con người sẽ trở nên dễ dàng hơn.

Cuối cùng, hãy cùng nhau xem xét nỗ lực và lời nhắc. Với nỗ lực cao độ, mô hình khám phá nhiều hơn và đôi khi thực hiện “công việc làm thêm” không mong muốn (giải thích không cần thiết, gợi ý bổ sung). Việc nói "chỉ đưa ra kết quả mong muốn, không thêm nhận xét bổ sung" trong lời nhắc sẽ bù đắp cho tác dụng phụ của nỗ lực cao.

Tóm lại

Lời nhắc hệ thống là chỉ thị thường trực của mô hình: nó xác định vai trò, phạm vi, định dạng, hành vi tối nghĩa và tính bảo mật. Trong các mô hình hiện đại, hành vi được thúc đẩy bởi các thông số về nỗ lực và tư duy thích ứng hơn là nhiệt độ; Việc sắp xếp nỗ lực cho nhiệm vụ sẽ quản lý đồng thời chất lượng và chi phí. Bạn bảo mật đầu ra bằng max_tokens, mảng dừng và đầu ra có cấu trúc.

Nhiệm vụ ứng dụng

Chọn một nhiệm vụ. (1) Viết lời nhắc hệ thống với năm thành phần (vai trò, phạm vi, định dạng, sự mơ hồ, tính bảo mật). (2) Nêu rõ mức độ nỗ lực mà bạn sẽ chọn cho nhiệm vụ này và tại sao. (3) Nếu đầu ra cần có cấu trúc, hãy phác thảo một lược đồ JSON nhỏ. (4) Kiểm tra xem có biểu hiện quá khích trong lời nhắc của bạn hay không và làm dịu nó đi.

danh sách kiểm tra

[ ] Tôi có thể kể tên năm thành phần của một lời nhắc hệ thống tốt.
[ ] Tôi có thể giải thích tác dụng của các thông số tư duy thích ứng và nỗ lực.
[ ] Tôi có thể cân bằng chất lượng/chi phí bằng cách điều chỉnh nỗ lực tùy theo nhiệm vụ.
[ ] Tôi biết tại sao kết quả đầu ra có cấu trúc lại an toàn hơn việc yêu cầu JSON thông qua lời nhắc.
[ ] Tôi có thể nhận ra rủi ro trong các mô hình hiện đại về những chỉ dẫn quá khích.