การเลือกแบบจำลอง: แบบจำลองที่เหมาะสมสำหรับงานที่เหมาะสม

กำไร:

• สามารถเปรียบเทียบตระกูลรุ่น (เร็ว/สมดุล/ทรงพลัง) กับความสามารถ ความเร็ว และราคา
• ออกแบบการเลือกแบบจำลองและกลยุทธ์การกำหนดเส้นทางตามความซับซ้อนของงาน
• การเลือกแบบจำลองยึดตามหลักฐานด้วยชุดการประเมินขนาดเล็ก

การตัดสินใจเพียงครั้งเดียวที่จะกำหนดความคุ้มค่าสูงสุดและคุณภาพในการบูรณาการ LLM ก็คือโมเดลที่คุณใช้ การสะท้อนกลับทั่วไปคือ "เลือกรุ่นที่แข็งแกร่งที่สุด"; อย่างไรก็ตาม สิ่งนี้มักหมายถึงต้นทุนและความล่าช้าที่ไม่จำเป็น แนวทางที่ถูกต้องคือการเลือกแบบจำลองที่มีน้ำหนักเบาที่สุดซึ่งจะช่วยให้งานแต่ละชิ้นสำเร็จได้ และเลือกใช้พื้นฐานในการวัด ไม่ใช่การคาดเดา ในหน่วยนี้ คุณจะเปรียบเทียบกลุ่มแบบจำลองบนแกนความสามารถ/ความเร็ว/ต้นทุน กำหนดกลยุทธ์การกำหนดเส้นทางแบบจำลองตามความซับซ้อนของงาน และพิสูจน์การเลือกด้วยการประเมินชุดเล็กๆ

ทำความเข้าใจครอบครัวตัวอย่าง

โดยทั่วไปผู้ให้บริการมีสามประเภท: รวดเร็ว/ถูก, เสถียร และทรงพลัง ความสัมพันธ์ระหว่างพวกเขาสรุปได้เป็นสามแกน: ความสามารถ (พลังในการแก้ปัญหางานที่ยาก) ความเร็ว (เวลาแฝง) ต้นทุน (ราคาโทเค็น)

ชั้นเรียน

ตัวอย่าง

ความสามารถพิเศษ

ความเร็ว

ราคา

งานที่มีอยู่

รวดเร็ว

ไฮกุ 4.5

ปานกลาง

สูงมาก

ต่ำ

การจำแนกประเภท การติดฉลาก สรุปโดยย่อ ปฐมนิเทศ

สมดุล

โคลง 5

สูง

สูง

ปานกลาง

วัตถุประสงค์ทั่วไป การเขียนโค้ด โฟลว์หลายขั้นตอน งานตัวแทนส่วนใหญ่

แข็งแรง

บทประพันธ์ 4.8

สูงสุด

ปานกลาง

สูง

การใช้เหตุผลที่ซับซ้อน งานอิสระในระยะยาว การวิเคราะห์ที่ยาก

ข้อมูลเชิงลึกที่สำคัญ: โมเดลที่ทรงพลังกว่าไม่ได้ทำงานได้ดีกว่าในทุกงาน ในการติดป้ายกำกับ "ด่วนหรือไม่" แบบธรรมดา โมเดลที่ชัดเจนและโมเดลเร็วจะให้คำตอบที่ถูกต้องเหมือนกัน ข้อแตกต่างเพียงอย่างเดียวคือผู้ทรงพลังนั้นมีราคาแพงกว่าและช้ากว่าถึง 5 เท่า ความสามารถพิเศษพิเศษจะสร้างคุณค่าเมื่อภารกิจต้องการเท่านั้น

ทีละขั้นตอน: จะเลือกรุ่นได้อย่างไร?

1. จำแนกงาน. มันเป็นงานประจำ/มีรูปแบบ (การติดฉลาก การอนุมาน) หรือปลายเปิด/หลายขั้นตอน (การวิเคราะห์ การวางแผน รหัส)?
2. เริ่มต้นด้วยผู้สมัครที่เบาที่สุด ลองกับรุ่นที่รวดเร็ว ถ้าพอก็หยุด
3. ถ้ายังไม่พอก็เลื่อนขึ้นไปสู่ระดับที่สูงขึ้น หากความแม่นยำต่ำให้ไปที่อันที่สมดุล หากยังไม่เพียงพอให้ไปที่อันที่แข็งแกร่ง
4. วัดกันอย่าเดา เปรียบเทียบความถูกต้องและราคาของผู้สมัครแต่ละคนกับชุดประเมินเล็กๆ (ด้านล่าง)
5. ตั้งค่าการเปลี่ยนเส้นทาง แทนที่จะเชื่อมต่อกับโมเดลเดียว ให้กระจายงานไปยังโมเดลที่ถูกต้องด้วย "เราเตอร์"

การกำหนดเส้นทางแบบจำลอง

ปริมาณงานจริงมีหลากหลาย: คำขอที่เข้ามาส่วนใหญ่จะเรียบง่าย แต่บางคำขอก็ยาก การส่งพวกเขาทั้งหมดไปยังโมเดลที่ทรงพลังนั้นเสียเปล่า การส่งทั้งหมดไปยังโมเดลที่รวดเร็วจะลดคุณภาพ การกำหนดเส้นทางช่วยแก้ปัญหานี้: โมเดลราคาถูก (หรือกฎง่ายๆ) จะจัดประเภทงานก่อน จากนั้นงานจะไปยังโมเดลที่เหมาะสม

# Router prompt (ใช้ได้กับรุ่นราคาถูก) จำแนกคำขอที่เข้ามาตามความยาก ส่งกลับเฉพาะ JSON ต่อไปนี้:{"difficulty": "simple|complex"}Simple: ขั้นตอนเดียว สูตร คำตอบสั้นๆ ซับซ้อน: ต้องใช้เหตุผลหลายขั้นตอน การวิเคราะห์ หรือการสร้างระยะยาว คำขอ: """{{request}}"""

• ไปที่แบบง่าย → แบบเร็ว (ถูก, เร็ว)
• ไปที่โมเดลที่ซับซ้อน → ทรงพลัง (แพง แต่จำเป็น)

รูปแบบนี้ช่วยลดต้นทุนเฉลี่ยได้อย่างมาก เนื่องจากโดยทั่วไปแล้วการรับส่งข้อมูลส่วนใหญ่เป็นแบบธรรมดา

เคล็ดลับ: การตัดสินใจเกี่ยวกับการอ้างอิงไม่จำเป็นต้องมี LLM เสมอไป กฎง่ายๆ เช่น “ไปที่โมเดลด่วนหากข้อความน้อยกว่า 20 คำ” ก็เป็นแนวทางเช่นกัน และทำให้ต้นทุนโทเค็นเพิ่มเติมเป็นศูนย์ ลองกฎดูก่อน

การเชื่อมโยงตัวเลือกกับหลักฐาน: คลัสเตอร์ประเมินผลขนาดเล็ก

อย่าเลือกรุ่นโดยยึดตาม "ฉันดูดีกว่า" Eval (ชุดประเมิน) คือชุดตัวอย่างเล็กๆ น้อยๆ ที่ทราบคำตอบที่ถูกต้อง คุณใช้งานแต่ละโมเดลในชุดนี้และวัดความแม่นยำ ต้นทุน และเวลาแฝง

# เทมเพลตการตั้งค่า Eval1) รวบรวมตัวอย่างจริง 20-50 ตัวอย่าง เขียน "คำตอบที่ถูกต้อง" ด้วยมือ 2) รันแต่ละรุ่น (เร็ว/สมดุล/แรง) บนชุดนี้3) สำหรับแต่ละรุ่น: จำนวนการแก้ไข, โทเค็นปริมาณงานเฉลี่ย, ราคาต่อคำขอ, เวลาเฉลี่ย4) เลือกรุ่นที่ "ให้ความแม่นยำเพียงพอที่ถูกที่สุด"

# ตารางเปรียบเทียบการประเมินผล (เติม)รุ่น | ความแม่นยำ | ราคาต่อคำขอ | ระยะเวลาเฉลี่ยไฮกุ | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...ก.ล.ต

พร้อมท์อ่อน / พร้อมท์แรง (การตัดสินใจเลือกรุ่น)

#อ่อนแอ (ไม่มีพื้นฐานในการตัดสินใจ) มาใช้รุ่นที่ดีที่สุดกันเถอะ งบประมาณไม่สำคัญ

# แข็งแกร่ง (การตัดสินใจขึ้นอยู่กับการวัด) ในการประเมินตัวอย่าง 50 ตัวอย่าง ไฮกุให้ความแม่นยำ 96% โคลงให้ความแม่นยำ 97% ความแตกต่างไม่มีนัยสำคัญทางสถิติ เลือกไฮกุเพราะราคาถูกกว่า 5 เท่าและเร็วกว่า 2 เท่า หากความแม่นยำลดลงต่ำกว่า 95% การตัดสินใจอัปเกรดเป็น Sonnet จะดำเนินการโดยอัตโนมัติ

รุ่นทรงพลัง; ผูกส่วนที่เลือกกับตัวเลข เกณฑ์ และกฎการยกระดับ สิ่งนี้ทั้งปกป้องการตัดสินใจในปัจจุบันและจัดการการเปลี่ยนแปลงในอนาคต

มินิเคสสามอัน

กรณีที่ 1 — หลีกหนีจากโมเดลที่เอาชนะได้ ศูนย์บริการทางโทรศัพท์กำลังจัดทำสรุปการสนทนาทั้งหมดกับ Opus บิลรายเดือนก็สูง ที่การประเมินตัวอย่าง 40 ตัวอย่าง Sonnet อยู่หลัง Opus 1% ในความแม่นยำ แต่มีราคาหนึ่งในสาม พวกเขาย้ายงานสรุปไปที่ Sonnet; ค่าใช้จ่ายรายเดือนลดลงจาก 9,000 ดอลลาร์เหลือ 3,100 ดอลลาร์โดยไม่มีการร้องเรียนด้านคุณภาพ

กรณีที่ 2 — การรับส่งข้อมูลแบบผสมที่มีการเปลี่ยนเส้นทาง 80% ของคำขอของทีมเทคโนโลยีด้านกฎหมายเป็นการติดแท็กเอกสารอย่างง่าย และ 20% เป็นคำขอในการวิเคราะห์สัญญาที่ซับซ้อน พวกเขาส่งพวกเขาทั้งหมดไปยังโมเดลอันทรงพลัง พวกเขาเพิ่มเราเตอร์ราคาถูกและแจกจ่ายงานง่ายๆ ให้กับไฮกุ และงานที่ซับซ้อนให้กับ Opus ต้นทุนคำขอโดยเฉลี่ยลดลง 64% ในขณะที่คุณภาพการวิเคราะห์ยังคงอยู่

กรณีที่ 3 — ค่าใช้จ่ายในการลดขนาดโดยไม่ต้องวัดผล เพื่อลดต้นทุน ทีมหนึ่งจึงลดการดึงรหัสทางการแพทย์ที่ซับซ้อนลงโดยตรงไปยังโมเดลที่รวดเร็ว พวกเขาไม่ได้ประเมิน ในการถ่ายทอดสด ความแม่นยำลดลงจาก 92% เป็น 78% ส่งผลให้เกิดการอนุมานที่ไม่ถูกต้อง พวกเขาต้องประเมินผลก่อน: งานนั้นต้องใช้โมเดลที่ทรงพลัง บทเรียน: ทั้งการลดและระดับความสูงทำได้โดยการวัด

ข้อผิดพลาดทั่วไป

• การสะท้อนกลับ "แบบจำลองที่แข็งแกร่งที่สุด": สิ้นเปลืองและความล่าช้าโดยไม่จำเป็นในงานง่ายๆ
• การเปลี่ยนแบบจำลองโดยไม่ต้องวัด: ทั้งการย่อและขยายมีความเสี่ยงหากไม่มีการประเมิน
• การล็อคให้เป็นโมเดลเดียว: การกำหนดเส้นทางในการรับส่งข้อมูลแบบผสมมักจะมีประสิทธิภาพมากกว่า
• มักเข้าใจผิดว่าเราเตอร์เป็น LLM: กฎง่ายๆ สามารถทำงานได้โดยไม่มีค่าใช้จ่าย
• ไม่ตั้งค่าเกณฑ์บูสต์: จะเกิดอะไรขึ้นหากควรกำหนดความแม่นยำที่ลดลงล่วงหน้า
• ไม่แก้ไขเวอร์ชันของโมเดล: บันทึกว่าโมเดล/เวอร์ชันใดที่คุณกำลังดำเนินการในการผลิต การเปลี่ยนแปลงเวอร์ชันอาจทำให้พฤติกรรมเปลี่ยนไป

เจาะลึก: การประเมินอย่างต่อเนื่องและการทดลองใช้แบบค่อยเป็นค่อยไป

การเลือกรุ่นไม่ใช่การตัดสินใจเพียงครั้งเดียว ผู้ให้บริการแนะนำโมเดลใหม่ ราคาเปลี่ยนแปลง รายละเอียดงานของคุณเปลี่ยนแปลงไป ดังนั้นให้ตั้งค่าคลัสเตอร์ eval หนึ่งครั้งและอย่าลืม ถือมันไว้เหมือนสิ่งมีชีวิต เมื่อมีโมเดลใหม่ออกมา คุณจะเรียกใช้ตัวอย่างเดิม 20-50 ตัวอย่าง อัปเดตตาราง และทำการตัดสินใจอีกครั้ง สิ่งนี้จะช่วยปกป้องคุณจากกับดัก "สัญชาตญาณการเปลี่ยนรูปแบบ"

เทคนิคขั้นสูงที่สองคือรูปแบบทางเลือก/แบบเรียงซ้อน คุณมอบงานให้กับโมเดลราคาถูกก่อน หากเอาต์พุตมีความเชื่อมั่นต่ำหรือเลเยอร์การตรวจสอบ (หน่วยที่ 11) ปฏิเสธ คุณจะยกระดับคำขอเดียวกัน ดังนั้นการรับส่งข้อมูลส่วนใหญ่จึงได้รับการแก้ไขในรุ่นราคาถูก โดยมีเพียงส่วนน้อยที่เหลือเท่านั้นที่ไปยังรุ่นราคาแพง ซึ่งมีราคาถูกกว่าและทนทานกว่าแนวทางรุ่นเดียวแบบตายตัว

ประเด็นที่สามคือการประเมินไม่เพียงแต่รวมถึงความแม่นยำเท่านั้น แต่ยังรวมถึงต้นทุนและเวลาแฝงด้วย หากแบบจำลองมีความแม่นยำมากขึ้น 1% แต่มีราคาแพงกว่า 3 เท่าและช้ากว่า 2 เท่า ข้อดีข้อเสียนี้ไม่คุ้มกับงานส่วนใหญ่ ตัดสินใจโดยใช้สามแกน (ความแม่นยำ ต้นทุน เวลาแฝง) และกำหนด “เกณฑ์ความเพียงพอ”: “หากความแม่นยำมากกว่า 95% ให้เลือกสิ่งที่ถูกที่สุด”

สุดท้าย ให้บันทึกรุ่น/เวอร์ชันที่คุณใช้ในการผลิต หากวันหนึ่งคุณภาพผลงานเปลี่ยนแปลง สิ่งแรกที่คุณจะต้องพิจารณาคือเวอร์ชันของโมเดลมีการเปลี่ยนแปลงหรือไม่ การติดตามเวอร์ชันช่วยให้ค้นหาสาเหตุของปัญหาด้านคุณภาพได้เร็วขึ้น

ข้อแม้อีกประการหนึ่ง: คลัสเตอร์ eval ควรแสดงถึงปริมาณงานจริงของคุณ การประเมินที่ประกอบด้วยตัวอย่างง่ายๆ เท่านั้นจะซ่อนส่วนที่แบบจำลองสะดุดในกรณีที่ยากลำบากและหลอกให้คุณมั่นใจแบบผิดๆ การประเมินที่ดี ประกอบด้วยตัวอย่างง่ายๆ ทั่วไปและกรณีมุมที่คุณพบในความเป็นจริง (ข้อมูลที่คลุมเครือ ไม่สมบูรณ์ และขัดแย้งกัน) ส่วนน้อยที่ยากลำบากนี้จะเป็นตัวกำหนดตัวเลือกโมเดลของคุณ เพราะทุกรุ่นจะประสบความสำเร็จในโมเดลส่วนใหญ่อย่างง่ายอยู่แล้ว ทำให้ Eval ของคุณสดใหม่และเป็นตัวแทนอยู่เสมอโดยป้อนตัวอย่างจริงใหม่ๆ เป็นระยะๆ

โดยสรุป

รุ่นที่เหมาะสมคือรุ่นที่เบาที่สุดที่ทำให้งานเสร็จ มีพลังมากกว่าไม่ได้ดีกว่าในทุกงาน แค่มีราคาแพงกว่าและช้าลงเท่านั้น การจัดประเภทงานและเริ่มจากผู้สมัครที่เบาที่สุด กระจายการรับส่งข้อมูลแบบผสมด้วยการกำหนดเส้นทาง และยืนยันการเลือกด้วยชุดการประเมินขนาดเล็ก ช่วยลดต้นทุนได้หลายครั้งในขณะที่ยังคงรักษาคุณภาพไว้

งานสมัคร

เลือกปริมาณงาน (1) จำแนกงานเป็นแบบง่าย/ซับซ้อน (2) ออกแบบชุดประเมินขนาดเล็กจากตัวอย่างจริงจำนวน 20 ตัวอย่าง (พร้อมคำตอบที่ถูกต้อง) (3) จัดทำแผนเพื่อเติมตารางเปรียบเทียบความแม่นยำ/ต้นทุน/เวลา สำหรับโมเดลทั้งสามคลาส (4) หากคุณมีการรับส่งข้อมูลแบบผสม ให้เขียนกฎการกำหนดเส้นทางและกำหนดเกณฑ์การยกระดับ

รายการตรวจสอบ

• [ ] ฉันสามารถเปรียบเทียบกลุ่มโมเดลตามแกนความสามารถ/ความเร็ว/ต้นทุนได้
• [ ] ฉันสามารถใช้หลักการ "แบบจำลองที่ประสบความสำเร็จน้อยที่สุด" ได้
• [ ] ฉันสามารถตั้งค่าการกำหนดเส้นทางแบบจำลองตามความซับซ้อนของงานได้
• [ ] ด้วยการประเมินชุดเล็กๆ ฉันสามารถผูกส่วนที่เลือกไว้กับหลักฐานได้
• [ ] ฉันสามารถกำหนดเกณฑ์การอัพเกรด/ลดระดับได้