ตรรกะการกำหนดราคา: เศรษฐกิจโทเค็นและความสมดุลด้านต้นทุนและคุณภาพ

กำไร:

• ความสามารถในการอ่านราคาโทเค็นอินพุต/เอาต์พุตและรายการใบแจ้งหนี้
• ความสามารถในการประมาณต้นทุนรายเดือนของเวิร์กโฟลว์ด้วยสูตรคร่าวๆ
• การใช้วิธีการลดต้นทุน เช่น การแคช การประมวลผลเป็นชุด และการจัดเตรียมโมเดล

ความสามารถในการประเมินว่าโมเดลจะมีค่าใช้จ่ายเท่าไรถือเป็นทักษะเชิงปฏิบัติมากที่สุดอย่างหนึ่งของผู้มีอำนาจตัดสินใจ “ฉันจ่ายรายเดือนเท่าไหร่?” หากคุณไม่สามารถตอบคำถามได้ คุณจะไม่สามารถวางแผนงบประมาณหรือเลือกระดับที่เหมาะสมได้ ข่าวดีก็คือการกำหนดราคานั้นง่ายกว่าที่คิด และเมื่อคุณเข้าใจแล้ว คุณสามารถประมาณการคร่าวๆ ได้ด้วยตัวเอง ในหน่วยนี้ คุณจะได้เรียนรู้วิธีอ่านราคาโทเค็นอินพุต/เอาท์พุต ประมาณการต้นทุนรายเดือนของเวิร์กโฟลว์ด้วยสูตรง่ายๆ และวิธีการลดต้นทุนได้จริง

หลักทั่วไป: อินพุตและเอาต์พุตมีราคาแยกต่างหาก

ในโมเดลน้ำหนักปิด ราคาจะคำนวณตามจำนวนโทเค็นที่ประมวลผล และมีสองรายการแยกกัน:

• โทเค็นอินพุต (อินพุต): ข้อความที่คุณส่งไปยังโมเดล การแจ้งเตือนของคุณ เอกสารของคุณ ตัวอย่างของคุณ
• โทเค็นเอาต์พุต: คำตอบที่โมเดลสร้างขึ้นสำหรับคุณ

จุดวิกฤติ: โทเค็นเอาต์พุตมักจะมีราคาแพงกว่าโทเค็นอินพุตหลายเท่า นี่เป็นเพราะว่าโมเดลในการผลิตเอาท์พุตมีค่าใช้จ่ายสูงกว่าในการคำนวณ ตัวอย่างเช่น ในโมเดลหนึ่ง อินพุตอาจเป็น 3 ดอลลาร์ต่อโทเค็นหนึ่งล้าน ในขณะที่เอาต์พุตอาจเป็น 15 ดอลลาร์ ดังนั้นผลผลิตจึงแพงกว่าห้าเท่า ซึ่งหมายความว่าคำตอบที่ยาวและไม่จำเป็นอาจทำให้เปลืองงบประมาณได้อย่างรวดเร็ว

เคล็ดลับ: หนึ่งในวิธีที่ง่ายที่สุดในการลดต้นทุนคือการไม่ถามโมเดลสำหรับคำตอบที่ยาวโดยไม่จำเป็น ข้อจำกัด เช่น "สูงสุด 5 บทความ" "ย่อหน้าเดียว" "ส่งออกเฉพาะตาราง" จะเพิ่มคุณภาพและบันทึกโทเค็นเอาต์พุต

ตัวอย่างราคาปัจจุบัน

ด้านล่างนี้คือราคาโดยประมาณของหลายรุ่น (ต่อล้านโทเค็น ดอลลาร์สหรัฐ) ค่าเหล่านี้เป็นของช่วงเวลาที่โมดูลนี้จัดทำและเปลี่ยนแปลงบ่อยครั้ง ตรวจสอบหน้าราคาปัจจุบันของผู้ให้บริการเพื่อดูการตัดสินใจที่แน่นอน

รุ่น

เวที

ป้อน $/1M

เอาท์พุต $/1M

คลอดด์บทประพันธ์ 4.8

แข็งแรง

~5

~25

คล็อด ซอนเน็ต 5

สมดุล

~3

~15

คล็อด ไฮกุ 4.5

น้ำหนักเบา

~1

~5

ตามที่เห็นในตาราง อาจมีความแตกต่างของราคาได้ถึงห้าเท่าระหว่างระดับที่แข็งแกร่งและระดับเบา นั่นเป็นสาเหตุที่แนวทาง "โมเดลที่เหมาะสมที่สุดสำหรับทุกธุรกิจ" มักจะเป็นการสิ้นเปลืองเงิน การทำงานง่ายๆ ด้วยโมเดลราคาถูกและงานยากด้วยโมเดลอันทรงพลัง จะช่วยประหยัดได้มากโดยไม่สูญเสียคุณภาพ เราจะทำให้แนวคิดนี้ลึกซึ้งยิ่งขึ้นในหน่วยที่ 7 และ 9

การประมาณต้นทุนรายเดือน: สูตรง่ายๆ

สำหรับการประมาณการต้นทุนรายเดือนคร่าวๆ คุณสามารถใช้สูตรนี้ได้:

ต้นทุนรายเดือน µ (จำนวนคำขอต่อเดือน × โทเค็นอินพุตเฉลี่ย × ราคาอินพุต / 1,000,000)+ (จำนวนคำขอต่อเดือน × โทเค็นเอาต์พุตเฉลี่ย × ราคาเอาต์พุต / 1,000,000)

ลองใช้ตัวอย่างกัน สมมติว่าทีมอีคอมเมิร์ซสร้างคำอธิบายผลิตภัณฑ์ 50,000 รายการต่อเดือน คำขอแต่ละรายการจะส่งโทเค็นอินพุต (ข้อมูลผลิตภัณฑ์) โดยเฉลี่ย 500 โทเค็น และรับเอาต์พุต 300 โทเค็น (คำอธิบาย) ในโมเดลที่สมดุล (อินพุต ~3, เอาต์พุต ~15):

• ต้นทุนอินพุต: 50,000 × 500 × 3 / 1,000,000 = 75 ดอลลาร์
• ต้นทุนผลผลิต: 50,000 × 300 × 15 / 1,000,000 = 225 เหรียญสหรัฐ
• รวม อยู่ที่ $300/เดือน

หากพวกเขาทำงานเดียวกันในโมเดลน้ำหนักเบา (อินพุต ~1, เอาต์พุต ~5):

• อินพุต: 50,000 × 500 × 1 / 1,000,000 = 25 ดอลลาร์
• ผลลัพธ์: 50,000 × 300 × 5 / 1,000,000 = 75 ดอลลาร์
• รวม อยู่ที่ 100 เหรียญสหรัฐฯ/เดือน

ดังนั้นการเลือกขั้นก็สามารถลดงานเดิมจาก 300 ดอลลาร์เหลือ 100 ดอลลาร์ได้ สำหรับงานที่ค่อนข้างง่าย เช่น รายละเอียดสินค้า โมเดลน้ำหนักเบามักจะเพียงพอแล้ว

ข้อควรระวัง: สูตรนี้เป็นค่าประมาณคร่าวๆ การเรียกเก็บเงินจริงจะแตกต่างกันไปตามปัจจัยต่างๆ เช่น การใช้แคช การลองใหม่ และโหมดการใช้เหตุผล อย่างไรก็ตาม ถือเป็นการเริ่มต้นที่ดีในการยืนยันงบประมาณหรือเปรียบเทียบสองรุ่น ทางที่ดีควรวัดจำนวนจริงกับนักบินตัวน้อยก่อนตัดสินใจ

ห้าวิธีในการลดต้นทุน

1. เลือกระดับที่เหมาะสม รุ่นเรียบง่ายน้ำหนักเบา นี่คือแหล่งเงินออมที่ใหญ่ที่สุดแหล่งเดียว
2. ทำให้อินพุตมีขนาดเล็กลง แทนที่จะกรอกเอกสารจำนวนมากสำหรับแต่ละคำขอ ให้ส่งเฉพาะส่วนที่เกี่ยวข้อง (การปรับบริบทให้เหมาะสมในหน่วยที่ 5)
3. จำกัดเอาท์พุท ชี้แจงความยาวและรูปแบบของคำตอบ คำตอบยาวเกินความจำเป็น = ต้นทุนที่ไม่จำเป็น
4. ใช้แคช Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. ซึ่งจะช่วยประหยัดได้มากหากคุณส่งคำสั่งขนาดใหญ่เหมือนเดิมหลายพันครั้ง
5. ดำเนินการประมวลผลเป็นชุด หากคุณไม่รีบร้อน ตัวเลือก "เป็นกลุ่ม" ซึ่งส่งคำขอจำนวนมากจำนวนมากและดำเนินการโดยมีส่วนลดจะช่วยลดต้นทุนได้อย่างมาก

สามกรณีที่สมจริง

กรณีที่ 1 — ออมทรัพย์พร้อมเปลี่ยนขั้นตอน ทีมบริการลูกค้ากำลังสรุปอีเมลขาเข้าทั้งหมดด้วยรูปแบบที่แข็งแกร่งที่สุด และการเรียกเก็บเงินรายเดือนของพวกเขาอยู่ที่ ~$900 การสรุปเป็นงานง่ายๆ เมื่อพวกเขาย้ายไปยังระดับที่สมดุล คุณภาพผลผลิตยังคงเกือบเท่าเดิม แต่ใบเรียกเก็บเงินลดลงเหลือ ~$250 ประหยัดเงิน ~$7,800 ต่อปี เพียงเลือกระดับที่เหมาะสม

กรณีที่ 2 — บันทึกด้วยแคช ทีมซอฟต์แวร์ได้ส่งเอกสาร “มาตรฐานการเข้ารหัส” โทเค็นจำนวน 8,000 โทเค็นเดียวกันกับคำขอตรวจสอบโค้ดทุกครั้ง 400 คำขอต่อวัน × 8,000 โทเค็น = อินพุตซ้ำจำนวนมาก เมื่อเปิดใช้งานคุณสมบัติแคชพาร์ติชันแบบคงที่นี้จะเริ่มอ่านได้ราคาถูกกว่ามากและต้นทุนอินพุตส่วนสำคัญก็หายไป

กรณีที่ 3 — ประหยัดโดยการจำกัดเอาท์พุต เมื่อทีมการตลาดขอคำอธิบายผลิตภัณฑ์ โมเดลจะสร้างย่อหน้าที่ยาวและมีดอกไม้ในแต่ละครั้ง เมื่อพวกเขาเพิ่มข้อจำกัด "สูงสุด 60 คำ ย่อหน้าเดียว" คำอธิบายก็มีประโยชน์มากขึ้น และโทเค็นเอาต์พุตก็ลดลงครึ่งหนึ่ง ในขณะที่คุณภาพเพิ่มขึ้น ต้นทุนก็ลดลง ชนะ-ชนะ

พรอมต์ที่อ่อนแอ / พรอมต์ที่แข็งแกร่ง

พรอมต์ที่อ่อนแอ:

เขียนคำอธิบายที่ดีสำหรับผลิตภัณฑ์นี้ให้ฉัน [ข้อมูลผลิตภัณฑ์]

โมเดลสามารถเขียนได้นานเท่าที่ต้องการ โทเค็นเอาต์พุตไม่มีการควบคุม

พรอมต์อันทรงพลัง:

บทบาทของคุณ: นักเขียนคำโฆษณาอีคอมเมิร์ซ สินค้า: [ข้อมูล]. งาน: เขียนคำอธิบายผลิตภัณฑ์ ข้อจำกัด: ความยาวสูงสุด 60 คำในหนึ่งย่อหน้า ดึงดูดลูกค้าที่ไม่ใช่ด้านเทคนิค มีข้อดี 2 ประการ + กรณีการใช้งาน 1 กรณี หลีกเลี่ยงคำคุณศัพท์แฟนซี

พรอมต์ที่มีประสิทธิภาพจะควบคุมทั้งคุณภาพและความยาวเอาต์พุต (และต้นทุนด้วย)

เทมเพลตที่คัดลอกได้

1. ประมาณการต้นทุนรายเดือน:

ฉันส่งคำขอ [QUANTITY] รายการทุกเดือน โทเค็นอินพุตเฉลี่ย ~[NUM] โทเค็นเอาต์พุต ~[NUM] โทเค็น คำนวณต้นทุนรายเดือนสำหรับรุ่นต่อไปนี้ ([MODEL A], [MODEL B]) ด้วยสูตรและเปรียบเทียบในตาราง ยอมรับราคาอินพุต/เอาต์พุต [PRICES]

การเปรียบเทียบระดับ 2:

หน้าที่ของฉัน [งาน] งานนี้ต้องการโมเดลที่ทรงพลังจริงๆ หรือโมเดลน้ำหนักเบา/สมดุลเพียงพอหรือไม่ ประเมินทั้งในด้านคุณภาพและราคาและแนะนำ 2 ระดับให้ฉันทดสอบนำร่อง

3. การคัดกรองการลดต้นทุน:

ระบุวิธีลดต้นทุนในขั้นตอนการทำงานต่อไปนี้: [เวิร์กโฟลว์] เขียนความเป็นไปได้และการประหยัดโดยประมาณสำหรับแต่ละคาสเคด การลดอินพุต ขอบเขตเอาต์พุต แคช และส่วนหัวการประมวลผลแบบแบตช์

4. ข้อ จำกัด เอาท์พุต:

เขียนพรอมต์ต่อไปนี้ใหม่เพื่อลดโทเค็นเอาต์พุตโดยไม่ลดคุณภาพ: "[PROMPT]" ปรับให้เหมาะสมสำหรับความยาว รูปแบบ และการซ้ำซ้อนที่ไม่จำเป็น

ข้อผิดพลาดทั่วไป

• การข้ามความแตกต่างของอินพุต/เอาท์พุต: การยอมให้ตอบยาวๆ โดยไม่รู้ว่าเอาท์พุตมีราคาแพงกว่ามาก
• โมเดลที่ทรงพลังที่สุดสำหรับทุกงาน: ทำงานง่ายๆ ด้วยโมเดลราคาแพงและจ่ายแพงกว่าหลายเท่าโดยไม่จำเป็น
• การปล่อยความยาวเอาต์พุต: ให้สิทธิ์ในการเขียนแบบไม่จำกัดแก่โมเดล โดยไม่ต้องกำหนดรูปแบบหรือข้อจำกัดความยาวใดๆ
• การละเว้นแคชและแบตช์: พลาดโอกาสในการประหยัดที่สำคัญสำหรับการป้อนข้อมูลซ้ำๆ และงานที่ไม่เร่งด่วน
• คิดว่าราคาเป็นปัจจุบัน อาศัยตารางราคาเก่า และวางแผนงบประมาณไม่ถูกต้อง ราคาเปลี่ยนแปลงบ่อยครั้ง

โดยสรุป

• ราคาจะคำนวณตามโทเค็น อินพุตและเอาต์พุตมีราคาแยกต่างหาก และเอาต์พุตมักจะมีราคาแพงกว่าหลายเท่า
• คุณสามารถประมาณค่าใช้จ่ายรายเดือนโดยประมาณตามสูตรจำนวนคำขอ × โทเค็นเฉลี่ย × ราคา
• การเลือกขั้นตอนที่ถูกต้องเพียงอย่างเดียวสามารถลดต้นทุนได้หลายเท่า
• การจำกัดอินพุต การจำกัดเอาต์พุต การแคช และการประมวลผลเป็นชุดเป็นวิธีการปฏิบัติที่ช่วยลดค่าใช้จ่ายได้อย่างมาก

งานสมัคร

รับค่าโทเค็นที่คุณประมาณไว้ในหน่วยก่อนหน้า ให้คำนวณต้นทุนรายเดือนของธุรกิจของคุณในสองระดับที่แตกต่างกันด้วยเทมเพลต 1 ในหน่วยนี้ (ประมาณการต้นทุนรายเดือน) จากนั้น ใช้เทมเพลตที่ 3 (การสแกนการลดต้นทุน) เพื่อสรุปว่าแต่ละวิธีสามารถช่วยขั้นตอนการทำงานของคุณได้มากเพียงใด วางแผนเลือกวิธีที่มีแนวโน้มดีที่สุดสองวิธีและนำไปใช้กับงบประมาณของเดือนถัดไป

รายการตรวจสอบ

• [ ] ฉันรู้ว่าโทเค็นอินพุตและเอาต์พุตมีราคาแยกกัน และเอาต์พุตมีราคาแพงกว่า
• [ ] ฉันสามารถประมาณค่าใช้จ่ายรายเดือนของขั้นตอนการทำงานโดยประมาณได้ด้วยสูตรง่ายๆ
• [ ] ฉันสามารถแสดงผลกระทบต่อต้นทุนของการเลือกระดับที่เหมาะสมด้วยตัวอย่างได้
• [ ] ฉันสามารถจดจำวิธีการลดต้นทุนได้ห้าวิธีและเลือกวิธีที่เหมาะสม
• [ ] ฉันสามารถเขียนพรอมต์ใหม่เพื่อลดโทเค็นเอาต์พุตได้