ዥረት እና ረጅም ምላሾች

ትርፍ፡

• ዥረት ምን እንደሆነ፣ የክስተት አይነቶች እና ለምን እንደሚያስፈልግ ማብራራት ይችላል።
• max_tokens የጊዜ ማብቂያ እና 128K ረጅም የውጤት ግንኙነትን ይይዛል
• እንደ የስራ ጫና መጠን በዥረት እና በማይለቀቁ ጥያቄዎች መካከል ትክክለኛውን ምርጫ ማድረግ ይችላል።

በቻት በይነገጽ ምላሹ በቃላት "የተተየበ" መሆኑን አስተውለህ ይሆናል። ይህ የእይታ ማበብ አይደለም; ዥረት ተብሎ የሚጠራው ዘዴ ውጤት ሲሆን ብዙውን ጊዜ ለምርት ጥራት ያለው LLM ውህደት ግዴታ ነው. በዚህ ክፍል ውስጥ ፍሰቱ ምን እንደሆነ፣ ምን አይነት ክስተቶችን እንደሚያካትት፣ ከረዥም ጊዜ ውፅዓት እና ጊዜ ማብቂያ ጋር ያለውን ግንኙነት እና ፍሰት መቼ እንደሚጠቀሙ እና መቼ እንደማይጠቀሙ ይማራሉ። ርዕሱን በባለሙያ እውነተኛ ተግባራት በኩል እንሸፍናለን - የቀጥታ ረዳት ፣ ረጅም ሪፖርት ማመንጨት ፣ የቡድን ማቀነባበሪያ።

ፍሰት ምንድን ነው?

በማይለቀቅ (የተመሳሰለ) ጥያቄ, ሞዴሉ ሙሉውን ምላሽ እስኪያገኝ ድረስ ይጠብቃሉ; መልሱ ዝግጁ ሲሆን, በአንድ ቁራጭ ውስጥ ይደርሳል. በዥረት መልቀቅ ጥያቄ አገልጋዩ ሞዴሉ ሲያመነጭ የምላሹን ክፍል በክፍል ይልካል። በቴክኒክ፣ ይህ የሚደረገው በአገልጋይ በተላኩ ሁነቶች ነው (ኤስኤስኢ — አገልጋይ የተላኩ ክስተቶች፣ አገልጋዩ ትንንሽ ክስተቶችን በተከታታይ ክፍት በሆነ ግንኙነት የሚልክበት ዘዴ)።

ልዩነቱ በተጠቃሚው ልምድ ውስጥ ግልጽ ይሆናል: 8 ሰከንድ በሚወስድ ምላሽ, ዥረት ያልሆነ ተጠቃሚ ለ 8 ሰከንድ ባዶ ማያ ገጽ ላይ ይመለከታል; የዥረት ተጠቃሚው የመጀመሪያዎቹን ቃላት በ ~ 0.5 ሰከንድ ውስጥ ያያል እና ጽሑፉ መፍሰስ ይጀምራል። የታሰበ መዘግየት—ተጠቃሚው የሚሰማው መጠበቅ—በጣም ቀንሷል፣ አጠቃላይ ጊዜው ሳይለወጥ ይቀራል።

የዝግጅት ዓይነቶች ፍሰት

ፍሰት የክስተቶች ቅደም ተከተል ነው። በፅንሰ-ሀሳብ ፣ የተለመደው ፍሰት እንደሚከተለው ነው-

ክስተት

ትርጉም

መልእክት_ጀምር

ምላሹ ተጀመረ; እንደ ሞዴል እና መታወቂያ ያሉ የራስጌ መረጃ ደርሷል።

የይዘት_አግድ_ጅምር

የይዘት እገዳ (ለምሳሌ ጽሑፍ) ተጀምሯል።

የይዘት_አግድ_ዴልታ

አንድ ትንሽ ጽሑፍ (ዴልታ) መጣ; እነዚህን ትሰበስባለህ

የይዘት_ማገድ_ማቆሚያ

እገዳ ተጠናቅቋል

መልእክት_ዴልታ

እንደ stop_reason እና አጠቃቀም ያለ የማብቂያ መረጃ ተዘምኗል

መልእክት_ማቆም

መልስ ጨርሷል

ኮድዎ በቅደም ተከተል በይዘት_ብሎክ_ዴልታ ክስተቶች ውስጥ የጽሑፍ ቁርጥራጮችን ያጣምራል። ያልተለቀቀው ምላሽ ተመሳሳይ ትክክለኛ ጽሑፍ ይጨርሳሉ። የአጠቃቀም (የማስመሰያ ቁጥሮች) ብዙውን ጊዜ በፍሰቱ መጨረሻ ላይ ግልጽ ናቸው - ፍሰቱ ካለቀ በኋላ ወጪዎችን ይከታተላሉ።

ጠቃሚ ምክር፡ አብዛኞቹ ኦፊሴላዊ ኤስዲኬዎች (የሶፍትዌር ማበልጸጊያ መሣሪያ — የአቅራቢው ዝግጁ ቤተ-መጽሐፍት) ዥረቱን ለእርስዎ የሚሰበስብ ረዳት ይሰጡዎታል (ለምሳሌ stream.get_final_message())። ሁሉንም ትራኮች በእጅ ማስተዳደር አያስፈልግዎትም; ሙሉውን ጽሑፍ ከፈለጉ ይህን ረዳት ይጠቀሙ፣ የግለሰብ ክስተቶችን ያስኬዱ ነገር ግን ለቀጥታ ህትመት።

ረጅም ምላሾች፣ ከፍተኛው_ቶከኖች እና ጊዜው አብቅቷል።

ሁለተኛው እና የበለጠ ቴክኒካል የዥረት መልቀቅ ምክንያት ጊዜው አልቋል። የኤችቲቲፒ ጥያቄ በተወሰነ ጊዜ ውስጥ ካልተጠናቀቀ ደንበኛው ግንኙነቱን ይጥላል። ከአምሳያው ላይ ትልቅ ውፅዓት ሲጠይቁ (ለምሳሌ የ 40,000 ቶከኖች ሪፖርት) ፍሰት ያልሆነ ጥሪ ከዚህ ገደብ እና ጊዜ ሊያልፍ ይችላል - ጥያቄው አይሳካም እና ለተፈጠሩት ቶከኖች መክፈል ይኖርብዎታል።

ዘመናዊ ሞዴሎች በአንድ ጥያቄ ውስጥ እስከ 128,000 ቶከኖችን ማውጣት ይችላሉ. ነገር ግን ዋናው ደንብ ግልጽ ነው፡ የ`ከፍተኛው_ቶከኖች` ዋጋ ከፍ ያለ ከሆነ (ከ16,000 በላይ ገደማ) ዥረቶችን ይጠቀሙ። ዥረት ግንኙነቱን ህያው ያደርገዋል እና የጊዜ ማብቂያዎችን ይከላከላል; እንዲሁም እድገትን ወዲያውኑ ያያሉ።

• `max_tokens`፡ ሞዴሉ ሊያመጣ የሚችለው ከፍተኛ የውጤት ማስመሰያዎች፤ ጠንካራ ጣሪያ. ማቋረጥ ከተፈጠረ፣ stop_reason max_tokens ይመለሳል።
• የአውድ መስኮት፡ የግብዓት + ውፅዓት ድምር የሚመጥንበት መስኮት። max_tokens የውጤቱ ጣሪያ ነው; ሁለቱን አትቀላቅሉ.

ማስጠንቀቂያ፡- ወራጅ ያልሆኑ ጥያቄዎችን በትልልቅ ማክስ_ቶከኖች መወርወር በአምራችነት ውስጥ የተለመደ ስህተት ነው። ምላሽ ከሌለ ግንኙነቱ ይወድቃል, ተጠቃሚው ስህተት ያያል, እና የማስመሰያው ዋጋ ይባክናል. ረጅም ውፅዓት = ዥረት.

መቼ እንደሚፈስ እና መቼ አይደለም?

ሁኔታ

ምርጫ

ለምን?

የቀጥታ ውይይት / ረዳት

ፍሰት

የተገነዘበ የቆይታ ጊዜ ይቀንሳል፣ ተጠቃሚው ግስጋሴን ይመለከታል

ረጅም ሪፖርት / ሰነድ ምርት

ፍሰት

የጊዜ ማብቂያን ይከላከላል፣ ትልቅ ምርትን በአስተማማኝ ሁኔታ ያከናውናል።

አጭር ምደባ (ለምሳሌ ነጠላ ቃል መለያ)

ምንም ፍሰት የለም

ውጤቱ ቀድሞውኑ ትንሽ ነው; ተጨማሪ ውስብስብነት አላስፈላጊ

ባች ማቀነባበሪያ

ፍሰት የሌለው / ባች

ውጤቶቹ በቅጽበት አይታዩም; ክፍል 7ን ተመልከት

ራስ-ሰር እርምጃ (በስተጀርባ)

አብዛኛውን ጊዜ ምንም ፍሰት የለም

ውጤቱን ወደሚቀጥለው ደረጃ ያስተላልፉታል, ምንም የቀጥታ ማሳያ የለም

ሊገለበጥ የሚችል ፈጣን/አብነቶች

ዥረቱ ራሱ ፈጣን አይደለም፣ ነገር ግን መጠየቂያዎች በዥረቱ የተፈጠረውን ውጤት ለመቆጣጠር ወሳኝ ናቸው። በረጅም እና ወራጅ ምርቶች ውስጥ, አወቃቀሩን ከፊት መጫን ሁለቱንም ጥራት እና ክትትል ይጨምራል.

# ረጅሙን ሪፖርቱን በክፍሎች ይከፋፍሉት (እድገቱ በፍሰቱ ውስጥ እንዲታይ) ሪፖርቱን በሚከተለው አርእስት ይፃፉ፣ በዚህ ቅደም ተከተል። እያንዳንዱን ርዕስ በ'##' ይጀምሩ:## ማጠቃለያ## ግኝቶች## ምክሮች## በሚቀጥሉት ደረጃዎች

# በረጅም ጊዜ ምርት ውስጥ መቆራረጥን ለማስወገድ የታለመውን ርዝመት ይስጡ ። አጠቃላይ ጽሑፉ በግምት 800 ቃላት ይሆናል። ክፍሎቹን ሚዛን ይጠብቁ; መጨረሻ ላይ ግማሽ ዓረፍተ ነገር አትተዉ።

# ለዥረት ረዳቱ የመጀመሪያውን ዓረፍተ ነገር ወዲያውኑ ይስጡ። መጀመሪያ ቀጥተኛ የአንድ ዓረፍተ ነገር መልስ ይስጡ እና ከዚያ ወደ ዝርዝር ሁኔታ ይሂዱ። ስለዚህ ተጠቃሚው በመጠባበቅ ላይ እያለ ፈጣን ውጤትን ይመለከታል.

# ረጅሙን ውፅዓት እንዲዋቀር ያቆዩት (በኋላ ሊተነተን ይችላል) ውጤቱን በእነዚህ ክፍሎች ውስጥ አውጥተው እያንዳንዱን ክፍል በተለየ '###' አርዕስት ምልክት በማድረግ በፕሮግራማዊ መንገድ መተንተን እችላለሁ፡ ### መግቢያ ### አካል ### ምንጮች

ደካማ ፈጣን / ጠንካራ ፈጣን (ረጅም ምርት)

በዚህ ርዕስ ላይ ረጅም እና ዝርዝር ዘገባ አዘጋጅተናል።

# STRONG በዚህ ርዕስ ላይ ወደ 900 የሚጠጉ ቃላትን ሪፖርት ይጻፉ። ርእሶች፡ ## ማጠቃለያ፣ ## ትንታኔ፣ ## አደጋዎች፣ ## ምክሮች። እያንዳንዱ ርዕስ ቢበዛ 3 አንቀጾች መሆን አለበት። መጨረሻ ላይ ግማሽ ዓረፍተ ነገር አትተዉ።

ኃይለኛ ስሪት; ርዝመቱን, አወቃቀሩን እና የማጠናቀቂያውን ጥራት አስቀድሞ ይወስናል. ክፍሎቹ በፍሰቱ ውስጥ ሲመጡ ተጠቃሚው እድገቱን በግልፅ ያያል እና ርዝመቱን እራሱን ከአምሳያው መቋረጥ አደጋ ጋር ይቆጣጠራል።

ሶስት ሚኒ ጉዳዮች

ጉዳይ 1 - ባዶ ማያ ገጽ ቅሬታ። አንድ የአማካሪ ቡድን ደንበኛ ረዳት ያለ ፍሰት ምላሽ ነበር; አማካኝ ምላሽ 7 ሰከንድ ይወስዳል፣ ተጠቃሚዎች "ይቀዘቅዛል?" በማለት ቅሬታ አቅርቧል። ወደ ፍሰቱ ውስጥ ከገባሁ በኋላ, የመጀመሪያው ቃል በ ~ 0.6 ሰከንድ ውስጥ መጣ; ጠቅላላ ጊዜ አንድ አይነት ሆኖ ቆይቷል፣ ነገር ግን "ቀርፋፋ" ቅሬታዎች ሊጠፉ ተቃርበዋል።

ጉዳይ 2 - ጊዜው ያለፈበት ሪፖርት. አንድ የፋይናንስ ቡድን ባለ 30 ገጽ ሩብ ሪፖርት አዘጋጅቶ ነበር; በ max_tokens፡ 30000፣ ፍሰት አልባ ጥያቄው በ60 ሰከንድ የደንበኛ ጊዜ ማብቂያ ላይ ተጣብቆ ይቆያል፣ ጥያቄው አይሳካም - እና የተፈጠሩት ቶከኖች ወደ ደረሰኝ ይፃፋሉ። እነሱ ፍሰት ጋር ሄዱ; ግንኙነቱ በቀጥታ ቀጥሏል, ሪፖርቱ ሙሉ በሙሉ ቀርቧል, እና የሚባክኑ ወጪዎች ተወግደዋል.

ጉዳይ 3 - አላስፈላጊ ፍሰት. አንድ የኦፕሬሽን ቡድን ገቢ ኢሜይሎችን እንደ "አስቸኳይ/መደበኛ" የሚል ምልክት እየሰጠ ነበር፤ ውጤቱ አንድ ቃል ነበር, ግን በተለምዶ ፍሰትን ይጠቀማሉ. ፍሰቱ በአንድ ቃል ምላሽ ውስጥ ምንም ጥቅም አልሰጠም, ይህም ኮዱን ሳያስፈልግ ውስብስብ ያደርገዋል. ወደ ወራጅ አልባነት ስቀየር ኮዱ ቀለሉ እና ባህሪው እንዳለ ቀረ። ትምህርት፡ ዥረት ዋጋ ያለው በረዥም/በቀጥታ ውፅዓት እንጂ በሁሉም ቦታ አይደለም።

የተለመዱ ስህተቶች

• በረጅም ውፅዓት ዥረቶችን አለመጠቀም፡ ጊዜው አልፎበታል እና የሚባክን የማስመሰያ ዋጋ።
• ዥረትን በአጭር ውፅዓት መጠቀም፡- አላስፈላጊ ውስብስብነት፣ ዜሮ ጥቅም።
• በዥረቱ መጨረሻ ላይ `የማቆም_ምክንያት'ን አለመፈተሽ፡ ከከፍተኛው_ቶከኖች ጋር ያለው የተቆረጠ ምላሽ እንደ ተጠናቀቀ ይቆጠራል።
• ዴልታዎችን በትክክል ማዋሃድ፡ ከኤስዲኬ ረዳት ጋር በእጅ ማጠቃለል ተከታታይ/የሚጎድሉ ክፍሎች ስህተት ይፈጥራል።
• የመሃል ዥረት `አጠቃቀምን ለማንበብ መሞከር፡ የማስመሰያ ቁጥሮች ብዙውን ጊዜ መጨረሻ ላይ ግልጽ ይሆናሉ። በመጨረሻ ወጪዎችን ይከታተሉ.
• ለወጪ ቅነሳ የተሳሳተ ዥረት: ዥረት ልምድ እና ጽናትን ያሻሽላል; የማስመሰያ ዋጋን አይለውጥም.

ጥልቅ፡ የፍሰት እረፍቶች እና የመቋቋም ችሎታ

ዥረት ቀጥታ ግንኙነት ነው; ይህ ጥንካሬውም ሆነ ተጋላጭነቱ ነው። ግንኙነቱ በመሃል ላይ ከወደቀ (የአውታረ መረብ መለዋወጥ፣ የደንበኛ ጊዜ ማብቂያ)፣ እስካሁን ያከማቻሉትን ጽሁፍ ያቆያሉ፣ ነገር ግን ምላሹ ያልተሟላ ይሆናል። የምርት ጥራት ያለው ዥረት ደንበኛ ለዚህ ዝግጁ መሆን አለበት፡ ከፊል ጽሑፉን እንደ "የተሟላ ምላሽ" አድርጎ መያዝ የለበትም፣ ወይም የመልእክት_ማቆም ክስተት እስኪያይ ድረስ ምላሹ እንደተጠናቀቀ መቁጠር የለበትም።

ሁለተኛው ረቂቅነት ፍሰቱ ወጪውን አይለውጥም. በዥረት ወይም ያለዥረት ምላሽ መቀበልዎ የማስመሰያ ዋጋ ላይ ተጽዕኖ አያሳድርም። ፍሰት ልምድን እና ጽናትን ብቻ ያሻሽላል። ስለዚህ "በዥረት ከሄድን ርካሽ ይሆናሉ?" ለጥያቄው መልሱ የለም - ለዋጋ, 5 ኛ እና 6 ኛ ክፍል (የአምሳያ ምርጫ, መሸጎጫ) ይመልከቱ.

ሦስተኛው ነጥብ የተግባር ሚዛንን መምታት ነው: ከቀጥታ ረዳቶች ጋር, የመጀመሪያው ቃል በፍጥነት መድረሱ (መዘግየቱ የሚታወቅ) ከፍተኛ ዋጋ ያለው ነው; ስለዚህ, ሞዴሉን መልሱን በቀጥታ እንዲያስገባ እና መጀመሪያ አጭር ውጤት እንዲሰጥ መጠየቅ (በ 4 ኛ ክፍል ውስጥ ባለው የስርዓት ጥያቄ በኩል) የፍሰቱን ጥቅም ያበዛል. ተጠቃሚው በመጀመሪያው ሰከንድ ውስጥ አንድ ጠቃሚ ነገር ካየ, ለሚከተለው ዝርዝር ሁኔታ በትዕግስት ይጠብቃሉ. በሌላ በኩል, ፍሰቱ ከበስተጀርባ ለሚሰሩ ስራዎች ምንም አስተዋፅኦ የለውም, ውጤቱም ወደ ቀጣዩ አውቶማቲክ ደረጃ ይሄዳል; ብቸኛው መስፈርት ሥራው በትክክል እና ሙሉ በሙሉ መጠናቀቁ ነው.

በማጠቃለያው

ዥረት የምላሹን ክፍል በክፍል ሰርስሮ ያወጣል፣ የታሰበውን መዘግየት ይቀንሳል እና በትልልቅ ግብአቶች ላይ የጊዜ ማብቂያዎችን ይከላከላል። ለቀጥታ ረዳት እና ረጅም ሰነድ ማምረት ማለት ይቻላል; ለአጭር/ዳራ ስራ አላስፈላጊ ነው። በረዥም ምርቶች ውስጥ, አወቃቀሩን እና ርዝመቱን ከፊት በኩል በፍጥነት መጫን ጥራቱን እና ክትትልን ይጨምራል; ፍሰቱ ሲጠናቀቅ የማቆሚያ_ምክንያት እና አጠቃቀሙ በእርግጠኝነት ይጣራሉ።

የመተግበሪያ ተግባር

ሁለት ሁኔታዎችን ይምረጡ፡ አንድ የቀጥታ/ረዥም (ለምሳሌ ለደንበኛ ሪፖርት ያድርጉ)፣ አንድ አጭር/ዳራ (ለምሳሌ መለያ መስጠት)። (1) ለእያንዳንዱ ፍሰት እንደሚጠቀሙ ይወስኑ እና ያረጋግጡ። (2) የረጅም ስክሪፕት አወቃቀሩን የሚያስገድድ ጥያቄ ይጻፉ (ርዕሶች + የዒላማ ርዝመት)። (3) ከፍተኛውን_ቶከን እሴቶችን ይወስኑ። (4) ፍሰቱ መጨረሻ ላይ በ stop_reason እና አጠቃቀም ምን አይነት ቼኮች እንደሚሰሩ ይዘርዝሩ።

የማረጋገጫ ዝርዝር

• [] ዥረት ምን እንደሆነ እና የታሰበውን መዘግየት እንዴት እንደሚቀንስ ማብራራት እችላለሁ።
• [ ] የዥረቱ እና የዴልታ መቀላቀል መሰረታዊ የክስተት አይነቶች ተረድቻለሁ።
• [ ] በትልልቅ ማክስ_ቶከኖች የመልቀቅ አስፈላጊነት እና የጊዜ ማብቂያ ግንኙነት አውቃለሁ።
• [ ] በየትኛው የሥራ ጫና ውስጥ ዥረት እንደምጠቀም እና የማልጠቀምበትን መወሰን እችላለሁ።
• [ ] የማቆሚያ_ምክንያት እና አጠቃቀምን በዥረቱ መጨረሻ ላይ ማረጋገጥ እችላለሁ።