የቃለ መጠይቅ ጥያቄዎች እና የተዋቀረ ግምገማ

ትርፍ፡

• በአቋም-ተኮር፣ በብቃት ላይ የተመሰረተ እና የባህሪ ቃለ መጠይቅ ጥያቄዎችን የማፍለቅ ችሎታ
• ተመጣጣኝ እና ተመጣጣኝ የግምገማ መመሪያን የመፍጠር ችሎታ (rubric)
• በቃለ መጠይቅ ግምገማ ውስጥ የ AI ውስንነቶችን ይወቁ እና የሰውን ፍርድ ያቆዩ

ቃለ መጠይቁ በጣም ወሳኙ ነገር ግን በጣም ተጨባጭ የምልመላ ደረጃ ነው። ሁለት የተለያዩ ቃለ መጠይቅ አድራጊዎች አንድን እጩ በጣም በተለየ መንገድ ሊገመግሙ ይችላሉ. ምክንያቱም ሁሉም ሰው የተለያዩ ጥያቄዎችን ይጠይቃል, ለተለያዩ ነገሮች አስፈላጊነትን ይሰጣል, እና ብዙውን ጊዜ ውሳኔውን "በስሜቶች" ላይ የተመሰረተ ነው. ጥናቶች እንደሚያሳዩት ያልተዋቀሩ ቃለመጠይቆች የቅጥር ስኬትን ለመተንበይ ደካማ ናቸው; ሆኖም ግን, የተዋቀሩ ቃለ-መጠይቆች በጣም ጠንካራ ከሆኑ ትንበያዎች አንዱ መሆናቸውን ያሳያል. አርቴፊሻል ኢንተለጀንስ (AI) ይህንን ርእሰ ጉዳይ ለመቀነስ በጣም ተግባራዊ መሳሪያ ነው፡- በአቋም ላይ የተመሰረቱ ጥያቄዎች የጋራ የግምገማ መመሪያ እና ወጥ የሆነ መዋቅር ያስገኛሉ። በዚህ ክፍል ውስጥ፣ ከ AI ጋር ፍትሃዊ፣ ተመጣጣኝ እና ተከላካይ የሆነ የቃለ መጠይቅ ሂደት እንዴት መገንባት እንደምንችል እንማራለን።

ውሎች፡ የተዋቀረ ቃለ መጠይቅ ሁሉም እጩዎች ተመሳሳይ ብቃትን መሰረት ያደረጉ ጥያቄዎች የሚጠየቁበት እና ምላሾቹ በጋራ ሚዛን የተመዘገቡበት ቃለ መጠይቅ ነው። ሩብሪክ (የግምገማ መመሪያ) እያንዳንዱ ጥያቄ ለየትኛው መልስ ምን ያህል ነጥቦች እንደሚቀበል የሚገልጽ ሠንጠረዥ ነው። የባህሪው ጥያቄ እጩው ከዚህ በፊት ምን እንዳደረገ ይጠይቃል ("ግጭትን የፈቱበትን ጊዜ ንገሩኝ") - ምክንያቱም ያለፈው ባህሪ የወደፊቱ ባህሪ በጣም ጥሩ አመላካች ነው። ሁኔታዊው ጥያቄ በግምታዊ ሁኔታ ውስጥ ምን እንደሚያደርጉ ይጠይቃል። STAR የእጩውን መልስ ለማዋቀር የሚያገለግል ማዕቀፍ ነው፡ ሁኔታ፣ ተግባር፣ ድርጊት፣ ውጤት።

ደረጃ በደረጃ የቃለ መጠይቅ ንድፍ

1. ብቃቶችን መለየት። የቦታው 4-6 ወሳኝ ብቃቶችን ይፃፉ (ለምሳሌ ችግር መፍታት፣ የቡድን ስራ፣ የቴክኒክ ጥልቀት)።
2. ለእያንዳንዱ ብቃት ጥያቄዎችን ይፍጠሩ። የባህሪ እና ሁኔታዊ ጥያቄዎችን ከ AI ይጠይቁ።
3. ጽሑፍ ይፍጠሩ። ለእያንዳንዱ ጥያቄ “ደካማ/በቂ/ጠንካራ” መልስ ምን እንደሚመስል ይግለጹ።
4. ቀጣይ ጥያቄዎችን አዘጋጅ። እጩው ላዩን መልስ ከሰጠ፣ ወደ ጥልቅ ይሂዱ።
5. የመድልዎ ኦዲት ያካሂዱ። የጥያቄዎች ዝርዝር በህጋዊ እና በስነምግባር እንዲታይ ያድርጉ።
6. ነጥቦቹን ሰብስቡ እና በሰው ይተርጉሟቸው። AI ውጤቱን ያስተካክላል; ቡድኑ ይወስናል።

የእርስዎ ሚና፡ የሰው ሃይል ስፔሻሊስት የተዋቀረ ቃለ መጠይቅ ሲቀርጽ የስራ መደቡ፡ ከፍተኛ የሶፍትዌር ገንቢ ወሳኝ ብቃቶች፡ ችግር መፍታት፣ ኮድ ጥራት፣ የቡድን ግንኙነት፣ የመማር ቅልጥፍና፡ ለእያንዳንዱ ብቃት፡- 2 የባህሪ ጥያቄዎች (ያለፈው ልምድ ላይ የተመሰረተ) - 1 ሁኔታዊ ጥያቄ (ግምታዊ ሁኔታ) - 2 ተከታታይ ጥያቄዎች ለእያንዳንዱ ጥያቄ ጥያቄዎች አድሎአዊ መሆን የለባቸውም። ስለግል ሕይወት/ሃይማኖት/ፖለቲካ/የልጅ እቅድ አትጠይቅ። በብቃቶች መሰረት ውጤቱን ርዕስ.

ጠቃሚ ምክር፡ AI “ስለግል ሕይወት፣ ስለጋብቻ ሁኔታ፣ ስለ ልጅ ዕቅዶች፣ ስለ ሃይማኖት፣ ስለ ፖለቲካ፣ ስለ ጤና እንዲጠይቅ በግልጽ አስተምረው። እንደነዚህ ያሉት ጥያቄዎች በአሰሪና ሰራተኛ ህግ እና በእኩል አያያዝ ረገድ ሁለቱም አድሎአዊ እና አደገኛ ናቸው። AI በጥሩ ዓላማም ቢሆን ከዚህ ገደብ ሊያልፍ ይችላል።

ርዕስ፡ ርዕሰ ጉዳይን ለመቀነስ መሳሪያ

ያለ ጽሑፍ፣ ውጤቶቹ በቃለ መጠይቁ ጠያቂው ስሜት ይለያያሉ። ጽሑፉ “ጠንካራ መልስ ምን እንደሚመስል” አስቀድሞ በመግለጽ ሁሉንም ሰው በተመሳሳይ ገጽ ያገኛል።

ለሚከተለው የቃለ መጠይቅ ጥያቄ ከ1-5 ሚዛን ላይ ሩቢክ ይፃፉ። ጥያቄ፡ "በፕሮጀክት ላይ ቴክኒካዊ ውሳኔ ስህተት ሆኖ ሳለ ምን አደረግክ?" በንድፍ ውስጥ የሚከተሉትን ደረጃዎች ይግለጹ፡ 1 (ደካማ)፡ የተለመደ መልስ እና የጎደሉ ምልክቶች3 (በቂ): የተለመደ መልስ እና አዎንታዊ ምልክቶች5 (ጠንካራ): የተለመደ መልስ እና ጠንካራ ምልክቶች ለእያንዳንዱ ደረጃ የሚታይ ባህሪ ምሳሌዎችን ይስጡ (እንደ ሃላፊነት መውሰድ, የስር መንስኤ ትንተና, መማር).

ጽሑፉን በሁሉም ጥያቄዎች ላይ ሲተገበሩ በተለያዩ ቃለመጠይቆች የተሰጡ ውጤቶች አንድ ላይ ይሆናሉ። ይህ ኢንተር-ሬተር ወጥነት ይባላል። ነጥቦቹን በጋራ አብነት መሰብሰብ ከአንድ "ወደድኩት" አረፍተ ነገር ይልቅ በማስረጃ ላይ የተመሰረተ ውሳኔ ያደርጋል።

ደካማ ፈጣን/ጠንካራ ፍጥነት

ደካማ ጥያቄ፡ ለሶፍትዌር ገንቢ የቃለ መጠይቅ ጥያቄዎችን ይስጡ።

ማጠቃለያ: በይነመረብ ላይ ሊያገኟቸው የሚችሏቸው አጠቃላይ ጥያቄዎች; ምንም አይነት ፅሁፍ የለም፣ የብቃት ማዛመጃ የለም፣ የፍትሃዊነት ዋስትና የለም።

ጠንካራ ጥያቄ፡ [የአቀማመጥ + ወሳኝ ብቃቶች + የባህሪ/ሁኔታ ጥያቄ ጥያቄ + የአድልኦ ጥያቄ እገዳ + 1-5 ለእያንዳንዱ ጥያቄ + ተከታታይ ጥያቄዎች]

ውጤቱ፡ ለሁሉም እጩዎች ተፈጻሚ የሚሆን የውጤት መለኪያ፣ መከላከያ የቃለ መጠይቅ ኪት።

ከ AI ጋር የመልስ ግምገማ፡ ገደቦች

AI የቃለ መጠይቅ ማስታወሻዎችዎን በሩሪክ ለማደራጀት ሊረዳ ይችላል; ግን እዚህ ላይ ጠንካራ ማስጠንቀቂያ ያስፈልጋል: AI የእጩውን ድምጽ, ቅንነት, እውነተኛ ብቃት ማየት አይችልም; የሚጽፉትን ማስታወሻ ብቻ ያነባል። ስለዚህ የ AI ሚና የእርስዎን ምልከታዎች ማዋቀር ነው - ውሳኔ ማድረግ አይደለም።

የቃለ መጠይቁ ማስታወሻዎቼን በብቃት ርዕስ ስር በሰጠሁት መመሪያ መሰረት አዘጋጅ። ለእያንዳንዱ ብቃት: - በማስታወሻዎች ውስጥ ያሉትን ማስረጃዎች ማጠቃለል - ከየትኛው ደረጃ ጋር እንደሚመሳሰል ያሳዩ - ማስረጃው የጎደለበትን / ግልጽ ያልሆነውን ምልክት ለእኔ ጨርስ; ማስረጃውን ብቻ አርትዕ።<ማስታወሻዎች>[የቃለ መጠይቁ ማስታወሻዎች]</notes>

የ AI ተገቢ ሚና

የ AI ተገቢ ያልሆነ ሚና

ጥያቄዎችን እና ማብራሪያዎችን መፍጠር

እጩውን ብቻውን ማስቆጠር እና ማስወገድ

የቃለ-መጠይቅ አድራጊውን ማስታወሻዎች በማዘጋጀት ላይ ባለው ጽሑፍ መሰረት ማደራጀት

ውሳኔ በቪዲዮ/ኦዲዮ "የስሜት ትንተና"

በማስታወሻዎች ውስጥ አለመመጣጠን ምልክት ማድረግ

እንደ "ይህ እጩ እየዋሸ ነው" ያሉ ፍርዶች

አድልዎ ስለያዘ ጥያቄ/ማስታወሻ ማስጠንቀቂያ

የቅጥር ውሳኔን በማጠናቀቅ ላይ

ጥንቃቄ፡- AI ላይ የተመሰረተ “የእጩ ግምገማ የፊት ገጽታ/የድምፅ ቃና” መሳሪያዎች በሳይንሳዊ አጠራጣሪ እና ከፍተኛ የመድልኦ አደጋን ይፈጥራሉ። ለእንደዚህ አይነት መሳሪያዎች የውሳኔ ስልጣን አይስጡ; ብዙ አገሮች እና ማዕቀፎች (ለምሳሌ የአውሮፓ ህብረት አርቲፊሻል ኢንተለጀንስ ህግ) እንዲህ ያሉ ስርዓቶች በምልመላ ላይ ጥቅም ላይ የሚውሉትን ከፍተኛ አደጋዎች እንደሆኑ አድርገው ይቆጥራሉ።

ሶስት ሚኒ ጉዳዮች

ጉዳይ 1 - ወጥነት መጨመር. የችርቻሮ ሰንሰለት 8 የሱቅ አስተዳዳሪ እጩዎችን ከ3 የተለያዩ ቃለመጠይቆች ጋር እየገመገመ ነበር እና ውጤቶቹ ወጥነት የሌላቸው ነበሩ። ከ AI ጋር አንድ የተለመደ ጽሑፍ ተፈጠረ። በሁለተኛው ዙር በቃለ መጠይቅ ጠያቂዎች መካከል ያለው የውጤት ልዩነት (ለተመሳሳይ እጩ) በአማካይ ከ 1.8 ነጥብ ወደ 0.6 ነጥብ ቀንሷል; ውሳኔዎች የበለጠ ተከላካይ ሆኑ.

ጉዳይ 2 - አድሎአዊ ጥያቄን መያዝ። ባዘጋጀው የጥያቄዎች ዝርዝር ውስጥ አንድ ሥራ አስኪያጅ "ትንሽ ልጅ አለህ, የትርፍ ሰዓት መቆየት ትችላለህ?" የሚለውን ጥያቄ አቀረበ። AI "ለመድልዎ ጥያቄዎችን እንዲፈትሽ" ሲነገረው ይህ ጥያቄ ተጠቁሟል እና "ይህ ሚና አልፎ አልፎ የትርፍ ሰዓት ያስፈልገዋል; ለዚህ ተስማሚነትዎ ምንድነው?" ማንም ሰው ሊጠይቀው በሚችለው በገለልተኛ ስሪት ተተክቷል. ስለዚህ ፍትህ ተጠብቆ ቅሬታ ሊፈጠር የሚችልበትን አደጋ መከላከል ተችሏል።

ጉዳይ 3 - ማስታወሻዎችን በማዋቀር ላይ. አንድ የቃለ መጠይቅ ፓነል የተበታተኑ ማስታወሻዎች ነበሩት። አይአይ ማስታወሻዎቹን በሩሪክ አርእስቶች አደራጅቶ የትኞቹ ብቃቶች ማስረጃ እንደሌላቸው አሳይቷል። ፓናሉ ባጋጠመው ብቃት ላይ ለሁለተኛ ጊዜ አጭር ውይይት አድርጓል እና የበለጠ ጠንካራ ውሳኔ አሳልፏል። AI አልወሰነም; ውሳኔውን የሚመገበውን መረጃ አስተካክሏል.

የተለመዱ ስህተቶች

• ቃለ መጠይቅ ያለ ቃላቶች። ጥያቄዎችን ማዘጋጀት እና የውጤት አሰጣጥ መመሪያን አለማዘጋጀት ጉዳዩን ይጠብቃል።
• ለእጩዎች የተለያዩ ጥያቄዎችን መጠየቅ. ማነፃፀር የሚቻለው በተለመዱ ጥያቄዎች ብቻ ነው።
• AI ይወስኑ። AI ስለ እጩው የመጨረሻ ውሳኔ ለመስጠት በቂ መረጃ የለውም.
• አድሎአዊ ጥያቄዎችን አለመቆጣጠር። ጥሩ ሀሳብ ያላቸው ቃለ መጠይቅ አድራጊዎች እንኳን ህጋዊ አደገኛ ጥያቄዎችን ሊጽፉ ይችላሉ; AI ቁጥጥር ሴፍቲኔት ነው።
• በ "ስሜት / የፊት ትንተና" መሳሪያዎች ላይ መተማመን. ሳይንሳዊው መሰረት ደካማ ነው እናም የመድልኦ አደጋ ከፍተኛ ነው.
• ከስብሰባው ከረጅም ጊዜ በኋላ ማስታወሻውን መጻፍ. ምልከታዎቹ ትኩስ ሲሆኑ ማስታወሻ ይያዙ; AI እርስዎ እንደጻፉት ብቻ ነው የሚሰራው።

በማጠቃለያው

ትክክለኛ ቃለ መጠይቅ; እሱ ማለት የተለመዱ ጥያቄዎች፣ ግልጽ የሆነ ጽሑፍ እና የሰውን ፍርድ መጠበቅ ማለት ነው። AI ከእነዚህ ሶስት ውስጥ የመጀመሪያዎቹን ሁለቱን በማምረት ረገድ በጣም ጥሩ ረዳት ነው፡- በቦታ-ተኮር ብቃት ላይ የተመሰረቱ ጥያቄዎች፣ ተከላካይ የውጤት አሰጣጥ መመሪያዎች እና የመድልዎ ክትትል። ነገር ግን የእጩው ትክክለኛ ግምገማ እና የቅጥር ውሳኔ - የሰዎች ምልከታ እና ኃላፊነት ነው።

የመተግበሪያ ተግባር

ቦታ ይምረጡ። (1) 4 ወሳኝ ብቃቶችን መለየት። (2) የባህሪ/ሁኔታ ጥያቄዎችን እና ተከታይ ጥያቄዎችን ከላይ ባለው መጠይቅ ይፍጠሩ። (3) ለ 3 በጣም ወሳኝ ጥያቄዎች 1-5 rubrics ይፍጠሩ። (4) የጥያቄዎችን ዝርዝር በ"መድልዎ ቼክ" ጥያቄ ውስጥ ማለፍ። (5) AI የናሙና የቃለ መጠይቅ ማስታወሻን እንደ ደንቡ አርትዕ ያድርጉ እና የመጨረሻውን ነጥብ እራስዎ ይስጡ።

የማረጋገጫ ዝርዝር

• [ ] ጥያቄዎቹ ወሳኝ በሆኑ ብቃቶች ተቀርፀዋል?
• [ ] ሁሉም እጩዎች ተመሳሳይ ጥያቄዎች እንዲጠየቁ ደረጃውን የጠበቀ ነው?
• [ ] ለእያንዳንዱ ወሳኝ ጥያቄ 1-5 ሩሪኮች አሉ?
• [ ] ጥያቄዎቹ ለአድልዎ ተረጋግጠዋል?
• [ ] የመጨረሻው ግምገማ እና ውሳኔ ለሰው የተተወ ነው?
• [ ] እንደ "ስሜት/የፊት ትንተና" ያሉ አደገኛ መሳሪያዎች ተወግደዋል?