የውሂብ ዝግጅት እና ባህሪ ምህንድስና፡ ተጨባጭ መረጃን በአርቴፊሻል ኢንተለጀንስ ማስተናገድ

ትርፍ፡

• በፖሊሲ ውስጥ የጎደሉትን እሴቶችን፣ ወጣ ገባዎችን፣ የተጋላጭነት እና የውሂብ ጥራት ችግሮችን የመለየት እና በአርቴፊሻል ኢንተለጀንስ ድጋፍ መረጃን የመጉዳት እና የእርምት ረቂቅ የማዘጋጀት ችሎታ
• የባህሪ ምህንድስና (አዲስ ተለዋዋጭ አመጣጥ፣ መቧደን፣ ኮድ መስጠት) እና ለሰው ሰራሽ የማሰብ ችሎታ ከትክክለኛ አውድ ጋር መጋለጥ
• በአርቴፊሻል ኢንተለጀንስ የተጠቆሙ የመረጃ ለውጦች ከመረጃ መጥፋት አደጋ እና ከተደበቁ አድሎአዊ ድርጊቶች አንጻር በአክቱዋሪ ኦዲት መደረግ እንዳለባቸው ይረዱ።

ብዙም ያልተነገረው ነገር ግን ብዙ ጊዜ የሚወስድ የድርጊት ስራ አካል የመረጃ ዝግጅት ነው። ልምድ ያካበቱ ተዋናዮች አብዛኛው የሞዴሊንግ ፕሮጀክት ውሂቡን በማጽዳት፣ በማጣመር እና በማረም እንደሚያሳልፍ ያውቃሉ። ሞዴሉ የቱንም ያህል ቆንጆ ቢሆንም፣ የግብአት ውሂቡ ከተበላሸ ውጤቱ ተበላሽቷል-በአጭሩ “ቆሻሻ መጣያ፣ ቆሻሻ መጣያ”። በዚህ ክፍል ውስጥ፣ የፖሊሲ እና የይገባኛል ጥያቄ ዳታ ዓይነተኛ ችግሮችን፣ በ AI እንዴት ፈልጎ ማግኘት እና ማስተካከል እንደሚቻል፣ እና የባህሪ ምህንድስና (ከነባር መረጃዎች የበለጠ መረጃ ሰጪ የሆኑ አዲስ ተለዋዋጮች) አቀራረብን እንመለከታለን።

ከመጀመሪያው ማስጠንቀቂያ: የውሂብ ዝግጅት ቴክኒካዊ እና ንጹህ እርምጃ ነው, ነገር ግን በጣም አደገኛ የሆኑ ስህተቶች የሚደበቁበት ነው. ትክክል ያልሆነ የተጋላጭነት መደበኛነት፣ የተደበቀ የውሂብ መፍሰስ ወይም ባለማወቅ አስተዋወቀ አድልዎ ሁሉንም ተከታይ ሞዴሎችን ያበላሻል። AI ይህን እርምጃ በጣም ያፋጥነዋል, ነገር ግን ቁጥጥር ካልተደረገበት, አደጋውንም ያጎላል.

የተጨባጭ መረጃ የተለመዱ ችግሮች

የመመሪያ እና የይገባኛል ጥያቄ ውሂብ በጭራሽ ንጹህ አይደርስም። በጣም የተለመዱት ችግሮች፡ የጠፉ እሴቶች፡ አንዳንድ ፖሊሲዎች ባዶ የተሽከርካሪ ዕድሜ፣ ሥራ ወይም ክልል አላቸው። እነዚህን በአማካይ በጭፍን መሙላት አድልዎ ሊፈጥር ይችላል; ጉድለቱ ራሱ አንዳንድ ጊዜ መረጃን ይይዛል (የጠፉት የተለየ ቡድን ናቸው). ወጣ ገባዎች፡ ምክንያታዊ ያልሆኑ መዛግብት እንደ አሉታዊ ፕሪሚየም፣ የ200 አመት ዋስትና ያለው፣ ዜሮ ተጋላጭነት ፖሊሲ። እነዚህ የውሂብ ስህተቶች ወይም እውነተኛ ጠርዝ ጉዳዮች መሆናቸውን መለየት አለበት. አለመመጣጠን፡ የአንድ ክልል የተለያዩ ሆሄያት ("ኢስታንቡል""ኢስታንቡል""34")፣ የቀን ቅርጸት ግራ መጋባት። የተባዙ ግቤቶች፡ አንድ አይነት ጉዳት ሁለት ጊዜ መግባት።

ነገር ግን ለትክክለኛነቱ ልዩ የሆነው በጣም ወሳኝ ጉዳይ መጋለጥ ነው. ፖሊሲ በዓመቱ አጋማሽ ላይ ከጀመረ፣ ለዚያ ዓመት ክፍልፋይ ተጋላጭነትን (ለምሳሌ 0.5 ዓመታት) ይሰጣል እንጂ ሙሉ “የመመሪያ ዓመት” አይደለም። የድግግሞሽ እና የጉዳት መጠን ሁል ጊዜ ለተጋላጭነት መደበኛ መሆን አለበት; አለበለዚያ የአጭር ጊዜ ፖሊሲዎች ከፍተኛ ስጋት አላቸው. AI የተጋላጭነት ስሌቱን ኮድ ሊያደርግ ይችላል, ነገር ግን ትርጉሙን እና የንግድ ደንቡን ማቅረብ አለብዎት.

የሚከተለው ሠንጠረዥ የተለመዱ ችግሮችን እና ትክክለኛውን አቀራረብ ያጠቃልላል.

ችግር

የተሳሳተ አቀራረብ

ትክክለኛ አቀራረብ

የጎደለ ዋጋ

ሁሉንም በአማካይ ይሙሉ

ጉድለቱን መተንተን; አንዳንድ ጊዜ የተለየ ምድብ ይክፈቱ

የወጣ

በራስ ሰር ሰርዝ

በውሂብ ስህተት እና በእውነተኛ መሪ መካከል ያለውን ልዩነት ይለዩ

መጋለጥ

ሁሉንም ፖሊሲዎች ለ 1 ዓመት ይቁጠሩ

ክፍልፋይ መጋለጥን አስላ

የምድብ አለመጣጣም

ችላ በል

ከመደበኛ መዝገበ ቃላት ጋር አዛምድ

ተደጋጋሚ ጉዳት

አታስተውል

በቁልፍ መስኮች የተባዛ

የባህሪ ምህንድስና፡ እውቀትን ከውሂብ ማግኘት

የባህሪ ምህንድስና ለአምሳያው የበለጠ ጠቃሚ የሆኑ አዳዲስ ተለዋዋጮችን ከነባር ጥሬ ተለዋዋጮች የማምጣት ጥበብ ነው። ምሳሌዎች፡- "ዕድሜ" ከተወለደበት ቀን ጀምሮ፣ "የዕድሜ ቡድን" (ቢኒንግ) ከእድሜ፣ "የአደጋ ክፍል" ከተሽከርካሪዎች ሞዴል፣ "የአመታዊ ርቀት ግምት" ከአድራሻ-ፖሊሲ ጥምር። ጥሩ ባህሪ ከጥሬው መረጃ የበለጠ ጠንካራ ምልክት ይይዛል እና የአምሳያው ትክክለኛነት እና አተረጓጎም ይጨምራል።

በተጨባጭ ሥራ ውስጥ ሶስት ቴክኒኮች በተደጋጋሚ ጥቅም ላይ ይውላሉ. ማሰሪያ፡ ቀጣይነት ያለው ተለዋዋጭ (እድሜ) ትርጉም ባላቸው ቡድኖች መለየት; ይህ ቀጥተኛ ያልሆኑ ግንኙነቶችን ይይዛል እና ታሪፉን ሊነበብ የሚችል ያደርገዋል። ኢንኮዲንግ: ምድብ ተለዋዋጮች (ክልል) ለአምሳያው ተስማሚ ወደሆነ የቁጥር ቅርጸት መለወጥ; በአደጋ ላይ የተመሰረተ ኮድ (እያንዳንዱን ምድብ በራሱ የጉዳት መጠን ይወክላል) የተለመደ ነገር ግን በጥንቃቄ መደረግ አለበት. መደበኛነት፡ ሁሉንም ነገር በመጋለጥ በማካፈል ተመጣጣኝ ማድረግ። AI በፍጥነት ለእነዚህ ለውጦች ኮድ ይፈጥራል; ግን የእያንዳንዱን ለውጥ አመክንዮ ማጽደቅ አለብህ።

ጠቃሚ ምክር፡ የዒላማ ኢንኮዲንግ ሃይለኛ ነው ነገር ግን ለመረጃ መጥፋት የተጋለጠ ነው፡ ሞዴሉ የአንድን ምድብ አማካኝ ጉዳት ሲያሰሉ የአንድ ረድፍ ጉዳት ካካተቱ "ያጭበረብራል"። ይህንን ሁልጊዜ በስልጠናው መረጃ ውስጥ፣ በተሻጋሪ የማረጋገጫ ጥለት ውስጥ ያድርጉት።

በጣም ተንኮለኛው አደጋ፡ የውሂብ ፍንጣቂዎች እና ስውር አድሎአዊነት

የውሂብ መፍሰስ በትክክል በሚገመተው ጊዜ ወደማይገኝ ሞዴል ውስጥ መረጃን ማስተዋወቅ ነው። ክላሲክ ምሳሌ፡ እንደ “የተከፈሉ የይገባኛል ጥያቄዎች” ያሉ ውጤቱን የያዘ ተለዋዋጭ የይገባኛል ጥያቄውን መጠን ወደሚተነብይ ሞዴል ማስተዋወቅ። ሞዴሉ በሙከራ ውሂብ ውስጥ ፍጹም ይመስላል ነገር ግን በእውነተኛው ዓለም ውስጥ ምንም ፋይዳ የለውም ምክንያቱም ይህ መረጃ ትንበያ በሚታወቅበት ጊዜ አይገኝም። መፍሰስ ብዙውን ጊዜ የተደበቀ እና በጥንቃቄ በተጨባጭ ምክንያታዊነት ብቻ ነው የሚይዘው - AI ብዙውን ጊዜ አያስተውለውም ፣ አንዳንዴም የሚያንጠባጥብ ተለዋዋጭን እንደ “በጣም ኃይለኛ ትንበያ” ያሞግሳል።

ሁለተኛው ተንኮለኛ አደጋ ስውር አድልዎ ነው። ታሪካዊ መረጃ ኢ-ፍትሃዊ በሆነ መንገድ አንድን የተወሰነ ቡድን የሚወክል ከሆነ (ለምሳሌ፣ አንድ አካባቢ በታሪክ በጣም ብዙ ፖሊሲዎች ተከልክሏል)፣ ከዚያ ውሂብ የተገኙ ባህሪያት ያንን አድሏዊነት የሚሸከሙ እና ሞዴሉ ወደፊት ይደግመዋል። የባህሪ ምህንድስና ደረጃ ይህ አድልዎ ሊታወቅ እና ሊስተካከል የሚችልበት በጣም ወሳኝ ጊዜ ነው።

ማስጠንቀቂያ፡ ተለዋዋጭ “የመተንበይ ኃይልን በእጅጉ ሲያሻሽል” ከመደሰትህ በፊት ጠይቅ፡ ይህ ተለዋዋጭ በትንበያው ጊዜ አለ ወይንስ የወደፊቱን ያካትታል? በጣም ጥሩ የሚመስለው ውጤት ብዙውን ጊዜ የመፍሰሻ ምልክት ነው።

በመረጃ ዝግጅት ውስጥ AI እንዴት መጠቀም እንደሚቻል

1) የውሂብ ጥራት ማጣሪያ;

የእርስዎ ሚና፡ የውሂብ ጥራት ረዳት። ተጨባጭ የፖሊሲ ውጤት አለዎት። አምዶች፡ ፖሊሲ_መታወቂያ፣የመጀመሪያ_ቀን፣የመጨረሻ_ቀን፣እድሜ፣ክልል፣የተሸከርካሪ ዕድሜ፣ፕሪሚየም፣የይገባኛል ጥያቄ_ቁጥር ጀምር/መጨረሻ። አትሰርዝ; እንድወስን ብቻ ሪፖርት አድርግ።

2) የባህሪ አመጣጥ;

ከትራፊክ መረጃዬ አዳዲስ ባህሪያትን ማግኘት እፈልጋለሁ። ይገኛል፡ ዕድሜ፣ የተሸከርካሪ_ዘመን፣ ክልል፣ አመታዊ_ኪሜ፣ የአጠቃቀም_አይነት።- የትኛውን የዕድሜ እና ኪ.ሜ ቡድኖች (ቢኒንግ) ይመክራሉ፣ ለምን? - ያለመረጃ መጥፋት አደጋ ላይ የተመሰረተ ኮድ ለ 'ክልል' እንዴት ማድረግ እችላለሁ? - ለመሞከር የሚጠቅሙ 3 አዳዲስ ባህሪያትን ጠቁም እና ለእያንዳንዳቸው ትክክለኛ ማረጋገጫ ይፃፉ። እኔ እወስናለሁ.

3) የፍሰት ምርመራ;

የእኔ ሞዴል ከሚከተሉት ተለዋዋጮች ጋር ያለውን ጉዳት POSSIBILITY ይተነብያል፡ ዕድሜ፣ ክልል፣ የተሽከርካሪ ዕድሜ፣ PAID_CLAIM_FLAG፣ SETTLEMENT_DAYS። ከእነዚህ ተለዋዋጮች ውስጥ የትኛው የውሂብ መፍሰስ አደጋን ያስከትላል? ለእያንዳንዳቸው, ትንበያው በሚደረግበት ጊዜ ይገኝ እንደሆነ ይገምግሙ. አጠራጣሪዎቹን ይዘርዝሩ እና ለምን።

4) የተጋላጭነት መደበኛነት;

አንዳንድ ፖሊሲዎቼ በዓመቱ አጋማሽ ላይ ይጀምራሉ። ድግግሞሹን በትክክል ለማስላት የተጋላጭነትን መደበኛነት ይግለጹ እና ኮድ ይስጡ፡ ድግግሞሽ = አጠቃላይ የይገባኛል ጥያቄ / አጠቃላይ ተጋላጭነት (የፖሊሲ-ዓመት)። በዓመቱ አጋማሽ ላይ የሚጀምረውን የፖሊሲ ተጋላጭነት እንዴት ማስላት እንደሚቻል በምሳሌ አሳይ።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

ውሂቡን ያጽዱ እና ለአምሳያው ዝግጁ ያድርጉት።

AI የትኛው አምድ የትኛው እንደሆነ አያውቅም, የንግድ ደንቦች, የተጋላጭነት ፍቺ; በጭፍን መሰረዝ እና መሙላት እና ውሂቡን ማበላሸት ይችላል.

ኃይለኛ ጥያቄ፡-

የእርስዎ ሚና፡ ተጨባጭ መረጃ ዝግጅት አጋዥ 'ዕድሜ' (ሰርዝ)። / አማካይ / የተለየ ምድብ) ከፕላስ-መቀነስ ጋር; ውሳኔውን ለእኔ ተወው.4) የመጥፋት አደጋ ሊያስከትል የሚችል አምድ ካለ አስጠንቅቅ ማንኛውም መዝገብ በራስ ሰር መሰረዝ; እያንዳንዱን ውሳኔ አጸድቃለሁ.

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - የተጋላጭነት ስህተት። በአንድ ፖርትፎሊዮ ውስጥ የአጭር ጊዜ (3-ወር) የጉዞ ፖሊሲዎች እንደ ሙሉ ዓመታት ተቆጥረዋል, ስለዚህ ድግግሞሽ በእውነቱ ከነበረው በአራት እጥፍ ያነሰ ታየ; ዋጋው በስህተት ወድቋል። አክቱዋሪው ተጋላጭነቱን እንደ ክፍልፋይ (0.25 የፖሊሲ-ዓመት) ሲያሰላ ትክክለኛው ድግግሞሽ ታይቷል እና ታሪፉ ተስተካክሏል። AI የተፈጠረ ክፍልፋይ መጋለጥ ኮድ; አክቱዋሪው ትርጉሙን ሰጥቷል።

ጉዳይ 2 - ድብቅ መፍሰስ። አንድ ረዳት የ"ፋይል መዝጊያ ጊዜ" ተለዋዋጭ ወደ የጉዳት እድል ሞዴል ሲጨምር ትክክለኛነት በከፍተኛ ሁኔታ ጨምሯል። ደስታው ለአጭር ጊዜ ነበር: ይህ ተለዋዋጭ ሊታወቅ የሚችለው ጉዳቱ ከተከሰተ በኋላ ብቻ ነው, ማለትም ትንበያው በሚታወቅበት ጊዜ አይገኝም. የፈሰሰው ተለዋዋጭ ሲወገድ ሞዴሉ ወደ ተጨባጭ ደረጃ ቀንሷል። የ AI ተለዋዋጭን እንደ "ኃይለኛ ትንበያ" አወድሶታል; የአክቱዋሪው ፍርድ ወጥመዱን ያዘ።

ጉዳይ 3 - አድልዎ ማባዛት. አንድ ኩባንያ ከታሪካዊ መረጃ የ"መተግበሪያ ውድቅ" ንድፍ አውጥቶ ወደ አዲሱ ሞዴል አስገባ። ትንታኔው እንደሚያሳየው ያለፉት ውድቀቶች በተመጣጣኝ ሁኔታ በአንድ የተወሰነ ሰፈር ላይ ያተኮሩ ነበሩ፣ ይህም ማለት ታሪካዊ አድልዎ ነበረ። ይህ ባህሪ ከአምሳያው ተወግዶ በበለጠ ገለልተኛ የአደጋ አመልካቾች ተተክቷል። AI ከአካባቢው ጋር ያለውን የስርዓተ-ጥለት መደራረብ የሚለካውን ትንታኔ አዘጋጀ; የስነምግባር ውሳኔው የተደረገው በአክቱዋሪ እና በኮምሊያንስ ክፍል ነው።

የተለመዱ ስህተቶች

• ሳያስቡት በአማካኝ የጎደሉትን እሴቶች መሙላት። እጦት እራሱ እውቀት ሊሆን ይችላል; በጭፍን መሙላት ጭፍን ጥላቻን ይፈጥራል።
• ውጫዊ ክፍሎችን በራስ-ሰር ሰርዝ። አንዳንዶቹ እውነተኛ የጠርዝ ጉዳዮች ናቸው; ውሂብን ከስህተቶች ሳይለዩ መሰረዝ መረጃን ያጠፋል.
• መጋለጥን መደበኛ ማድረግ አይደለም። አጫጭር ፖሊሲዎችን እንደ ሙሉ አመት መቁጠር ድግግሞሹን ያዛባል እና ዋጋውን ያዛባል።
• የውሂብ መውጣቱን አላስተዋሉም። በጣም ጥሩ ውጤት ብዙውን ጊዜ የወደፊቱን የሚያካትት ተለዋዋጭ ምልክት ነው; እያንዳንዱ ተለዋዋጭ በትንበያ ጊዜ አለመኖሩን ይጠይቁ።
• ለወደፊቱ ግልጽ ያልሆነ አድልዎ ማምጣት። በታሪካዊ መረጃ ውስጥ ያለው ኢፍትሃዊነት ወደ የተገኙ ባህሪያት ውስጥ ሊገባ ይችላል; በባህሪው ደረጃ ላይ ያረጋግጡ።

በማጠቃለያው

ተጨባጭ ሞዴሊንግ በአብዛኛው መረጃን ስለማዘጋጀት ነው; ግብዓቱ ከተበላሸ ውጤቱም ተበላሽቷል። የተለመዱ ችግሮች የጠፉ እሴቶች፣ ወጣ ገባዎች፣ አለመጣጣሞች እና ማባዛት ናቸው፤ ወሳኙ ተጨባጭ ጉዳይ የተጋላጭነት መደበኛነት ነው. የባህሪ ምህንድስና - ማቧደን፣ ኮድ መስጠት፣ መደበኛ ማድረግ - ከውሂቡ የበለጠ ጠንካራ ምልክቶችን ያመጣል። በጣም ተንኮለኛው አደጋዎች የውሂብ መፍሰስ እና ስውር አድሎአዊ ናቸው; ሁለቱም የተያዙት በተጨባጭ ምክንያት ብቻ ነው። AI ይህን ደረጃ በጣም ያፋጥነዋል፡ መቃኘት ኮድ እና ምክሮችን ይፈጥራል። ነገር ግን ምንም አይነት መዝገቦችን በራስ ሰር አይሰርዙ፣ ሰዎች ፍሳሾችን እና አድሎአዊ መሆናቸውን ያረጋግጡ እና እያንዳንዱን ልወጣ ያጽድቁ።

የመተግበሪያ ተግባር

ትንሽ የማይታወቅ የፖሊሲ ውሂብ መዝገበ ቃላት ያዘጋጁ (5-7 አምዶች፣ የእያንዳንዱ ምክንያታዊ ክልል)። (ሀ) ለእያንዳንዱ አምድ ምክንያታዊነት ደንብ እና ጥሰት ሪፖርት ኮድ፣ (ለ) ክፍልፋይ ተጋላጭነት ስሌት፣ (ሐ) ለመሞከር 3 አዳዲስ ባህሪያትን ጥቆማዎችን ለማግኘት AI ን ይጠይቁ። ከዚያም ሆን ተብሎ የ"Leak trap" ተለዋዋጭ ወደ ዝርዝሩ ያክሉ (ለምሳሌ "ካሳ የተከፈለ") እና AI እንደ ፍሳሽ ይይዘው እንደሆነ ይፈትሹ.

የማረጋገጫ ዝርዝር

• [ ] የጎደሉትን እና የወጡትን ከመሰረዝዎ በፊት ለምን እንደሆነ ተንትቻለሁ?
• [ ] መጋለጥን በትክክል ከፋፍዬ እና መደበኛ አድርጌዋለሁ?
• [ ] ለእያንዳንዱ አዲስ የተገኘ ባህሪ ትክክለኛ ማረጋገጫ ጽፌያለሁ?
• [ ] እያንዳንዱ ተለዋዋጭ በትክክል በትንበያ ጊዜ (መፍሰስ) መኖሩን ጠይቄያለሁ?
• [ ] በተገኙ ባህሪያት ላይ ስውር አድልኦን ቃኘሁ?
• [ ] ምንም አይነት መዛግብትን ሰርዝ እና እያንዳንዱን ውሳኔ እራሴ አጽድቄያለሁ?