സോഫ്‌റ്റ്‌വെയർ ടെസ്റ്റിംഗിലും ക്യുഎയിലും ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസിൻ്റെ ആമുഖം: റോളുകൾ, അതിരുകൾ, വ്യാജ അപകടസാധ്യത, മൂല്യനിർണ്ണയം

നേട്ടങ്ങൾ:

• ക്യുഎ പ്രക്രിയയിൽ ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് തത്സമയം ലാഭിക്കുന്നത് എവിടെയാണെന്നും ടാസ്‌ക് റിസ്ക് ലെവലിനെ ആശ്രയിച്ച് 'പ്രസിദ്ധീകരണത്തിന് തയ്യാറാണ്' പോലുള്ള ഗുണമേന്മയുള്ള തീരുമാനങ്ങൾ മനുഷ്യർക്ക് വിട്ടുകൊടുക്കുന്നതും വേർതിരിച്ചറിയാൻ കഴിയും.
• തെറ്റായ പാസുകളുടെ അപകടസാധ്യത തിരിച്ചറിയാനും കോഡ് മനപ്പൂർവ്വം ലംഘിച്ചുകൊണ്ട് എല്ലാ AI ടെസ്റ്റുകളും പരിശോധിക്കുന്ന ഒരു സ്ഥിരീകരണ അച്ചടക്കം നടപ്പിലാക്കാനുമുള്ള കഴിവ്
• ടെസ്റ്റ് ഡാറ്റ, വ്യക്തിഗത ഡാറ്റ, കീകൾ എന്നിവ പരിരക്ഷിക്കുന്നതിനുള്ള കഴിവ്, കൂടാതെ അംഗീകാരത്തിനുള്ളിലും പ്രതിരോധ ആവശ്യങ്ങൾക്കുമായി മാത്രം സുരക്ഷാ പരിശോധന നടത്തുന്ന ശീലം നേടുക.

ഒരു റിലീസ് രാത്രി പരിഗണിക്കുക. നൂറുകണക്കിന് ടെസ്റ്റുകൾ നടത്തി, അവയ്‌ക്കെല്ലാം പച്ചക്കൊടി ലഭിച്ചു, ടീമിന് ആശ്വാസമായി, സോഫ്റ്റ്‌വെയർ ലൈവായി. പിറ്റേന്ന് രാവിലെ, പേയ്‌മെൻ്റ് സ്‌ക്രീൻ തകരാറിലായതായി ഉപഭോക്താവ് അറിയിച്ചു. പരീക്ഷകൾ പച്ചയായിരുന്നു, പക്ഷേ അവൻ പിശക് കണ്ടില്ല. ക്വാളിറ്റി അഷ്വറൻസ് (ക്യുഎ) പ്രൊഫഷൻ്റെ ഏറ്റവും വഞ്ചനാപരമായ പേടിസ്വപ്നമാണിത്, അതായത്, സോഫ്റ്റ്‌വെയർ ആവശ്യമുള്ള ഗുണനിലവാരമുള്ളതാണെന്ന് വ്യവസ്ഥാപിതമായി ഉറപ്പാക്കുന്ന അച്ചടക്കം: പച്ചയായി തിളങ്ങുന്ന എന്നാൽ യഥാർത്ഥത്തിൽ ഒന്നും സ്ഥിരീകരിക്കാത്ത പരിശോധന. ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് (AI — ചരിത്രപരമായ ഡാറ്റയിൽ നിന്ന് പാറ്റേണുകൾ വേർതിരിച്ചെടുക്കുകയും ടെക്‌സ്‌റ്റും കോഡും സൃഷ്‌ടിക്കുകയും ചെയ്യുന്ന സോഫ്റ്റ്‌വെയർ) ഈ തൊഴിലിലേക്ക് പ്രവേശിക്കുമ്പോൾ, ഈ പേടിസ്വപ്‌നത്തിൻ്റെ വലിയ ത്വരിതപ്പെടുത്തലും മാഗ്നിഫിക്കേഷനും ഉണ്ട്. ഈ മൊഡ്യൂളിൻ്റെ പ്രാരംഭ വാഗ്ദാനം വ്യക്തമാണ്: AI ഒരു ടെസ്റ്റിംഗ് അസിസ്റ്റൻ്റ്, ബ്ലൂപ്രിൻ്റ് ജനറേറ്റർ, ഐഡിയ മൾട്ടിപ്ലയർ; "ഈ സോഫ്‌റ്റ്‌വെയർ റിലീസിന് തയ്യാറാണോ" എന്ന തീരുമാനത്തിൽ സൈൻ ഓഫ് ചെയ്യുന്ന ടെസ്റ്റർ നിങ്ങളാണ്.

ഈ ആദ്യ യൂണിറ്റിൽ ഞങ്ങൾ അച്ചടക്കത്തിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കും, ഉപകരണമല്ല. ക്യുഎ പ്രോസസിൽ AI തത്സമയം ലാഭിക്കുന്നത് എവിടെയാണ്, എവിടെയാണ് അത് അപകടകരം, എന്തുകൊണ്ടാണ് "ഫാൾസ്-പാസ്" എന്ന് വിളിക്കപ്പെടുന്ന വഞ്ചനാപരമായ പച്ച ഏറ്റവും വലിയ അപകടസാധ്യത, ഓരോ ഔട്ട്‌പുട്ടും എങ്ങനെ പരിശോധിക്കാം, ഏത് ഉപകരണത്തിന് നിങ്ങൾക്ക് എന്ത് ഡാറ്റ നൽകാമെന്നും നിങ്ങൾ പഠിക്കും. ഈ അടിത്തറ സ്ഥാപിക്കാതെ, തുടർന്നുള്ള യൂണിറ്റുകൾ വായുവിൽ തുടരും.

ടെസ്റ്റിംഗ് പ്രക്രിയയിൽ AI എവിടെയാണ് ഉപയോഗപ്രദമാകുന്നത്?

ടെസ്റ്റിംഗ് ജോലികളെ രണ്ട് വലിയ ക്ലസ്റ്ററുകളായി തിരിക്കാം. ആദ്യ ക്ലസ്റ്റർ: ആവർത്തിച്ചുള്ള, ഉൽപ്പാദിപ്പിക്കാവുന്ന, ഡ്രാഫ്റ്റ് ജോലികൾ. ഒരു ആവശ്യകതയിൽ നിന്ന് ഒരു ടെസ്റ്റ് കേസ് ഡ്രാഫ്റ്റ് ചെയ്യുക, ബ്രേക്ക്‌പോയിൻ്റുകൾ ലിസ്റ്റുചെയ്യുക, ഒരു സ്‌ക്രീനിനായി ഒരു ഓട്ടോമേഷൻ കോഡ് സ്‌കെലിറ്റൺ എഴുതുക, സങ്കീർണ്ണമായ പിശക് കേസ് ഒരു വൃത്തിയുള്ള പിശക് റിപ്പോർട്ടിലേക്ക് വിവർത്തനം ചെയ്യുക, നൂറുകണക്കിന് ലോഗ് ഫയലുകളുടെ സംഗ്രഹം, ഒരു API പ്രതികരണത്തിൽ നിന്ന് ഒരു സ്കീമ എക്‌സ്‌ട്രാക്റ്റുചെയ്യുക. ഈ ടാസ്‌ക്കുകളിൽ, AI മിനിറ്റുകൾ മുതൽ സെക്കൻഡുകൾ വരെ കുറയ്ക്കുന്നു, മാത്രമല്ല ക്ഷീണിതനാകില്ല.

രണ്ടാമത്തെ ക്ലസ്റ്റർ: ഗുണമേന്മ, വിശ്വാസ്യത, ഉത്തരവാദിത്തം എന്നിവയുള്ള തീരുമാനങ്ങൾ. "ഈ പതിപ്പ് തത്സമയമാകുമോ", "ഈ ബഗ് നിർണായകമാണോ അതോ മാറ്റിവെക്കാമോ", "ഈ ടെസ്റ്റ് കവറേജ് മതിയോ", "ഈ സാഹചര്യം യഥാർത്ഥ ഉപയോക്തൃ അപകടസാധ്യത പിടിച്ചെടുക്കുന്നുണ്ടോ" തുടങ്ങിയ തീരുമാനങ്ങൾക്ക് സന്ദർഭവും ഉൽപ്പന്ന അറിവും ഉത്തരവാദിത്തവും ആവശ്യമാണ്. ഇവിടെ AI ഓപ്‌ഷനുകളും ഡ്രാഫ്റ്റുകളും സൃഷ്‌ടിക്കുന്നു - എന്നാൽ നിങ്ങൾ "പാസ് / പരാജയം", "പോകുക / പോകരുത്" എന്നിവ തീരുമാനിക്കുന്നു.

നമുക്ക് ഒരു വാചകത്തിൽ വ്യത്യാസം വ്യക്തമാക്കാം: "ഏതൊക്കെ സാഹചര്യങ്ങൾ പരീക്ഷിക്കാം, അത് പരീക്ഷിക്കുന്ന കോഡ് എങ്ങനെ എഴുതാം" എന്നതിൽ AI ശക്തമാണ്; "ഈ സോഫ്‌റ്റ്‌വെയർ ശരിക്കും പ്രവർത്തിക്കുന്നുണ്ടോ, ആരാണ് ഇതിന് ഉറപ്പുനൽകുന്നത്?" എന്ന ചോദ്യം വരുമ്പോൾ തീരുമാനം നിങ്ങളുടേതാണ്.

നുറുങ്ങ്: AI-ക്ക് ജോലി കൈമാറുന്നതിന് മുമ്പ്, ചോദിക്കുക: “ഈ ഔട്ട്‌പുട്ട് തെറ്റാണെങ്കിൽ ഞാൻ ശ്രദ്ധിച്ചില്ലെങ്കിൽ എന്ത് സംഭവിക്കും?” "എനിക്ക് കുറച്ച് മിനിറ്റ് നഷ്ടപ്പെടും" എന്നാണ് ഉത്തരമെങ്കിൽ, എളുപ്പത്തിൽ ഡെലിഗേറ്റ് ചെയ്യുക. "തെറ്റായ സോഫ്‌റ്റ്‌വെയർ സജീവമാകുന്നു" എന്നാണ് ഉത്തരമെങ്കിൽ, ഡ്രാഫ്റ്റ് നിർമ്മിക്കാൻ AI-യെ അനുവദിക്കുക, നിങ്ങൾ തീരുമാനവും പരിശോധനയും നടത്തുക.

തെറ്റായ പാസ്: QA-യിലെ AI-യുടെ ഒന്നാം നമ്പർ അപകടസാധ്യത

ഒരു ടെസ്റ്റ് പച്ച നിറത്തിൽ പ്രകാശിക്കുമ്പോൾ, രണ്ട് കാര്യങ്ങൾ അർത്ഥമാക്കാം: ഒന്നുകിൽ സോഫ്‌റ്റ്‌വെയർ ശരിയായി പ്രവർത്തിക്കുന്നു, അല്ലെങ്കിൽ ടെസ്റ്റ് തെറ്റായി എഴുതിയതിനാൽ അത് ബഗ് കാണുന്നില്ല. രണ്ടാമത്തേതിനെ തെറ്റായ പാസ് എന്ന് വിളിക്കുന്നു - ടെസ്റ്റ് "പാസ്" എന്ന് പറയുന്നു, എന്നാൽ യഥാർത്ഥത്തിൽ ഒന്നും സ്ഥിരീകരിക്കുന്നില്ല. AI ഉപയോഗിച്ച് നിർമ്മിക്കുന്ന ടെസ്റ്റുകളിൽ ഈ അപകടസാധ്യത ഗണ്യമായി വർദ്ധിക്കുന്നു, കാരണം ഒഴുക്കുള്ളതും മിനുസമാർന്നതും എന്നാൽ ശൂന്യവുമായ ടെസ്റ്റുകൾ എഴുതുന്നതിൽ AI വളരെ വിജയകരമാണ്.

കപട-പാസിൻ്റെ ഏറ്റവും സാധാരണമായ മൂന്ന് രൂപങ്ങൾ ഇവയാണ്: (1) സ്ഥിരീകരണമില്ലാതെയുള്ള പരിശോധന - കോഡ് പ്രവർത്തിക്കുന്നു, ഉറപ്പുകളൊന്നും അടങ്ങിയിട്ടില്ല, എല്ലായ്പ്പോഴും കടന്നുപോകുന്നു. (2) സ്വയം പരിശോധിച്ചുറപ്പിക്കൽ ടെസ്റ്റ് - ടെസ്റ്റിൻ്റെ പ്രതീക്ഷിക്കുന്ന മൂല്യം ടെസ്റ്റിന് കീഴിലുള്ള കോഡിൻ്റെ ഔട്ട്പുട്ടിൽ നിന്നാണ് കണക്കാക്കുന്നത്; അതായത്, കോഡ് എന്ത് ഉത്പാദിപ്പിച്ചാലും, പരിശോധന "ശരി" ആയി അംഗീകരിക്കുന്നു. (3) തെറ്റായ കാര്യം സ്ഥിരീകരിക്കുന്ന ടെസ്റ്റ് - നിലവിലുണ്ടെന്ന് ഉറപ്പുനൽകുന്നു, പക്ഷേ അത് യഥാർത്ഥ ബിസിനസ്സ് നിയമമല്ല, നിസ്സാരമായ എന്തെങ്കിലും പരിശോധിക്കുന്നു (ഉദാ: "പ്രതികരണം ശൂന്യമല്ല").

മുന്നറിയിപ്പ്: ഒരു ഗ്രീൻ ടെസ്റ്റ് പാനൽ ഗുണനിലവാരത്തിൻ്റെ തെളിവല്ല; ഏറ്റവും മികച്ചത് "ഞങ്ങൾ എഴുതിയ നിയന്ത്രണങ്ങൾ ഇപ്പോൾ തകർന്നിട്ടില്ല" എന്ന് പറയുന്നു. AI നിർമ്മിക്കുന്ന ടെസ്റ്റിൽ ഒരു "പാസ്" കണ്ട് ആശ്വസിക്കരുത് - യഥാർത്ഥ ചോദ്യം ഇതാണ്: ഞാൻ മനഃപൂർവ്വം കോഡ് ലംഘിച്ചാൽ ഈ ടെസ്റ്റ് ചുവപ്പായി മാറുമോ? അത് കറങ്ങുന്നില്ലെങ്കിൽ, ആ പരിശോധന ഒരു അലങ്കാരമാണ്.

ഈ മൊഡ്യൂളിലുടനീളം ആവർത്തിക്കുന്ന സുവർണ്ണ നിയമം: മനഃപൂർവ്വം കോഡ് തകർത്തുകൊണ്ട് ഓരോ AI ടെസ്റ്റും പരീക്ഷിക്കുക. പരിശോധന ഇപ്പോഴും പച്ചയാണെങ്കിൽ, ആ പരിശോധന പ്രവർത്തിക്കുന്നില്ല. (യൂണിറ്റ് 10-ൽ മ്യൂട്ടേഷൻ ടെസ്റ്റിംഗ് ആയി ഞങ്ങൾ ഈ ആശയം ആഴത്തിലാക്കും.)

സ്ഥിരീകരണ അച്ചടക്കം: മൂന്ന് ഘട്ടങ്ങൾ

AI ആത്മവിശ്വാസത്തോടെ സംസാരിക്കുന്നു; അതിനർത്ഥം അത് സത്യമാണെന്നല്ല. ഓരോ ഫലത്തിനും ബാധകമാക്കാൻ മൂന്ന്-ഘട്ട റിഫ്ലെക്സ് വികസിപ്പിക്കുക:

1. അത് ആവശ്യവുമായി ബന്ധിപ്പിക്കുക. ഓരോ ടെസ്റ്റ് കേസും AI നിർമ്മിക്കുന്നത് ഒരു യഥാർത്ഥ ആവശ്യകതയെയോ സ്വീകാര്യത മാനദണ്ഡത്തെയോ അടിസ്ഥാനമാക്കിയുള്ളതായിരിക്കണം (ഒരു ജോലി "പൂർത്തിയായി" എന്ന് കണക്കാക്കുന്നതിന് പാലിക്കേണ്ട വ്യവസ്ഥകൾ) അടിസ്ഥാനമാക്കിയുള്ളതായിരിക്കണം. "ഈ സാഹചര്യം ഏത് നിയമമാണ് സ്ഥിരീകരിക്കുന്നത്?" ചോദിക്കുക.
2. ചുവപ്പ് കാണുക. കോഡ് തകർത്തുകൊണ്ട് സൃഷ്ടിച്ച ടെസ്റ്റ് ഒരിക്കൽ പ്രവർത്തിപ്പിക്കുക. ഇത് ചുവപ്പായി മാറിയില്ലെങ്കിൽ, പരിശോധന അസാധുവാണ്. AI ടെസ്റ്റിംഗിലെ വിലമതിക്കാനാകാത്ത ഘട്ടമാണിത്.
3. ഇത് സന്ദർഭ ഫിൽട്ടറിലൂടെ കടന്നുപോകുക. ഉൽപ്പന്ന സ്വഭാവം, വാസ്തുവിദ്യ, യഥാർത്ഥ ഉപയോക്തൃ ഒഴുക്ക് എന്നിവയുമായി നിങ്ങൾക്ക് അറിയാവുന്ന ഔട്ട്‌പുട്ട് പൊരുത്തപ്പെടുന്നുണ്ടോ? നിങ്ങളുടെ ഡൊമെയ്ൻ അറിവാണ് അന്തിമ ഫിൽട്ടർ.

ഡാറ്റ സ്വകാര്യതയും സുരക്ഷയും: എന്താണ് എവിടെ പോകുന്നു?

ടെസ്റ്റ് പരിതസ്ഥിതിയിൽ നിങ്ങൾ പ്രവർത്തിക്കുന്ന ഡാറ്റ പലപ്പോഴും സെൻസിറ്റീവ് ആണ്: യഥാർത്ഥ ഉപഭോക്തൃ റെക്കോർഡുകൾ, പ്രൊഡക്ഷൻ ഡാറ്റാബേസ് പകർപ്പുകൾ, API കീകൾ, ആന്തരിക സിസ്റ്റം വിലാസങ്ങൾ, ഇതുവരെ പ്രഖ്യാപിക്കാത്ത സവിശേഷതകൾ. ഒരു ലളിതമായ വർഗ്ഗീകരണം ഉണ്ടാക്കുക: ഓപ്പൺ ഡാറ്റ (രേഖപ്പെടുത്തിയത്, പൊതുവായി ലഭ്യമാണ്) ഏത് വാഹനത്തിലും പ്രവേശിക്കാൻ കഴിയും. ആന്തരിക ഡാറ്റ (സോഴ്സ് കോഡ് ശകലങ്ങൾ, ആന്തരിക ഡോക്യുമെൻ്റേഷൻ) ഏജൻസി അംഗീകരിച്ച ഉപകരണങ്ങൾക്ക് മാത്രം. രഹസ്യാത്മക ഡാറ്റ (യഥാർത്ഥ ഉപഭോക്തൃ ഡാറ്റ, ഐഡൻ്റിറ്റി വിവരങ്ങൾ, അപകടസാധ്യത വിശദാംശങ്ങൾ, കീകൾ) സ്ഥാപനത്തിൻ്റെ കരാർ ഉപകരണങ്ങളിലേക്ക് മാത്രമേ പ്രവേശിക്കൂ, അതിൻ്റെ ഡാറ്റ മോഡൽ പരിശീലനത്തിലേക്ക് പോകുന്നില്ല, വെയിലത്ത് മാസ്ക് ചെയ്തതാണ്.

സുരക്ഷാ പരിശോധനയുടെ പശ്ചാത്തലത്തിൽ ഒരു അധിക പരിധിയുണ്ട്: ഈ മൊഡ്യൂളിൽ പഠിച്ചതെല്ലാം പ്രതിരോധ ആവശ്യങ്ങൾക്കാണ് - നിങ്ങളുടെ സ്വന്തം ഉൽപ്പന്നത്തിൻ്റെ സുരക്ഷ ആധികാരികമായി പരിശോധിക്കുന്നതിന്. അനുമതിയില്ലാതെ മറ്റൊരാളുടെ സിസ്റ്റത്തിലേക്ക് നുഴഞ്ഞുകയറാനോ യഥാർത്ഥ കേടുപാടുകൾ ആയുധമാക്കാനോ നിങ്ങൾക്ക് അധികാരമില്ലാത്ത ഒരു സിസ്റ്റം പരീക്ഷിക്കാനോ AI ഉപയോഗിക്കുന്നത് അനീതിപരവും കുറ്റകരവുമാണ്. അംഗീകാരമില്ലാതെ കുറ്റകരമായ ഒരു പരിശോധനയും നടത്തില്ല (വ്യാപ്തിയും അനുമതിയും).

നുറുങ്ങ്: യഥാർത്ഥ ഉപഭോക്തൃ ഡാറ്റയ്ക്ക് പകരം സിന്തറ്റിക് (കൃത്രിമമായി നിർമ്മിച്ച) ടെസ്റ്റ് ഡാറ്റ ഉപയോഗിക്കുക. "യഥാർത്ഥവും എന്നാൽ തികച്ചും സാങ്കൽപ്പികവുമായ ടെസ്റ്റ് ഡാറ്റ സൃഷ്ടിക്കാൻ" AI-യോട് ആവശ്യപ്പെടുന്നത് സ്വകാര്യത സംരക്ഷിക്കുകയും എഡ്ജ് കേസുകൾ വൈവിധ്യവത്കരിക്കുകയും ചെയ്യുന്നു.

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - ശരിയായ സ്ഥലത്ത് ടൈം സേവർ. ഓരോ റിലീസിനും വേണ്ടിയുള്ള 30-പേജ് ആവശ്യകത പ്രമാണത്തിൽ നിന്ന് ഒരു പരീക്ഷണ രംഗം സ്വമേധയാ സൃഷ്ടിക്കാൻ ഒരു Ekomerce ടീമിൻ്റെ ടെസ്റ്റർ 6 മണിക്കൂർ ചെലവഴിച്ചു. അദ്ദേഹം രേഖ (വ്യാപാര രഹസ്യങ്ങൾ അടങ്ങിയിട്ടില്ലാത്ത ഭാഗം) YZ-ന് നൽകുകയും ഘടനാപരമായ ഒരു ഡ്രാഫ്റ്റ് ആവശ്യപ്പെടുകയും ചെയ്തു; സമയം 90 മിനിറ്റായി കുറച്ചു. AI നഷ്‌ടമായ ബിസിനസ്സ്-റൂൾ എഡ്ജ് കേസുകൾ ചേർത്ത് സ്വയം പരിശോധിക്കാൻ അദ്ദേഹം ലാഭിച്ച സമയം ചെലവഴിച്ചു. AI ആവർത്തിച്ചുള്ള ജോലി എടുത്തുകളഞ്ഞു, വിധി മനുഷ്യനെ ഏൽപ്പിച്ചു.

കേസ് 2 - വ്യാജ പാസിംഗ് പിടികൂടി. ഒരു കമ്പ്യൂട്ട് ഫംഗ്‌ഷനുവേണ്ടി ഒരു ഡെവലപ്പർ AI-യെ 12 യൂണിറ്റ് ടെസ്റ്റുകൾ എഴുതി; അവയെല്ലാം പച്ചയായിരുന്നു. ടെസ്റ്റർ "ചുവപ്പ് കാണുക" എന്ന ഘട്ടം നടപ്പിലാക്കി: ഫംഗ്‌ഷനിലെ സങ്കലന ചിഹ്നം മനഃപൂർവ്വം ഗുണനത്തിലേക്ക് മാറ്റുന്നു. 12 ടെസ്റ്റുകളിൽ 3 എണ്ണം മാത്രമാണ് ചുവപ്പ് നിറത്തിൽ തിരിച്ചെത്തിയത്. മറ്റ് 9 ടെസ്റ്റുകൾ യഥാർത്ഥ സ്ഥിരീകരണം നൽകിയില്ല; "ഇത് ഒരു പിശക് വരുത്തിയില്ല" എന്ന് മാത്രം പറഞ്ഞു. 9 അലങ്കാര പരീക്ഷകൾ ഇല്ലാതാക്കുകയും പകരം 5 യഥാർത്ഥ പരീക്ഷകൾ എഴുതുകയും ചെയ്തു.

കേസ് 3 - സ്വകാര്യത ലംഘനത്തിൽ നിന്ന് മടങ്ങുക. ഒരു ഇൻ്റേൺ യഥാർത്ഥ ഉപഭോക്തൃ ഇമെയിലുകളും പ്രൊഡക്ഷൻ ഡാറ്റാബേസിൽ നിന്നുള്ള കാർഡിൻ്റെ അവസാന നാല് അക്കങ്ങളും അടങ്ങിയ ഒരു പിശക് ലോഗ് ഒരു പൊതു ടൂളിലേക്ക് ഒട്ടിച്ച് "ഈ പിശക് വിശദീകരിക്കുക" എന്ന് പറഞ്ഞു. ക്യുഎ നേതാവ് ഇടപെട്ടു: ഇത് വ്യക്തിഗത ഡാറ്റ നിയന്ത്രണാതീതവും കെവികെകെയുടെ (വ്യക്തിഗത ഡാറ്റ സംരക്ഷണ നിയമം) ലംഘനവുമാണ്. സ്ഥാപനം അംഗീകൃത വാഹനത്തിലും ഇതേ ജോലി ചെയ്തു, വ്യക്തിഗത സ്ഥലങ്ങൾ മറയ്ക്കുകയും ഒരു സ്റ്റാക്ക് ട്രെയ്സ് മാത്രം അവശേഷിപ്പിക്കുകയും ചെയ്തു.

പകർത്താവുന്ന നാല് ടെംപ്ലേറ്റുകൾ

1) ജോലി അനുയോജ്യത വിലയിരുത്തൽ:

നിങ്ങളുടെ റോൾ: മുതിർന്ന QA നേതാവ്. ഞാൻ നിങ്ങൾക്ക് ഒരു ടെസ്റ്റിംഗ് ജോലി വിവരിക്കാം. എന്നോട് പറയൂ (1) ഈ ജോലി സുരക്ഷിതമായി AI-ലേക്ക് ഏൽപ്പിക്കാൻ കഴിയുന്ന ഡ്രാഫ്റ്റിംഗ്/അനാലിസിസ് ജോലിയാണോ അതോ മനുഷ്യൻ എടുക്കേണ്ട ഗുണനിലവാരമുള്ള തീരുമാനമാണോ, (2) തെറ്റായ ഔട്ട്‌പുട്ടിൻ്റെ സാധ്യതയുള്ള ചിലവ്, (3) ചുമതലപ്പെടുത്തുന്നതിന് മുമ്പ് ഞാൻ ചെയ്യേണ്ട പരിശോധന. ജോലി: [ജോലി ഇവിടെ ചേർക്കുക]

2) കപട-പാസ് നിയന്ത്രണം:

ചുവടെയുള്ള പരിശോധന പരിശോധിക്കുക. എന്നോട് പറയൂ:- ഈ പരിശോധന എന്ത് സ്വഭാവമാണ് സ്ഥിരീകരിക്കുന്നത്? (ഒരു വാചകം)- ടെസ്റ്റിന് കീഴിലുള്ള കോഡ് എങ്ങനെ തകർക്കാൻ കഴിയും, അതുവഴി ടെസ്റ്റ് ചുവപ്പായി മാറും?- ഈ ടെസ്റ്റ് എല്ലായ്പ്പോഴും വിജയിക്കാൻ കാരണമായേക്കാവുന്ന എന്തെങ്കിലും ബലഹീനതയുണ്ടോ (നഷ്ടപ്പെട്ട ഉറപ്പ്, സ്വയം സാധൂകരണം, നിസ്സാര പരിശോധന)? ടെസ്റ്റ്: [ടെസ്റ്റ് ഇവിടെ ഒട്ടിക്കുക]

3) ടെസ്റ്റ് ഡാറ്റ മാസ്കിംഗ് നിയന്ത്രണം:

ഞാൻ നിങ്ങൾക്ക് നൽകുന്ന ലോഗ്/ഡാറ്റയിൽ വ്യക്തിപരമോ രഹസ്യാത്മകമോ ആയ ഫീൽഡുകൾ (ഇ-മെയിൽ, പേര്, കാർഡ്, കീ, ആന്തരിക വിലാസം) അടങ്ങിയിരിക്കാം. ആദ്യം, മാസ്ക് ചെയ്യേണ്ട ഫീൽഡുകൾ ലിസ്റ്റ് ചെയ്യുക; ഞാൻ അത് മാസ്ക് ചെയ്ത് വീണ്ടും അയയ്ക്കും. അത് അതേപടി വിശകലനം ചെയ്യരുത്.

4) സിന്തറ്റിക് ടെസ്റ്റ് ഡാറ്റ ജനറേഷൻ:

[ഇനിപ്പറയുന്ന ഫീൽഡ് ഘടനയ്‌ക്കായി] പൂർണ്ണമായും സാങ്കൽപ്പികവും റിയലിസ്റ്റിക്തുമായ ടെസ്റ്റ് ഡാറ്റയുടെ 20 വരികൾ സൃഷ്‌ടിക്കുക. യഥാർത്ഥ വ്യക്തി/ഓർഗനൈസേഷൻ ഡാറ്റ ഉപയോഗിക്കരുത്. എഡ്ജ് കേസുകളും ഉൾപ്പെടുത്തുക: ശൂന്യമായ ഇടം, വളരെ ദൈർഘ്യമേറിയ വാചകം, പരിധി മൂല്യങ്ങൾ, അസാധുവായ ഫോർമാറ്റ്.

ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ്

ദുർബലമായത്: "ഈ കോഡിൽ ടെസ്റ്റുകൾ എഴുതുക."

ശക്തമായത്: "ഡിസ്‌കൗണ്ട് ഫംഗ്‌ഷനുള്ള ഈ റൈറ്റ് യൂണിറ്റ് ടെസ്റ്റുകൾ കണക്കാക്കുക. ഫംഗ്‌ഷൻ്റെ സ്വീകാര്യത മാനദണ്ഡം: 1000 TL-നേക്കാൾ 10% കിഴിവ്, 5000 TL-ന് 20% കിഴിവ്; നെഗറ്റീവ് തുക ഒരു പിശക് വരുത്തണം. ഓരോ ടെസ്റ്റിനും നിങ്ങൾ മൂല്യനിർണ്ണയം നടത്തുന്ന ഒരു റൂൾ ഉപയോഗിച്ച് വ്യക്തമാക്കുക. പരിധി 10,00, 05 മൂല്യങ്ങൾ 100, 05 മൂല്യങ്ങൾ പരിശോധിക്കുക. 0.

ശക്തമായ പ്രോംപ്റ്റ്; ഇത് സ്വീകാര്യത മാനദണ്ഡങ്ങൾ, പരിധി മൂല്യങ്ങൾ, മൂല്യനിർണ്ണയ പ്രതീക്ഷകൾ, സ്പഷ്ടമായ ആൻറി സ്പൂഫിംഗ് നിർദ്ദേശങ്ങൾ എന്നിവ നൽകുന്നു. ദുർബലമായ പ്രോംപ്റ്റ് ഒരു അലങ്കാര പരീക്ഷ എഴുതാൻ AI-യെ ക്ഷണിക്കുന്നു.

സാധാരണ തെറ്റുകൾ

• പച്ചയെ വിശ്വസിക്കുന്നു. പരീക്ഷ പാസാകുന്നത് തെളിവാണെന്ന് കരുതുന്നത്. യഥാർത്ഥ ചോദ്യം ഇതാണ്: നിങ്ങൾ കോഡ് തകർക്കുമ്പോൾ അത് ചുവപ്പായി മാറുമോ?
• ഒരു കാരണവും പറയാതെ ഒരു ടെസ്റ്റ് ആവശ്യപ്പെടുന്നു. സ്ഥിരീകരിക്കേണ്ടതെന്തെന്ന് അറിയാതെ AI ജനറിക്, പലപ്പോഴും ഉപയോഗശൂന്യമായ ടെസ്റ്റുകൾ നിർമ്മിക്കുന്നു.
• സ്ഥിരീകരണം ഒഴിവാക്കുന്നു. "AI എഴുതിയത്, ഒരുപക്ഷേ സത്യമായിരിക്കാം" എന്ന് പറയുന്നു. ഔട്ട്‌പുട്ട് ഉപയോഗിക്കുന്ന വ്യക്തിക്കാണ് ഉത്തരവാദിത്തം.
• ടൂളിലേക്ക് യഥാർത്ഥ/സെൻസിറ്റീവ് ഡാറ്റ ഒട്ടിക്കുന്നു. പ്രൊഡക്ഷൻ ഡാറ്റ, കീകൾ അല്ലെങ്കിൽ വ്യക്തിഗത ഡാറ്റ എന്നിവയിൽ പ്രവർത്തിക്കുന്നു.
• അനധികൃത സുരക്ഷാ പരിശോധന. വ്യാപ്തിയും അനുമതിയുമില്ലാതെ കുറ്റകരമായ പരിശോധനയ്ക്ക് ശ്രമിക്കുന്നു.
• തീരുമാനമെടുക്കൽ ചുമതല ഏൽപ്പിക്കാൻ AI ഉപയോഗിക്കുന്നു. "ഈ പതിപ്പ് പുറത്തിറക്കാൻ കഴിയുമോ?" എന്ന ചോദ്യം ചോദിക്കുന്നു. AI ലേക്ക് ഉത്തരം ഒപ്പിൽ ഇടുന്നു.

ചുരുക്കത്തിൽ

ആവർത്തനവും ഉൽപ്പാദനക്ഷമവുമായ ജോലി വേഗത്തിലാക്കുന്ന QA പ്രക്രിയയിലെ ഒരു ശക്തമായ സഹായിയാണ് AI; എന്നാൽ ഗുണനിലവാര തീരുമാനത്തിൻ്റെ ഉത്തരവാദിത്തം മനുഷ്യനാണ്. ഈ തൊഴിലിൽ AI-യുടെ ഒന്നാമത്തെ അപകടസാധ്യത കപട-പാസാണ്: വൃത്തിയായി കാണപ്പെടുന്നതും എന്നാൽ ഒന്നും സ്ഥിരീകരിക്കാത്തതുമായ ഗ്രീൻ ടെസ്റ്റുകൾ. ഓരോ AI ടെസ്റ്റും മനഃപൂർവം കോഡ് തകർത്തുകൊണ്ട് പരീക്ഷിക്കുക; ചുവപ്പായി മാറിയില്ലെങ്കിൽ, ആ പരീക്ഷ ഒരു അലങ്കാരമാണ്. ആവശ്യകതയുമായി ബന്ധിപ്പിക്കുക, ചുവപ്പ് കാണുക, സന്ദർഭ ഫിൽട്ടറിലൂടെ കടന്നുപോകുക. രഹസ്യാത്മക ഡാറ്റ മറയ്ക്കുക, അംഗീകൃതവും പ്രതിരോധപരവുമായ ആവശ്യങ്ങൾക്കായി മാത്രം സുരക്ഷാ പരിശോധന നടത്തുക.

ആപ്ലിക്കേഷൻ ടാസ്ക്

നിങ്ങളുടെ സ്വന്തം പ്രോജക്റ്റിൽ നിന്ന് 5 AI- ജനറേറ്റഡ് (അല്ലെങ്കിൽ AI- ജനറേറ്റഡ്) യൂണിറ്റ് ടെസ്റ്റുകൾ നടത്തുക. ഓരോന്നിനും: (1) ഏത് സ്വഭാവമാണ് അത് സ്ഥിരീകരിക്കുന്നതെന്ന് ഒരു വാചകത്തിൽ എഴുതുക, (2) ടെസ്റ്റിന് കീഴിൽ കോഡ് മനഃപൂർവ്വം തകർത്ത് പ്രവർത്തിപ്പിക്കുക, അതിൽ എത്രയെണ്ണം ചുവപ്പായി മാറുന്നുവെന്ന് ശ്രദ്ധിക്കുക, (3) ചുവപ്പ് നിറമാകാത്തവയെ "അലങ്കാര പരിശോധനകൾ" എന്ന് അടയാളപ്പെടുത്തി അവ യഥാർത്ഥ ഉറപ്പോടെ വീണ്ടും എഴുതുക. ഫലം ഒരു പട്ടികയിൽ ഇടുക: പരിശോധനയുടെ പേര് / അത് പരിശോധിച്ചുറപ്പിച്ച നിയമം / തകർന്നപ്പോൾ / പ്രവർത്തനം തകർന്നിട്ടുണ്ടോ.

ചെക്ക്ലിസ്റ്റ്

• [ ] ജോലി കൈമാറുന്നതിന് മുമ്പ്, "അത് തെറ്റിയാൽ എനിക്ക് എന്ത് നഷ്ടപ്പെടും?" എന്ന ചോദ്യം ഞാൻ ചോദിച്ചു.
• [ ] ഞാൻ എല്ലാ AI ടെസ്റ്റുകളും കോഡ് തകർത്തുകൊണ്ട് പരീക്ഷിച്ചു; ചുവപ്പ് നിറമാകാത്ത ഒന്ന് ഞാൻ യഥാർത്ഥ ടെസ്റ്റ് ഉപയോഗിച്ച് മാറ്റി.
• [ ] ഞാൻ ടെസ്റ്റ് കേസുകളെ യഥാർത്ഥ ആവശ്യകത/സ്വീകാര്യത മാനദണ്ഡങ്ങളുമായി ബന്ധിപ്പിച്ചു.
• [ ] ഞാൻ സെൻസിറ്റീവ്/യഥാർത്ഥ ഡാറ്റ ഉപകരണത്തിന് നൽകാതെ മറച്ചുവച്ചു; സാധ്യമെങ്കിൽ ഞാൻ സിന്തറ്റിക് ഡാറ്റ ഉപയോഗിച്ചു.
• [ ] ഞാൻ സുരക്ഷാ പരിശോധന അധികാരത്തിനുള്ളിലും പ്രതിരോധ ആവശ്യങ്ങൾക്കും മാത്രമായി പരിഗണിച്ചു.
• [ ] "പതിപ്പ് റിലീസ് ചെയ്യണമോ" എന്ന തീരുമാനം ഞാൻ എഐക്ക് വിട്ടു.