नफा:
- कृत्रिम बुद्धिमत्ता QA प्रक्रियेत रिअल टाइम कुठे वाचवते आणि कामाच्या जोखमीच्या पातळीनुसार 'प्रकाशनासाठी तयार' सारखे दर्जेदार निर्णय कोठे मानवांवर सोडले जातात हे वेगळे करण्यास सक्षम असणे
- खोट्या पास होण्याचा धोका ओळखण्याची आणि कोडची जाणीवपूर्वक भंग करून प्रत्येक AI चाचणीची चाचणी घेणारी पडताळणी शिस्त लागू करण्याची क्षमता
- चाचणी डेटा, वैयक्तिक डेटा आणि कळा संरक्षित करण्याची क्षमता आणि केवळ अधिकृततेमध्ये आणि बचावात्मक हेतूंसाठी सुरक्षा चाचणी करण्याची सवय मिळवणे.
रिलीझ नाईटचा विचार करा. शेकडो चाचण्या झाल्या, त्या सर्वांना हिरवा कंदील मिळाला, टीमला दिलासा मिळाला आणि सॉफ्टवेअर लाइव्ह झाले. दुसऱ्या दिवशी सकाळी, ग्राहकाने पेमेंट स्क्रीन क्रॅश झाल्याची तक्रार केली. चाचण्या हिरव्या होत्या पण त्याला त्रुटी दिसली नाही. हे गुणवत्ता हमी (QA) व्यवसायाचे सर्वात कपटी दुःस्वप्न आहे, म्हणजे, सॉफ्टवेअर इच्छित गुणवत्तेचे आहे याची पद्धतशीरपणे खात्री करणारी शिस्त: चाचणी जी हिरवी चमकते परंतु प्रत्यक्षात काहीही पुष्टी करत नाही. जेव्हा कृत्रिम बुद्धिमत्ता (एआय — ऐतिहासिक डेटामधून नमुने काढणारे आणि मजकूर आणि कोड तयार करणारे सॉफ्टवेअर) या व्यवसायात प्रवेश करतात, तेव्हा या दुःस्वप्नाचे प्रचंड प्रवेग आणि मोठेीकरण दोन्ही होते. या मॉड्यूलचे प्रारंभिक वचन स्पष्ट आहे: AI एक चाचणी सहाय्यक, ब्लूप्रिंट जनरेटर आणि कल्पना गुणक आहे; तुम्ही परीक्षक आहात जे "हे सॉफ्टवेअर रिलीझसाठी तयार आहे" या निर्णयावर सही करतात.
या पहिल्या युनिटमध्ये आपण शिस्तीवर लक्ष केंद्रित करू, साधनावर नाही. QA प्रक्रियेमध्ये AI रिअल टाइम कुठे वाचवते, ते कुठे धोकादायक आहे, फसव्या हिरवा तथाकथित "फॉल्स-पास" हा सर्वात मोठा धोका का आहे, प्रत्येक आउटपुटची पडताळणी कशी करायची आणि तुम्ही कोणत्या टूलला कोणता डेटा देऊ शकता हे तुम्हाला शिकायला मिळेल. हा पाया घातल्याशिवाय, त्यानंतरचे युनिट हवेतच राहतील.
चाचणी प्रक्रियेत AI कुठे उपयोगी पडते?
चला चाचणी नोकऱ्या दोन मोठ्या क्लस्टरमध्ये विभागू. पहिला क्लस्टर: पुनरावृत्ती, उत्पादनक्षम, मसुदा नोकऱ्या. आवश्यकतेनुसार चाचणी केसचा मसुदा तयार करणे, ब्रेकपॉइंट्स सूचीबद्ध करणे, स्क्रीनसाठी ऑटोमेशन कोड स्केलेटन लिहिणे, जटिल त्रुटी केसचे व्यवस्थित त्रुटी अहवालात भाषांतर करणे, लॉग फाइल्सच्या शेकडो ओळींचा सारांश देणे, API प्रतिसादातून स्कीमा काढणे. या कामांमध्ये एआय मिनिट ते सेकंद कमी करते आणि थकवा येत नाही.
दुसरा क्लस्टर: निर्णय ज्यांचे परिणाम गुणवत्ता, विश्वास आणि जबाबदारी आहे. “ही आवृत्ती लाइव्ह होऊ शकते का”, “हा बग गंभीर आहे की पुढे ढकलला जाऊ शकतो”, “हे चाचणी कव्हरेज पुरेसे आहे का”, “या परिस्थितीमुळे वास्तविक वापरकर्त्याचा धोका आहे का” इत्यादी निर्णयांना संदर्भ, उत्पादन ज्ञान आणि जबाबदारी आवश्यक आहे. येथे AI पर्याय, मसुदे व्युत्पन्न करते — परंतु तुम्ही “पास/फेल” आणि “जा/नो गो” ठरवता.
चला एका वाक्यात फरक स्पष्ट करूया: AI "कोणत्या परिस्थितीत चाचणी केली जाऊ शकते आणि त्याची चाचणी करणारा कोड कसा लिहायचा" यावर मजबूत आहे; "हे सॉफ्टवेअर खरोखर कार्य करते का आणि त्यासाठी कोण आश्वासन देते?" प्रश्न येतो तेव्हा निर्णय तुमचा आहे.
टीप: एआयला नोकरी सोपवण्यापूर्वी, विचारा: "हे आउटपुट चुकीचे असेल आणि मला लक्षात आले नाही तर काय होईल?" "मी काही मिनिटे गमावेन" असे उत्तर असल्यास, सहजपणे प्रतिनिधी करा. जर उत्तर "दोषपूर्ण सॉफ्टवेअर थेट जाते" असेल, तर AI ला मसुदा तयार करू द्या आणि तुम्ही निर्णय आणि पडताळणी कराल.
खोटा पास: QA मध्ये AI चा प्रथम क्रमांकाचा धोका
जेव्हा चाचणी हिरवी दिसू लागते, तेव्हा याचा अर्थ दोन गोष्टी असू शकतात: एकतर सॉफ्टवेअर खरोखर योग्यरित्या कार्य करत आहे, किंवा चाचणी चुकीच्या पद्धतीने लिहीली गेल्याने त्याला बग दिसत नाही. दुसऱ्याला खोटे पास म्हणतात — चाचणी "पास" म्हणते परंतु प्रत्यक्षात काहीही पुष्टी करत नाही. AI सह तयार केलेल्या चाचण्यांमध्ये हा धोका लक्षणीयरीत्या वाढतो, कारण AI अस्खलित, गुळगुळीत दिसणाऱ्या पण रिकाम्या चाचण्या लिहिण्यात खूप यशस्वी आहे.
छद्म-पासचे तीन सर्वात सामान्य प्रकार आहेत: (1) प्रतिपादनाशिवाय चाचणी - कोड चालतो, त्यात कोणतेही दावे नसतात, नेहमी पास होतात. (२) स्व-पडताळणी चाचणी — चाचणीचे अपेक्षित मूल्य चाचणी अंतर्गत कोडच्या आउटपुटवरून मोजले जाते; म्हणजेच, कोड जे काही तयार करते ते चाचणी "बरोबर" म्हणून स्वीकारते. (३) चुकीची गोष्ट सत्यापित करणारी चाचणी — दावा अस्तित्वात आहे, परंतु ते क्षुल्लक गोष्ट तपासते (उदा. "प्रतिसाद शून्य नाही"), वास्तविक व्यवसाय नियम नाही.
खबरदारी: हिरवा चाचणी पॅनेल गुणवत्तेचा पुरावा नाही; सर्वोत्कृष्ट असे म्हणतात की "आम्ही लिहिलेली नियंत्रणे सध्या तुटलेली नाहीत". एआयने तयार केलेल्या चाचणीवर "पास" पाहून दिलासा देऊ नका — खरा प्रश्न आहे: जर मी मुद्दाम कोड तोडला तर ही चाचणी लाल होईल का? जर ते फिरत नसेल, तर ती चाचणी एक सजावट आहे.
या मॉड्यूलमध्ये पुनरावृत्ती होणारा सुवर्ण नियम: मुद्दाम कोड तोडून प्रत्येक AI चाचणीची चाचणी घ्या. चाचणी अद्याप हिरवी असल्यास, ती चाचणी कार्य करत नाही. (आम्ही ही कल्पना युनिट 10 मध्ये उत्परिवर्तन चाचणी म्हणून सखोल करू.)
सत्यापन शिस्त: तीन चरण
AI आत्मविश्वासाने बोलतो; याचा अर्थ ते खरे आहे असे नाही. प्रत्येक परिणामावर लागू करण्यासाठी तीन-चरण प्रतिक्षेप विकसित करा:
- आवश्यकतेनुसार बांधा. प्रत्येक चाचणी प्रकरण आणि AI उत्पादन करण्याची खरी गरज किंवा स्वीकृती निकषांवर आधारित असल्याचे आवश्यक आहे (जॉब "पूर्ण" मानले जाण्यासाठी अटी पूर्ण करणे आवश्यक आहे). "हे दृश्य कोणत्या नियमाची पुष्टी करते?" विचारा
- लाल पहा. कोड तोडून एकदा व्युत्पन्न चाचणी चालवा. जर ते लाल झाले नाही तर चाचणी अवैध आहे. AI चाचणीमधील ही वाटाघाटी न करता येणारी पायरी आहे.
- संदर्भ फिल्टरमधून ते पास करा. उत्पादनाचे वर्तन, आर्किटेक्चर, वास्तविक वापरकर्ता प्रवाह याच्याशी आउटपुट जुळते का? तुमचे डोमेन ज्ञान हे अंतिम फिल्टर आहे.
डेटा गोपनीयता आणि सुरक्षितता: काय कुठे जाते?
चाचणी वातावरणात तुम्ही ज्या डेटासह कार्य करता ते सहसा संवेदनशील असते: वास्तविक ग्राहक नोंदी, उत्पादन डेटाबेस प्रती, API की, अंतर्गत सिस्टम पत्ते, अद्याप घोषित केलेली वैशिष्ट्ये. एक साधे वर्गीकरण करा: खुला डेटा (दस्तऐवजीकरण केलेला, सार्वजनिकरित्या उपलब्ध) कोणत्याही वाहनात प्रवेश करू शकतो. अंतर्गत डेटा (स्रोत कोडचे तुकडे, अंतर्गत दस्तऐवजीकरण) केवळ एजन्सी-मंजूर साधनांसाठी. गोपनीय डेटा (वास्तविक ग्राहक डेटा, ओळख माहिती, भेद्यता तपशील, की) फक्त संस्थेच्या करार केलेल्या साधनांमध्ये प्रवेश करतो, ज्याचा डेटा मॉडेल प्रशिक्षणाकडे जात नाही, शक्यतो मुखवटा घातलेला असतो.
सुरक्षा चाचणीच्या संदर्भात एक अतिरिक्त मर्यादा आहे: या मॉड्यूलमध्ये शिकलेली प्रत्येक गोष्ट बचावात्मक हेतूंसाठी आहे — तुमच्या स्वतःच्या उत्पादनाच्या सुरक्षिततेची अधिकृतपणे चाचणी करण्यासाठी. परवानगीशिवाय दुसऱ्याच्या सिस्टममध्ये घुसखोरी करण्यासाठी AI वापरणे, वास्तविक असुरक्षा शस्त्रे बनवणे किंवा ज्या सिस्टमसाठी तुम्हाला अधिकार नाही अशा प्रणालीची चाचणी घेणे अनैतिक आणि गुन्हेगारी दोन्ही आहे. अधिकृततेशिवाय (व्याप्ती आणि परवानगी) कोणतीही आक्षेपार्ह चाचणी केली जाणार नाही.
टीप: वास्तविक ग्राहक डेटाऐवजी कृत्रिम (कृत्रिमरित्या उत्पादित) चाचणी डेटा वापरा. AI ला “वास्तववादी परंतु पूर्णपणे काल्पनिक चाचणी डेटा व्युत्पन्न” करण्यास सांगणे दोन्ही गोपनीयतेचे रक्षण करते आणि किनारी प्रकरणांमध्ये विविधता आणते.
तीन लहान प्रकरणे
केस 1 - योग्य ठिकाणी वेळ बचतकर्ता. Ekomerce टीमच्या परीक्षकाने प्रत्येक रिलीझसाठी 30-पृष्ठ आवश्यकता दस्तऐवजातून मॅन्युअली चाचणी परिस्थिती तयार करण्यासाठी 6 तास घालवले. त्याने दस्तऐवज (व्यापार गुपिते नसलेला भाग) YZ ला दिला आणि संरचित परिस्थितीचा मसुदा मागितला; वेळ ९० मिनिटांपर्यंत कमी करण्यात आला. एआयने चुकलेल्या बिझनेस-रूल एज केसेस जोडून स्वतः पडताळण्यात वाचलेला वेळ त्याने दिला. AI ने पुनरावृत्तीचे काम काढून घेतले, निर्णय मानवावर सोडला.
प्रकरण २ - बनावट पासिंग पकडले. एका डेव्हलपरकडे कंप्युट फंक्शनसाठी एआय राइट 12 युनिट चाचण्या होत्या; ते सर्व हिरवे होते. परीक्षकाने "लाल पहा" पायरी अंमलात आणली: फंक्शनमधील जोड चिन्ह मुद्दाम गुणाकारात बदलणे. 12 पैकी फक्त 3 चाचण्या लाल झाल्या. इतर 9 चाचण्यांनी कोणतीही खरी पुष्टी दिली नाही; ते फक्त "त्याने एरर टाकली नाही" असे म्हटले आहे. 9 सजावटीच्या चाचण्या हटविल्या गेल्या आणि त्याऐवजी 5 वास्तविक चाचण्या लिहिल्या गेल्या.
प्रकरण 3 - गोपनीयतेच्या उल्लंघनातून परत येणे. एका इंटर्नने प्रॉडक्शन डेटाबेसमधील वास्तविक ग्राहक ईमेल आणि कार्डचे शेवटचे चार अंक असलेले एरर लॉग एका सार्वजनिक टूलमध्ये पेस्ट केले आणि "ही त्रुटी स्पष्ट करा" असे म्हटले. QA नेत्याने हस्तक्षेप केला: हा वैयक्तिक डेटा नियंत्रणाबाहेर होता आणि KVKK (वैयक्तिक डेटा संरक्षण कायदा) चे उल्लंघन होते. हेच काम संस्था-मान्यता असलेल्या वाहनात केले गेले, वैयक्तिक क्षेत्रे मुखवटा घातली गेली आणि फक्त स्टॅक ट्रेस सोडला गेला.
चार कॉपी करण्यायोग्य टेम्पलेट्स
1) नोकरीच्या योग्यतेचे मूल्यांकन:
तुमची भूमिका: वरिष्ठ QA नेता. मी तुम्हाला चाचणी नोकरीचे वर्णन करेन. मला सांगा (१) हे काम मसुदा/विश्लेषणाचे काम आहे जे AI ला सुरक्षितपणे सोपवले जाऊ शकते की दर्जेदार निर्णय घेणे आवश्यक आहे, (2) चुकीच्या आउटपुटची संभाव्य किंमत, (3) नियुक्त करण्यापूर्वी मी केलेली पडताळणी. नोकरी: [येथे नोकरी घाला]
2) छद्म-पास नियंत्रण:
खालील चाचणी पहा. मला सांगा:- ही चाचणी कोणत्या वर्तनाची पुष्टी करते? (एक वाक्य)- मी चाचणी अंतर्गत कोड कसा खंडित करू शकतो जेणेकरून चाचणी लाल होईल?- ही चाचणी नेहमी उत्तीर्ण होण्यास कारणीभूत नसलेली कमकुवतता आहे का?
3) चाचणी डेटा मास्किंग नियंत्रण:
मी तुम्हाला जो लॉग/डेटा देईन त्यात वैयक्तिक किंवा गोपनीय फील्ड (ई-मेल, नाव, कार्ड, की, अंतर्गत पत्ता) असू शकतात. प्रथम, मास्क करणे आवश्यक असलेल्या फील्डची यादी करा; मी ते मुखवटा घालीन आणि पुन्हा पाठवीन. जसे आहे तसे विश्लेषण करू नका.
4) सिंथेटिक चाचणी डेटा निर्मिती:
[खालील फील्ड स्ट्रक्चर] साठी पूर्णपणे काल्पनिक, वास्तववादी चाचणी डेटाच्या 20 पंक्ती तयार करा. वास्तविक व्यक्ती/संस्थेचा डेटा वापरू नका. एज केसेस देखील समाविष्ट करा: रिक्त जागा, खूप मोठा मजकूर, मर्यादा मूल्ये, अवैध स्वरूप.
कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट
कमकुवत: "या कोडवर चाचण्या लिहा."
सशक्त: "सवलत कार्यासाठी या लिहा युनिट चाचण्यांची गणना करा. कार्यासाठी स्वीकृती निकष: 1000 TL वर 10% सवलत, 5000 TL पेक्षा 20% सूट; नकारात्मक रकमेने त्रुटी काढली पाहिजे. प्रत्येक चाचणीसाठी तुम्ही कोणत्या नियमाची पडताळणी करत आहात हे टिप्पणी ओळीसह निर्दिष्ट करा. मर्यादा , 990 1 मूल्य, 9901 चाचणी करा. 5000, 0, -1) स्वतंत्रपणे वापरा जे मी रिकामे केले किंवा क्षुल्लक प्रतिपादन केले नाही तर लाल होईल.
शक्तिशाली प्रॉम्प्ट; हे स्वीकृती निकष, मर्यादा मूल्ये, प्रमाणीकरण अपेक्षा आणि स्पष्ट अँटी-स्पूफिंग सूचना प्रदान करते. कमकुवत प्रॉम्प्ट एआयला सजावटीची चाचणी लिहिण्यासाठी आमंत्रित करते.
सामान्य चुका
- हरीवर भरवसा. परीक्षेत उत्तीर्ण होणे हा पुरावा आहे असा विचार करणे. खरा प्रश्न आहे: जेव्हा तुम्ही कोड तोडता तेव्हा ते लाल होते का?
- कोणतेही कारण न देता चाचणीची विनंती करणे. AI जेनेरिक, अनेकदा निरुपयोगी चाचण्या तयार करते ज्याची पडताळणी करणे आवश्यक आहे.
- सत्यापन वगळणे. "एआयने लिहिले आहे, हे कदाचित खरे आहे" असे म्हणणे. जबाबदारी आउटपुट वापरणाऱ्या व्यक्तीची असते.
- टूलमध्ये वास्तविक/संवेदनशील डेटा पेस्ट करणे. उत्पादन डेटा, की किंवा वैयक्तिक डेटासह कार्य करणे.
- अनधिकृत सुरक्षा चाचणी. संधी आणि परवानगीशिवाय आक्षेपार्ह चाचणीचा प्रयत्न करणे.
- निर्णय घेण्याचे काम सोपविण्यासाठी AI वापरणे. प्रश्न विचारून "ही आवृत्ती सोडता येईल का?" AI ला आणि स्वाक्षरीमध्ये उत्तर टाकणे.
सारांशात
AI हा QA प्रक्रियेतील एक शक्तिशाली सहाय्यक आहे जो पुनरावृत्ती आणि उत्पादनक्षम कार्याला गती देतो; पण दर्जेदार निर्णयाची जबाबदारी माणसाची आहे. या व्यवसायात AI चा प्रथम क्रमांकाचा धोका स्यूडो-पास आहे: हिरव्या चाचण्या ज्या व्यवस्थित दिसतात परंतु कशाचीही पुष्टी करत नाहीत. मुद्दाम कोड मोडून प्रत्येक AI चाचणीची चाचणी घ्या; जर ते लाल झाले नाही तर ती चाचणी एक सजावट आहे. ते आवश्यकतेनुसार बांधा, लाल पहा, संदर्भ फिल्टरमधून पास करा. गोपनीय डेटा मास्क करा, केवळ अधिकृत आणि बचावात्मक हेतूंसाठी सुरक्षा चाचणी करा.
अर्ज कार्य
तुमच्या स्वतःच्या प्रकल्पातून 5 AI-व्युत्पन्न (किंवा AI-व्युत्पन्न) युनिट चाचण्या घ्या. प्रत्येकासाठी: (१) ते कोणत्या वर्तनाची पडताळणी करते ते एका वाक्यात लिहा, (२) चाचणी अंतर्गत कोड मुद्दाम तोडा आणि चालवा आणि किती लाल झाले ते लक्षात घ्या, (३) जे लाल होत नाहीत त्यांना "सजावट चाचण्या" म्हणून चिन्हांकित करा आणि त्यांना खऱ्या प्रतिज्ञासह पुन्हा लिहा. निकाल टेबलमध्ये ठेवा: चाचणीचे नाव / नियम ते सत्यापित केले / तुटले तेव्हा तुटले / कृती.
चेकलिस्ट
- [ ] काम सोपवण्यापूर्वी मी प्रश्न विचारला की "चुकले तर मी काय गमावणार?"
- [ ] मी कोड तोडून प्रत्येक AI चाचणीची चाचणी केली; मी खऱ्या परीक्षेत लाल न झालेला बदलला.
- मी चाचणी प्रकरणे वास्तविक आवश्यकता/स्वीकृती निकषांशी जोडली आहेत.
- मी संवेदनशील/वास्तविक डेटा टूलला न देता मास्क केला आहे; मी शक्य असल्यास सिंथेटिक डेटा वापरला.
- [ ] मी फक्त अधिकारात आणि बचावात्मक हेतूंसाठी सुरक्षा चाचणीचा विचार केला.
- [ ] मी AI वर नाही तर "व्हर्जन रिलीझ होईल की नाही" हा निर्णय माझ्यावर सोपवला आहे.