नफा:
- उपयोगिता चाचणी रेकॉर्ड आणि निरीक्षण नोट्स कृत्रिम बुद्धिमत्तेसह निष्कर्ष, वजन आणि शिफारसींमध्ये रूपांतरित करण्याची क्षमता
- तीव्रतेनुसार निष्कर्ष रँक करण्याची आणि प्राधान्य सारणी तयार करण्याची क्षमता
- कृत्रिम बुद्धिमत्ता वगळलेले किंवा वास्तविक निरीक्षण पुराव्यासह अतिशयोक्ती करणारे निष्कर्ष दुरुस्त करण्याची क्षमता
उपयोगिता चाचणी ही वास्तविक वापरकर्त्यांना विशिष्ट कार्ये देऊन आणि त्यांचे निरीक्षण करून डिझाइन कोठे कार्य करते आणि ते कोठे अडकते याचे निरीक्षण करण्याची एक पद्धत आहे. चाचणी स्वतःच सोपी आहे; खरे आव्हान नंतरचे आहे: रेकॉर्डिंगचे तास, निरीक्षण नोट्सची पृष्ठे आणि विखुरलेले स्क्रीनशॉट स्पष्ट, प्राधान्यक्रमित निष्कर्षांमध्ये बदलणे. या संश्लेषणास हाताने दिवस लागतात आणि संघ अनेकदा ते अपूर्ण ठेवतात. कृत्रिम बुद्धिमत्ता ही अडचण उघडते: रेकॉर्ड आणि नोट्सचे निष्कर्ष, वजन आणि शिफारसीमध्ये रूपांतर करणे. परंतु निरीक्षण खरोखरच एक समस्या आहे की नाही आणि ते किती महत्त्वाचे आहे हे ठरवणे हा मानवी निर्णय आहे.
निरीक्षण, शोध आणि सूचना यातील फरक
संश्लेषणामध्ये तीन स्तर वेगळे करणे महत्वाचे आहे:
- निरीक्षण: काय झाले, कोणतीही टिप्पणी नाही. "सहभागी 3 ने 40 सेकंदांसाठी 'सुरू ठेवा' बटण शोधले."
- शोधणे: निरीक्षणातून उदयास येणारा नमुना. "वापरकर्त्यांना प्राथमिक क्रिया शोधण्यात समस्या येत आहे."
- शिफारस: काय करावे. "प्राथमिक बटण दिसायला वेगळे बनवते."
AI त्वरीत या तीन स्तरांची निर्मिती करते, परंतु अनेकदा निरीक्षणाला शोधण्यात गोंधळात टाकते किंवा एकाच निरीक्षणातून संपूर्ण निष्कर्ष काढते. प्रत्येक शोधामागे पुरेशी निरीक्षणे (किती सहभागी, किती वेळा) आहेत हे सत्यापित करणे तुमचे कार्य आहे.
टीप: कृत्रिम बुद्धिमत्तेला "प्रत्येक शोधाच्या खाली, त्याला समर्थन देणारी निरीक्षणे जोडा आणि त्यात किती सहभागी दिसले" असे सांगा. अशा प्रकारे तुम्ही एका निरीक्षणातून फुगवलेले निष्कर्ष त्वरित वेगळे करू शकता.
तीव्रता: प्रथम काय निराकरण करावे?
सर्व निष्कर्ष समान नसतात. गंभीरता सूचित करते की समस्येचे किती तातडीने निराकरण करणे आवश्यक आहे आणि तीन घटकांद्वारे निर्धारित केले जाते:
- प्रभाव: समस्या वापरकर्त्याला कार्य पूर्ण करण्यापासून प्रतिबंधित करते किंवा फक्त त्यांना त्रास देते?
- वारंवारता: किती वापरकर्ते आणि किती वेळा?
- व्यवसाय प्रभाव: ही समस्या रूपांतरण, महसूल किंवा विश्वासावर किती परिणाम करते?
ठराविक स्केल: गंभीर (पूर्णपणे मिशनमध्ये अडथळा आणतो), उच्च (गंभीर अडचण), मध्यम (मंद होतो), कमी (कॉस्मेटिक). AI प्रारंभिक रँकिंग सुचवू शकते, परंतु अंतिम वेटिंग निर्णय — विशेषतः व्यवसाय प्रभाव — साठी संघाचे संदर्भाचे ज्ञान आवश्यक आहे.
शोधणे
प्रभाव
वारंवारता
महत्त्व
सूचना
प्राथमिक बटण सापडत नाही
त्यामुळे कामात व्यत्यय येतो
4/6 सहभागी
गंभीर
हायलाइट बटण
त्रुटी संदेश अस्पष्ट आहे
मंद होत आहे
३/६
उच्च
संदेश स्पष्ट करा
चिन्हाचा अर्थ अस्पष्ट आहे
थोडासा संकोच
2/6
मध्यम
टॅग जोडा
कलर टोन आवडला नाही
सौंदर्यप्रसाधने
१/६
कमी
नंतरसाठी सोडा
तीन लहान प्रकरणे
केस 1 - रेकॉर्डिंगचे 5 तास, अर्ध्या दिवसात निष्कर्ष. एका टीमने AI ला 6 वापरकर्ता चाचण्या (एकूण 5 तास) च्या नोट्स दिल्या. मॉडेलने 14 निष्कर्ष सुचवले; टीमने प्रत्येक निरीक्षणाच्या संख्येनुसार तपासले, ते 9 पर्यंत कमी केले आणि त्यांना महत्त्वाच्या क्रमाने क्रमवारी लावली. संश्लेषण, ज्याला हाताने 2 दिवस लागले असते, ते अर्धा दिवस कमी केले गेले.
केस 2 - फुगवलेला शोध पकडला गेला. “वापरकर्त्यांना नेव्हिगेशन समजत नाही,” AI ने गंभीर निष्कर्षात लिहिले. जेव्हा संघाने सहाय्यक निरीक्षणे पाहिली तेव्हा त्यांना आढळले की ते एकाच सहभागीच्या एका क्षणावर आधारित होते. शोध "मध्यम" वर अवनत केला गेला आणि अधिक डेटाची विनंती केली गेली. धडा: एकल निरीक्षण गंभीर निष्कर्ष काढत नाही.
केस 3 - चुकलेली गंभीर समस्या. मॉडेलने आवर्ती परंतु किरकोळ समस्या (स्वत: स्क्रोलिंग नसलेली फॉर्म) "कमी" म्हणून मोजली. जेव्हा डिझायनरने निरीक्षणे पाहिली, तेव्हा त्याला लक्षात आले की यामुळे 5 सहभागींमध्ये कार्य सोडले गेले आणि ते "उच्च" वर सेट केले. धडा: AI च्या महत्त्वाचा अंदाज निरीक्षणात्मक पुराव्यांद्वारे दुरुस्त केला जातो.
परिमाणवाचक आणि गुणात्मक डेटा एकत्र वाचणे
उपयोगिता चाचणी बहुतेक गुणात्मक (निरीक्षण-आधारित) असते, परंतु परिमाणात्मक (संख्यात्मक) संकेत देखील असतात: कार्य पूर्ण होण्याचा दर, कार्य कालावधी, त्रुटींची संख्या, समाधान गुण. सर्वात शक्तिशाली संश्लेषण या दोघांना एकत्र करते: "केवळ 33% सहभागींनी चेकआउट कार्य (परिमाणात्मक) पूर्ण केले आणि जे पूर्ण करण्यात अयशस्वी झाले ते सर्व शिपिंग चरणावर (गुणात्मक) अडकले." कृत्रिम बुद्धिमत्ता या दोन डेटाला तुम्ही स्वतंत्रपणे देता तेव्हा एकत्र करण्यात मदत करते; परंतु तुम्ही संख्या आणि नमुना आकाराच्या अचूकतेची पुष्टी करता. टक्केवारीबद्दल बोलणे लहान नमुन्यांमध्ये दिशाभूल करणारे असू शकते (उदा. 5 वापरकर्ते); "60%" म्हणण्यापेक्षा "5 पैकी 3 वापरकर्ते" म्हणणे अधिक प्रामाणिक आहे. मॉडेलला निरपेक्ष संख्येने बोलण्यास सांगा.
टीप: AI ला "टक्केवारीऐवजी 'किती वापरकर्ते' असे लिहा." लहान नमुन्यांमध्ये, टक्केवारी वास्तविकतेपेक्षा जास्त अचूकतेची छाप देते.
कॉपी करण्यायोग्य सूचना
तुमची भूमिका: उपयोगिता विश्लेषक. खालील निनावी चाचणी नोट्समधून निष्कर्ष काढा. प्रत्येक शोधासाठी: 1) स्पष्ट विधान, 2) समर्थन निरिक्षण आणि किती सहभागींनी ते पाहिले, 3) प्रभाव (ब्लॉकिंग/स्लोइंग/कॉस्मेटिक). एकाच निरीक्षणावर आधारित निष्कर्षांना "कमजोर पुरावा" म्हणून चिन्हांकित करा. टिपा: <<text>>
महत्त्वानुसार निष्कर्षांची ही यादी क्रमवारी लावा. निकष: प्रभाव (कार्य अडथळा?), वारंवारता (किती सहभागी?), व्यवसाय प्रभाव. प्रत्येक शोध गंभीर/उच्च/मध्यम/निम्न असाइन करा आणि तर्क लिहा. तुम्हाला व्यवसायाच्या प्रभावाबद्दल खात्री नसल्यास, "संघाचे मूल्यांकन करणे आवश्यक आहे" असे म्हणा. निष्कर्ष: <<list>>
प्रत्येक शोधासाठी ठोस, कृती करण्यायोग्य डिझाइन शिफारस लिहा. शिफारस: काय बदलेल + हे समस्या का सोडवते + कोणत्या स्क्रीनवर त्याचा परिणाम होतो. अस्पष्ट ("चांगले करा") शिफारसी टाळा. निष्कर्ष: <<list>>
भागधारकांच्या सादरीकरणासाठी या निष्कर्षांचा अहवाल सारांशित करा: एक संक्षिप्त कार्यकारी सारांश लिहा ज्यामध्ये 3 सर्वात गंभीर निष्कर्ष, पुरावे (किती वापरकर्ते) आणि शिफारस केलेली कारवाई समाविष्ट आहे. अतिशयोक्ती; नोट्समधून क्रमांक घ्या. अहवाल: <<text>>
कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट
कमकुवत: "या चाचणी गुणांवरून निष्कर्ष काढा."
परिणाम: पुरावे नसलेली मिश्रित यादी, महत्त्वाचा क्रम नाही आणि एकच निरीक्षण चुकीचे आहे.
सशक्त: "नोट्समधून एक निष्कर्ष काढा; प्रत्येक शोधाखाली, सहाय्यक निरीक्षणे जोडा आणि त्यात किती सहभागी दिसले; एका निरीक्षणावर आधारित एकाला 'कमकुवत पुरावा' म्हणून चिन्हांकित करा; नंतर परिणाम-वारंवारता-कार्य परिणामानुसार महत्त्वाच्या क्रमाने रँक करा."
परिणाम: पुरावा-आधारित, प्राधान्यक्रमित, बचावात्मक निष्कर्ष.
फरक: मजबूत प्रॉम्प्ट पुराव्याची संख्या + कमकुवत प्रॉम्प्ट + महत्त्व निकष.
सामान्य चुका
- शोधण्यासोबत गोंधळात टाकणारे निरीक्षण. एकच "काय घडले" ला एकंदर निष्कर्षात बदलणे.
- एकाच निरीक्षणातून गंभीर निष्कर्ष काढणे. वारंवारता सत्यापित होईपर्यंत कोणतेही वजन दिले जाणार नाही.
- कृत्रिम बुद्धिमत्तेवर व्यवसायाचा प्रभाव ठरवणे. महसूल/रूपांतर प्रभावाला संदर्भ आवश्यक आहे; तो त्याच्या संघात आहे.
- प्राधान्य देऊ नका. निष्कर्षांची अव्यवस्थित यादी संघाला पक्षाघात करते; सर्व काही एकाच वेळी निश्चित केले जाऊ शकत नाही.
- सूचना अस्पष्ट सोडून. "चांगले करा" हे लागू होत नाही; काय, का आणि कुठे हे स्पष्ट असावे.
सारांशात
उपयोगिता चाचणीचे मूल्य रेकॉर्डिंग आणि नोट्स स्पष्ट, प्राधान्यीकृत निष्कर्षांमध्ये बदलण्यात येते. कृत्रिम बुद्धिमत्ता या संश्लेषणास मोठ्या प्रमाणात गती देते: निष्कर्षांमध्ये निरीक्षणे एकत्रित करते, शिफारसींचे मसुदे तयार करतात, महत्त्वाचा क्रम सूचित करतात. परंतु प्रत्येक शोधामागील निरीक्षणांची संख्या सत्यापित करणे, एकल निरीक्षणांवर आधारित फुगवलेले निष्कर्ष काढून टाकणे आणि संदर्भासह व्यवसाय प्रभावाचे वजन करणे हे मानवी काम आहे. निष्कर्ष अहवाल जो पुराव्यावर आधारित असतो, त्याची विशिष्ट वारंवारता असते आणि महत्त्वाच्या क्रमाने मांडलेली असते ती भागधारकांसाठी जलद आणि बचावक्षम असेल.
अर्ज कार्य
- उपयोगिता चाचणी (वास्तविक किंवा काल्पनिक) मधील नोट्स अनामित करा.
- पहिल्या प्रॉम्प्टवर निष्कर्ष काढा; प्रत्येक अंतर्गत निरीक्षणांची संख्या तपासा.
- "कमकुवत पुरावे" म्हणून चिन्हांकित केलेले निष्कर्ष वेगळे करा आणि अतिरिक्त डेटा आवश्यक आहे का ते ठरवा.
- दुसऱ्या प्रॉम्प्टसह, महत्त्वाच्या क्रमाने निष्कर्षांची रँक करा; एक संघ म्हणून व्यवसाय प्रभावाचे मूल्यांकन करा.
- तिसऱ्या प्रॉम्प्टसह, प्रत्येक शोधासाठी ठोस सूचना लिहा आणि प्राधान्य सारणी तयार करा.
चेकलिस्ट
- मी निरीक्षण, निष्कर्ष आणि सूचना स्वतंत्र स्तर म्हणून ठेवल्या.
- [ ] मी सत्यापित केले की किती सहभागींनी प्रत्येक शोध दर्शविला.
- मी एका निरीक्षणावर आधारित निष्कर्ष कमकुवत पुरावा म्हणून चिन्हांकित केले.
- [ ] मी तीव्रता पातळी प्रभाव-वारंवारता-नोकरी प्रभावाद्वारे निर्धारित केली.
- संघासह व्यवसाय परिणाम निर्णयाचे मूल्यांकन केले.
- [ ] मी सूचना ठोसपणे लिहिल्या आहेत (काय/का/कुठे).