Табыстар:
- Қолдануға жарамдылық сынағы жазбалары мен бақылау жазбаларын жасанды интеллект көмегімен қорытындыларға, салмақтарға және ұсыныстарға түрлендіру мүмкіндігі
- Нәтижелерді ауырлық дәрежесіне қарай жіктеу және басымдық кестесін жасау мүмкіндігі
- Жасанды интеллект жібермейтін немесе асыра сілтейтін тұжырымдарды нақты бақылау дәлелдерімен түзету мүмкіндігі
Қолдануға жарамдылығын тестілеу - нақты пайдаланушыларға нақты тапсырмалар беру және оларды бақылау арқылы дизайн қай жерде жұмыс істейтінін және оның қай жерде тұрып қалатынын бақылау әдісі. Тесттің өзі оңай; Нағыз қиындық осыдан кейін: жазу сағаттарын, бақылау жазбаларының беттерін және шашыраңқы скриншоттарды анық, басымдық берілген нәтижелерге айналдыру. Бұл синтез қолмен бірнеше күн алады және командалар көбінесе оны аяқталмай қалдырады. Жасанды интеллект бұл тар жолды ашады: жазбалар мен жазбаларды қорытындыға, салмақ пен ұсынысқа айналдырады. Бірақ бақылаудың шынымен проблема болып табылатынын және оның қаншалықты маңызды екенін адамның пайымдауы.
Бақылау, табу және ұсыныс арасындағы айырмашылық
Синтезде үш қабатты бөлу маңызды:
- Бақылау: Не болды, түсініктеме жоқ. «3-қатысушы «жалғастыру» түймесін 40 секунд бойы іздеді».
- Табылуы: бақылаулар нәтижесінде пайда болатын үлгі. «Пайдаланушылар негізгі әрекетті табуда қиындықтарға тап болады».
- Ұсыныс: не істеу керек. "Негізгі түймені көрнекі түрде ерекше етеді."
AI осы үш қабатты тез жасайды, бірақ көбінесе бақылауды табумен шатастырады немесе бір бақылаудан тұтас қорытынды шығарады. Сіздің міндетіңіз - әрбір қорытындының артында жеткілікті бақылаулар (қанша қатысушы, қанша рет) бар екенін тексеру.
Кеңес: Жасанды интеллект «әр табылғанның астына оны қолдайтын бақылауларды және оның қанша қатысушыда көргенін қосыңыз» деп айтуын сұраңыз. Осылайша сіз бір бақылаудан күшейтілген нәтижелерді бірден ажырата аласыз.
Ауырлық: алдымен нені түзету керек?
Барлық нәтижелер бірдей емес. Қауіптілік мәселенің қаншалықты шұғыл түрде шешілуі керектігін көрсетеді және үш фактормен анықталады:
- Әсері: Мәселе пайдаланушыға тапсырманы орындауға кедергі келтіре ме немесе жай ғана оларды тітіркендіреді ме?
- Жиілік: қанша пайдаланушы және қаншалықты жиі?
- Бизнеске әсері: бұл мәселе конверсияға, кіріске немесе сенімге қаншалықты әсер етеді?
Типтік шкала: Критикалық (миссияға толығымен кедергі келтіреді), Жоғары (ауыр қиындық), Орташа (баяулайды), Төмен (косметикалық). AI бастапқы рейтингті ұсынуы мүмкін, бірақ соңғы салмақтау шешімі, әсіресе бизнеске әсер ету — команданың контекст туралы білімін талап етеді.
табу
Әсер
жиілігі
маңыздылығы
Ұсыныс
Негізгі түймені табу мүмкін емес
Бұл тапсырмаға кедергі келтіреді
4/6 қатысушылар
сыни
Бөлектеу түймесі
Қате туралы хабар түсініксіз
баяулау
3/6
жоғары
Хабарламаны нақтылаңыз
Белгіше мағынасы түсініксіз
аздап тартыну
2/6
орташа
Тег қосыңыз
Түс реңктері ұнамады
косметика
1/6
төмен
кейінге қалдырыңыз
үш шағын іс
1-жағдай — 5 сағат жазу, жарты күнде қорытындылар. Бір команда AI-ға 6 пайдаланушы сынағы (барлығы 5 сағат) жазбаларын берді. Модель 14 қорытындыны ұсынды; Команда әрқайсысын бақылаулар санымен салыстырып тексеріп, оны 9-ға дейін қысқартып, маңыздылығына қарай орналастырды. Қолмен 2 күн алатын синтез жарты күнге дейін қысқарды.
2-жағдай — ұлғайтылған табу ұсталды. «Пайдаланушылар навигацияны түсінбейді», - деп жазды AI сыни қорытындысында. Команда қолдау көрсететін бақылауларға қараған кезде, олар бір қатысушының бір сәтіне негізделгенін анықтады. Қорытынды «орташа» деңгейге дейін төмендетілді және қосымша деректер сұралды. Сабақ: бір ғана бақылау сыни қорытынды шығармайды.
3-жағдай - Қабылданбаған маңызды мәселе. Модель қайталанатын, бірақ шамалы болып көрінетін мәселені (пішін автоматты түрде айналдыру емес) «төмен» деп санады. Дизайнер бақылауларға қараған кезде, бұл 5 қатысушыда тапсырманы орындаудан бас тартуға себеп болғанын түсінді және оны «жоғары» деңгейге қойды. Сабақ: AI маңыздылығын бағалау бақылау дәлелдерімен түзетіледі.
Сандық және сапалық мәліметтерді бірге оқу
Қолдануға жарамдылық тестілеу негізінен сапалы (бақылауға негізделген), бірақ сандық (сандық) сигналдар да бар: тапсырманың орындалу жылдамдығы, тапсырманың ұзақтығы, қателер саны, қанағаттану ұпайы. Ең күшті синтез екеуін біріктіреді: «Қатысушылардың тек 33% -ы тексеру тапсырмасын орындады (сандық), ал орындай алмағандардың барлығы жеткізу сатысында (сапалық) тұрып қалды. Жасанды интеллект осы екі деректерді бөлек бергенде біріктіруге көмектеседі; бірақ сіз сандардың дәлдігін және үлгі өлшемін растайсыз. Шағын үлгілерде (мысалы, 5 пайдаланушы) пайыздар туралы айту жаңылыстыруы мүмкін; «60%» дегеннен гөрі «5 қолданушының 3-і» деген сөз адалырақ. Модельден абсолютті сандармен сөйлеуін сұраңыз.
Кеңес: AI «пайыздың орнына «қанша пайдаланушы» деп жазыңыз» деп айтыңыз. Кішігірім үлгілерде пайыз нақты болғаннан жоғары дәлдік әсерін береді.
Көшіретін шақырулар
Сіздің рөліңіз: ыңғайлылықты талдаушы. Төмендегі анонимді сынақ жазбаларынан нәтижелерді салыңыз. Әрбір қорытынды үшін: 1) нақты мәлімдеме, 2) қолдаушы бақылаулар және оны қанша қатысушы көрген, 3) әсер (блоктау/баяулату/косметикалық). Бір бақылауға негізделген қорытындыларды «ӘЛСІЗ ДӘЛЕЛДЕР» деп белгілеңіз. Ескертулер: <<мәтін>>
Осы нәтижелер тізімін маңыздылығы бойынша сұрыптаңыз. Критерийлер: әсер ету (тапсырманың кедергісі?), жиілігі (қатысушылардың саны қанша?), іскерлік әсер. Әрбір нәтижені Сыни/Жоғары/Орташа/Төмен тағайындаңыз және негіздеме жазыңыз. Бизнеске әсер ететініне сенімді болмасаңыз, «команда бағалауы керек» деңіз. Нәтижелер: <<тізім>>
Әрбір табылғанға нақты, әрекет етуге болатын дизайн ұсынысын жазыңыз. Ұсыныс: не өзгереді + бұл мәселені неге шешеді + ол қандай экранға әсер етеді. Анық емес («жақсы істеу») ұсыныстардан аулақ болыңыз. Нәтижелер: <<тізім>>
Мүдделі тараптарды таныстыру үшін осы қорытындылар есебін қорытындылаңыз: ең маңызды 3 қорытындыны, дәлелдерді (пайдаланушылар саны) және ұсынылған әрекетті қамтитын қысқаша жауапты қорытынды жазыңыз. асыра сілтеу; жазбалардан сандарды алу.Есеп беру: <<мәтін>>
Әлсіз шақыру / Күшті шақыру
Әлсіз: «Осы сынақ ұпайларынан қорытынды жасаңыз».
Нәтиже: Ешқандай дәлелі жоқ, маңыздылық реті жоқ және бір бақылауды қорытынды ретінде қателесетін аралас тізім.
Күшті: «Ескертпелерден қорытынды сызыңыз; әрбір қорытындының астына қолдаушы бақылауларды және оның қанша қатысушыда көргенін қосыңыз; бір бақылауға негізделгенін «әлсіз дәлел» ретінде белгілеңіз; содан кейін оны әсер-жиілік-жұмыс әсері бойынша маңыздылығы бойынша ретке келтіріңіз.
Нәтиже: Дәлелдерге негізделген, басымдық берілген, қорғалатын тұжырымдар.
Айырмашылық: күшті шақыру дәлелдер саны + әлсіз шақыру + маңыздылық критерийі.
Жалпы қателер
- Бақылауды табумен шатастыру. Бір ғана «болған оқиғаны» жалпы қорытындыға айналдыру.
- Бір бақылаудан сыни қорытындылар жасау. Жиілігі тексерілмейінше салмақ берілмейді.
- Жасанды интеллектке бизнестің әсерін анықтау. Табыс/конверсия әсері контекстті қажет етеді; Ол өз командасында.
- Артықшылық бермеңіз. Анықтамалардың ретсіз тізімі команданы парализациялайды; Барлығын бірден түзету мүмкін емес.
- Ұсыныстарды түсініксіз қалдыру. «Жақсы істеу» қолданылмайды; Не, неліктен және қайда анық болуы керек.
Қысқаша
Қолдану мүмкіндігін тексерудің мәні жазбалар мен жазбаларды анық, басымдық берілген нәтижелерге айналдыруда келеді. Жасанды интеллект бұл синтезді айтарлықтай жылдамдатады: бақылауларды қорытындыларға біріктіреді, ұсыныстарды әзірлейді, маңыздылық тәртібін ұсынады. Бірақ бұл әрбір қорытындының артындағы бақылаулар санын тексеру, жалғыз бақылаулар негізінде жоғарылатылған қорытындыларды жою және контекстпен бизнеске әсер етуді өлшеу адам жұмысы. Дәлелдерге негізделген, белгілі бір жиілікке ие және маңыздылығы бойынша реттелген қорытындылар туралы есеп мүдделі тараптар үшін жылдам әрі қорғалатын болады.
Қолданбалы тапсырма
- Қолдану мүмкіндігін тексеруден алынған жазбаларды анонимдеу (нақты немесе ойдан шығарылған).
- Бірінші нұсқауда нәтижелерді алып тастаңыз; Әрқайсысының астындағы бақылаулар санын тексеріңіз.
- «Әлсіз дәлелдер» деп белгіленген қорытындыларды бөліп алыңыз және қосымша деректер қажет пе, соны шешіңіз.
- Екінші нұсқау арқылы қорытындыларды маңыздылығына қарай орналастырыңыз; Команда ретінде іскерлік әсерді бағалаңыз.
- Үшінші нұсқау арқылы әрбір қорытындыға нақты ұсыныстар жазыңыз және басымдық кестесін жасаңыз.
бақылау парағы
- [ ] Мен бақылауды, қорытындыларды және ұсыныстарды жеке қабаттар ретінде сақтадым.
- [ ] Мен әр нәтижені қанша қатысушы көрсеткенін тексердім.
- [ ] Мен бір бақылауға негізделген қорытындыларды әлсіз дәлел ретінде белгіледім.
- [ ] Мен ауырлық деңгейін әсер-жиілік-жұмыс әсері арқылы анықтадым.
- [ ] Командамен бірге бизнеске әсер ету шешімін бағалады.
- [ ] Мен ұсыныстарды нақты жаздым (не/неге/қайда).