سود:
- توانایی درک ماهیت مبتنی بر کنجکاوی انسانی آزمایش اکتشافی و استفاده از هوش مصنوعی به عنوان شریک برای تولید منشورهای آزمایشی و سرنخ های بصری
- امکان تنوع بخشیدن به محورهای کشف مانند ورودی، زمان بندی، قالب، مجوز و وقفه و ثبت مجدد هر ناهنجاری با مرحله تولید
- امکان اعمال محدودیت استفاده از هوش مصنوعی فقط در آماده سازی و جمع بندی در حالی که خود جلسه کشف توسط انسان انجام می شود.
هر مورد آزمایشی نوشته شده چیزی را بررسی می کند که قبلاً در مورد آن فکر شده است. اما خطرناک ترین اشتباهات اغلب در مکان هایی پنهان می شوند که هیچ کس قبلاً به آن فکر نکرده است. تست اکتشافی - یک رویکرد آزمایشی که در آن آزمایشکننده به طور همزمان محصول را با کاوش، طراحی و اجرا میکند، بدون تکیه بر یک اسکریپت از پیش نوشته شده - دقیقاً این شکاف را هدف قرار میدهد. در تست اکتشافی، کارشناس آزادانه با محصول بازی می کند، می پرسد "اگر این کار را انجام دهم چه می شود" و رفتار غیرمنتظره سیستم را تشخیص می دهد. این نوع آزمایشی است که بیشتر به شهود و کنجکاوی انسان متکی است - و دقیقاً به همین دلیل است که نقش هوش مصنوعی (AI) در اینجا «جایگزین کردن» نیست، بلکه تقویت کنجکاوی، برانگیختن نقاط کور و ایجاد ایده است.
در این واحد یاد خواهید گرفت که چگونه از هوش مصنوعی به عنوان یک شریک آزمایشی اکتشافی استفاده کنید: از چاپ منشورهای آزمایشی، برانگیختن اکتشافات، تا خلاصه کردن یادداشتهای بعد از جلسه.
چرا آزمایش اکتشافی هنوز کار انسان است؟
تست اسکریپت - آزمونی با مراحلی که از قبل نوشته شده و کلمه به کلمه تکرار شده است - آنچه شناخته شده است را تأیید می کند. آزمایش اکتشافی ناشناخته را جستجو می کند. ارزش در تست اکتشافی از لحظهای است که آزمایشکننده محصول را میبیند و حس میکند که «چیز عجیبی در اینجا وجود دارد». هوش مصنوعی نمیتواند محصول را آنطور که شما میبینید ببیند، نمیتواند حس کند که چه چیزی کاربر واقعی را آزار میدهد، نمیتواند با گفتن "این دکمه در مکان اشتباه است" مزاحم شود. اما هوش مصنوعی از سه جهت کمک بسیار قدرتمندی است: (1) تهیه فهرستهای سیستماتیک از ایدههای آزمایشی، (2) یادآوری محورهای آزمایشی که فراموش کردهاید، (3) تبدیل یادداشتهای کشف پراکنده شما به یک گزارش سازمانیافته.
نکته: قبل از شروع جلسه اکتشاف، از هوش مصنوعی بخواهید «آزمایش ایده آزمایشی» را انجام دهد. در طول جلسه صفحه نمایش را به هوش مصنوعی نسپارید. هوش مصنوعی قبل و بعد از جلسه مفید است. خود جلسه به دلیل کنجکاوی شما ایجاد می شود.
اکتشافی و هوش مصنوعی
آزمایش کننده های اکتشافی از اکتشافی استفاده می کنند، که یادآورهای کوتاهی هستند که جهت شکار اشکال را ارائه می دهند. هوش مصنوعی می تواند این موارد را با تطبیق دادن آنها با زمینه شما یادآوری کند. چند اثر کلاسیک:
- CRUD: برای هر داده جریان ایجاد، خواندن، بهروزرسانی، حذف را امتحان کنید. قطع کردن کسی
- Goldilocks (کم/پر/بسیار): داده های بسیار کم، کامل و زیاد را در یک فیلد وارد کنید (0 کاراکتر، 1 کاراکتر، 10000 کاراکتر).
- CRUD + scheduling: همان رکورد را همزمان در دو تب ویرایش کنید، سپس هر دو را ذخیره کنید.
- وقفه: صفحه را در اواسط عمل بازخوانی کنید، شبکه را قطع کنید، بک اسپیس را فشار دهید.
- ترتیب معکوس: مراحل را به ترتیب معکوس انجام دهید (ابتدا پرداخت کنید، سپس به سبد خرید اضافه کنید).
وقتی به هوش مصنوعی میگویید «با استفاده از این نشانههای بصری برای آن صفحه، آزمایشهای مشخصی را پیشنهاد کند»، یک چک لیست آماده برای میدان دریافت میکنید.
نوشتن شرط آزمون (منشور)
آزمایش اکتشافی سرگردانی نیست. بر روی منشور آزمایشی متمرکز شده است (دستورالعمل کوتاهی که تعریف میکند جلسه اکتشاف چه چیزی و برای چه هدفی را بررسی میکند). یک منشور خوب از این الگو پیروی می کند: «[دامنه هدف] را با استفاده از [ابزار/داده] کاوش کنید تا [چه اطلاعات/خطر] را کشف کنید». هوش مصنوعی به سرعت این شرایط را پیش نویس می کند.
متعادل کردن تست اسکریپت با تست اکتشافی
یک استراتژی تست صدا از ترکیبی از تست اسکریپت (اتوماتیک، قابل تکرار) و تست اکتشافی استفاده می کند. تستهای اسکریپتشده بهطور ارزان تأیید میکنند که رفتارهای شناخته شده، نسخه به نسخه شکسته نشدهاند. از سوی دیگر، آزمایش اکتشافی به دنبال خطرات جدیدی است که این اسکریپت ها هرگز در نظر نگرفته اند. این دو رقیب نیستند، بلکه مکمل یکدیگر هستند. یک اشتباه رایج این است که فکر می کنیم "بیایید همه چیز را خودکار کنیم تا نیازی به کشف نباشد". در حالی که اتوماسیون فقط چیزهایی را که از قبل میدانید بررسی میکند، هرگز نمیتواند چیزی را که شما نمیدانید پیدا کند. اشتباه دیگر برعکس است: تکیه بر کشف دستی با هر نسخه بدون راهاندازی هیچ گونه اتوماسیون - این منجر به ایجاد همان باگهای اساسی میشود که بارها و بارها به وجود میآیند.
هوش مصنوعی به برقراری این تعادل کمک میکند: میتوانید ناهنجاریای را که در جلسه کشف خود پیدا میکنید، با دادن آن به هوش مصنوعی به یک آزمون رگرسیون اسکریپتشده دائمی تبدیل کنید. بنابراین، خطای یک بار کشف شده در اکتشاف هرگز نمی تواند دوباره کشف نشده بازگردد. Discovery از "ریسک جدید را بیابید" مراقبت می کند، اتوماسیون از "موضوع یافت شده را رها نکنید" مراقبت می کند. هوش مصنوعی پل بین این دو را تسریع می کند.
نکته: خروجی هر جلسه اکتشاف را به دو سطل تقسیم کنید: «اشکالها برای رفع فوری» و «سناریوهایی برای تبدیل به اتوماسیون دائمی». سطل دوم ارزش بلندمدت کشف را در بسته رگرسیونی شما حمل می کند.
اعلان ضعیف / اعلان قوی
ضعیف: "چه چیزی را باید روی این صفحه آزمایش کنم؟"
قوی: "برای ویژگی "آپلود عکس نمایه"، جلسه آزمایش اکتشافی 90 دقیقه ای را به 3 شرایط آزمایشی تقسیم کنید. برای هر شرایط: به هدف، سرنخ های بصری برای استفاده (اندازه فایل/قالب/قطعات طلایی/قطع) به هدف بدهید، 5 اقدام مشخص برای امتحان کردن، و سیگنال های خطری که باید مراقب آنها باشید (کاهش سرعت، آدرس فایل های مخاطره آمیز، موارد مخاطره آمیز، آدرس فایل های مخاطره آمیز). (فایل خیلی بزرگ، پسوند اشتباه) از نظر دفاعی."
اعلان قدرتمند؛ مدت زمان، ساختار، سرنخ ها و تمرکز ریسک را ارائه می دهد. نتیجه یک نقشه راه است که در طول جلسه در دسترس خواهید بود.
جدول محورهای اکتشافی
محور
سوال برای پرسیدن
نمونه انشا
محدودیت های ورودی
میدان در مقادیر شدید چه می کند؟
نام 10000 کاراکتر
زمان بندی
در پردازش همزمان/وقفه چه اتفاقی می افتد؟
همان رکورد را در دو تب ذخیره کنید
قالب
چگونه فرمت غیرمنتظره را مدیریت کنیم؟
ایموجی، متن از راست به چپ، HTML
اقتدار
آیا کاربران غیرمجاز می توانند دسترسی داشته باشند؟
URL را به صورت دستی تغییر دهید
وضعیت
آیا انتقال حالت نامعتبر امکان پذیر است؟
سعی کنید برای سفارش لغو شده پرداخت کنید
کسر
آیا زمانی که شبکه/جلسه قطع می شود، داده ها سازگار هستند؟
شبکه را در حین ضبط قطع کنید
چهار قالب قابل کپی
1) مولد شرایط آزمایش:
نقش شما: آزمایش کننده ارشد اکتشافی. جلسه اکتشافی [دوره] دقیقه را به 3-4 شرایط آزمایشی برای ویژگی: [ویژگی] تقسیم کنید. هر شرط: هدف، سرنخ های شهودی برای استفاده، 5 اقدام مشخص برای امتحان، سیگنال های خطر برای تماشا. الگوی شرایط: "[دامنه] را با [ابزار/داده] برای [ریسک/اطلاعات] کاوش کنید."
2) آداپتور نشانه بصری:
این سرنخهای بصری را به آزمایشهای عینی برای صفحه زیر ترجمه کنید: CRUD، طلایی (کمتر/پر/بیشتر)، وقفه، ترتیب معکوس، مجوز دور زدن. صفحه نمایش: [شرح صفحه/جریان]. برای هر سرنخ 2 آزمایش مخصوص صفحه بنویسید.
3) یادآوری نقاط کور:
من در حال آزمایش ویژگی زیر هستم: [ویژگی]. 10 موردی را فهرست کنید که آزمایشکنندگان باتجربه بیشتر این نوع ویژگی را از دست میدهند. دسترسی، بومی سازی (زبان/تاریخ/ارز)، همزمانی، امنیت و محورهای عملکرد را شامل شود.
4) خلاصه کننده یادداشت جلسه:
در زیر یادداشت های خام از جلسه کشف من است. آنها را در این ساختار سازماندهی کنید: - ناهنجاری های یافت شده (با شدت تخمین زده شده) - مواردی که دارای مرحله تولید مثل شناخته شده هستند - مواردی که نیاز به بررسی بیشتر دارند - پیشنهاد برای جلسه بعدی یادداشت های خام: [یادداشت های چسباندن]
سه کیف کوچک
مورد 1 - یادآوری نقطه کور در عمل. یک متخصص در حال آزمایش ویژگی جستجو در یک برنامه چند زبانه بود. پس از یادآوری هوش مصنوعی مبنی بر "محور محلی سازی را فراموش نکنید"، او تبدیل حروف "i/I" مخصوص ترکی را امتحان کرد. جستجوی «استانبول» نتیجه ای نداشت. یک خطای تبدیل حروف کوچک شناسایی شد. محور هوش مصنوعی یادآوری کرد، کارشناس امتحان کرد و آن را پیدا کرد.
مورد 2 - تمرکز منشور. یک آزمایشکننده جدید 2 ساعت از طریق صفحه پرداخت «موجگردی» کرد، اما فقط 2 یادداشت کوچک به دلیل ساختار نداشتن آن ثبت کرد. پس از برنامه ریزی یک جلسه با هوش مصنوعی که به 3 شرایط آزمایشی تقسیم شده بود، 11 ناهنجاری را در همان دوره ثبت کرد. دو نفر از آنها جدی بودند. همین زمان به لطف ساختار 5 برابر کارآمدتر بود.
مورد 3 - تست آپلود فایل دفاعی. یک تیم "پسوند اشتباه/فایل خیلی بزرگ" پیشنهاد شده توسط YZ را در آپلود عکس نمایه در محصولات خود امتحان کردند. متوجه شد که یک فایل 50 مگابایتی سرور را به مدت 40 ثانیه از کار می اندازد و محدودیت اندازه و زمان اضافه می کند. این آزمایش فقط بر روی محصولات خود و برای اهداف دفاعی انجام شد.
اشتباهات رایج
- جایگزینی هوش مصنوعی با session ارزش کشف در مشاهده و شهود شماست. هوش مصنوعی به آماده سازی و بازیابی کمک می کند.
- بدون رزرو مرور کنید. ساعاتی را بدون تمرکز سپری کنید و کمی پیدا کنید. شرایط آزمون تمرکز می دهد.
- جمع آوری نکردن یادداشت ها اگر ناهنجاری یافت شده در کشف را با مرحله تولید دوباره ذخیره نکنید، آن یافته از بین خواهد رفت.
- گیر افتادن روی یک محور. همیشه محدودیت های ورودی را آزمایش می کند. دور زدن محورهای اختیار، زمان بندی، بومی سازی.
- انجام تست های امنیتی غیرمجاز. فقط سعی کنید فایل/URL را روی محصول خود و با اجازه دستکاری کنید.
به طور خلاصه
آزمایش اکتشافی نوعی آزمایش است که بیشتر بر کنجکاوی انسان متکی است و به دنبال چیزهای نانوشته است. هوش مصنوعی در اینجا جایگزین شما نخواهد شد. شرایط آزمون را تشریح می کند، سرنخ های بصری را با زمینه شما تطبیق می دهد، نقاط کور را به شما یادآوری می کند و یادداشت های جلسه کثیف شما را به یک گزارش سازمان یافته تبدیل می کند. ارزش از مشاهده و شهود شما ناشی می شود. هوش مصنوعی این مقدار را متمرکز و چند برابر می کند. شرایط را بنویسید، محورها را تغییر دهید، یافتهها را با مرحله تولید دوباره ثبت کنید، آزمایشهای امنیتی را فقط در محدوده مجوز انجام دهید.
وظیفه کاربردی
یک ویژگی از محصول خود را انتخاب کنید. با استفاده از الگوی "تست شرایط ژنراتور" با هوش مصنوعی، جلسه 60 دقیقه ای را به 3 شرایط تقسیم کنید. جلسه را انجام دهید (بدون هوش مصنوعی، کاوش با دست)، یادداشت های خام را نگه دارید. پس از پایان، یادداشتها را با الگوی «خلاصهکننده یادداشت جلسه» سازماندهی کنید. نتیجه: حداقل 5 ناهنجاری، مرحله بازسازی برای هر یک و برآورد شدت. توجه داشته باشید که کدام شرایط آزمایشی و سرنخ شهودی منجر به با ارزش ترین ناهنجاری شده است که پیدا کردید.
چک لیست
- [ ] قبل از جلسه، شرایط تست را با هوش مصنوعی ایجاد کردم و تمرکز را تعیین کردم.
- [ ] من حداقل 4 محور مختلف کشف (ورودی، زمان بندی، قالب، مجوز، وقفه) را امتحان کردم.
- [ ] من جلسه را به صورت دستی و با کنجکاوی خودم انجام دادم. من هوش مصنوعی را جایگزین نکردم.
- [ ] من هر ناهنجاری را با مرحله تولید مثل و برآورد شدت آن ثبت کردم.
- [ ] یادداشت هایم را با هوش مصنوعی به یک گزارش معمولی تبدیل کردم.
- [ ] من فقط برای امنیت/دستکاری محصول خودم و با مجوز اقدام کرده ام.