רווחים:
- יכולת להבין את האופי מבוסס הסקרנות האנושית של בדיקות חקרניות ולהשתמש בבינה מלאכותית כשותף ליצירת אמנות בדיקה ורמזים אינטואיטיביים
- יכולת לגוון צירי גילוי כגון קלט, תזמון, פורמט, הרשאה והפרעה ולתעד כל חריגה בשלב הייצור שוב
- היכולת ליישם את מגבלת השימוש בבינה מלאכותית רק כהכנה וסיום בזמן שמפגש הגילוי עצמו מנוהל על ידי בני אדם
כל מקרה מבחן שנכתב בודק משהו שכבר חשבו עליו. אבל הטעויות המסוכנות ביותר מסתתרות לרוב במקומות שאיש לא חשב עליהם קודם. בדיקות חקרניות - גישת בדיקה שבה הבוחן לומד, מעצב ומריץ את המוצר בו-זמנית על ידי חקירתו, מבלי להסתמך על סקריפט כתוב מראש - מכוון בדיוק לפער הזה. בבדיקות חקרניות, המומחה משחק בחופשיות עם המוצר, שואל "מה אם אעשה את זה", ותופס התנהגות בלתי צפויה של המערכת. זהו סוג הבדיקות שמסתמכות יותר מכל על אינטואיציה וסקרנות אנושית - ובדיוק בגלל זה תפקידה של הבינה המלאכותית (AI) כאן הוא לא "להחליף" אלא להגביר את הסקרנות, לעורר נקודות עיוורות ולייצר רעיונות.
ביחידה זו תלמדו כיצד להשתמש בבינה מלאכותית כשותף לבדיקות חקרניות: מהדפסת אמנת בדיקות, העלאת היוריסטיות ועד לסיכום הערות לאחר הפגישה.
מדוע בדיקות גישוש עדיין עובדות אנושיות?
מבחן תסריטאי - מבחן עם שלבים שנכתבו מראש וחוזרים מילה במילה - מאשר את הידוע; בדיקות גישוש מחפשות את הלא נודע. הערך בבדיקות חקרניות מגיע מהרגע שבו הבוחן רואה את המוצר וחש "יש כאן משהו מוזר". AI לא יכול לראות את המוצר כמו שאתה רואה אותו, הוא לא יכול לחוש מה יפריע למשתמש האמיתי, אי אפשר להפריע לו באמירה "הכפתור הזה נמצא במקום הלא נכון". אבל בינה מלאכותית היא כלי עזר חזק מאוד בשלוש דרכים: (1) הפקת רשימות שיטתיות של רעיונות בדיקה, (2) מזכירה לך צירי בדיקה ששכחת, (3) הפיכת הערות הגילוי המפוזרות שלך לדוח מסודר.
טיפ: בקש מה-AI "חימום רעיון לבדיקה" לפני תחילת מפגש הגילוי; אל תשאיר את המסך ל-AI במהלך הפגישה. AI מועיל לפני ואחרי הפגישה; הפגישה עצמה מונעת על ידי הסקרנות שלך.
היוריסטיקה ובינה מלאכותית
בודקי גישוש משתמשים בהיוריסטיקה, שהן תזכורות קצרות המספקות כיוון בציד הבאגים. AI יכול להזכיר לך אותם על ידי התאמתם להקשר שלך. כמה קלאסיקות:
- CRUD: נסה את זרימת היצירה, קריאה, עדכן, מחק עבור כל נתונים; להפריע למישהו.
- זהבה (מעט/מלא/הרבה): הזן מעט מאוד, מלא והרבה נתונים בשדה (0 תווים, תו 1, 10,000 תווים).
- CRUD + תזמון: ערוך את אותה רשומה בשתי כרטיסיות בו זמנית, ולאחר מכן שמור את שתיהן.
- הפרעה: רענן עמוד באמצע הפעולה, נתק את הרשת, הקש Backspace.
- סדר הפוך: בצע את השלבים בסדר הפוך (תחילה שלם ולאחר מכן הוסף לעגלה).
כאשר אתה אומר ל-AI "להציע ניסויים קונקרטיים על ידי יישום הרמזים האינטואיטיביים האלה עבור המסך הזה", אתה מקבל רשימת בדיקה מוכנה לשטח.
כתיבת תנאי מבחן (צ'רטר)
בדיקות חקר אינן קשורות לשיטוט; הוא מתמקד באמנת המבחן (הנחיה קצרה המגדירה מה יחקור מפגש חקר ולאיזו מטרה). אמנה טובה עוקבת אחר הדפוס הזה: "חקור את [דומיין היעד], באמצעות [כלים/נתונים], כדי לחשוף [איזה מידע/סיכון]." AI מנסח במהירות את התנאים הללו.
איזון בין בדיקות תסריטאיות לבדיקות חקרניות
אסטרטגיית בדיקות קול משתמשת בשילוב של בדיקות תסריטאיות (אוטומטיות, שניתנות לחזרה) ובדיקות חקרניות. בדיקות תסריטאיות מאמתות בזול שהתנהגויות ידועות אינן מופרעות, גרסה אחר גרסה; בדיקות גישוש, לעומת זאת, מחפשות סיכונים חדשים שהתסריטים האלה מעולם לא שקלו. השניים אינם מתחרים, אלא משלימים. טעות נפוצה היא לחשוב "בואו נעשה הכל כדי שלא יהיה צורך בגילוי"; בעוד האוטומציה בודקת רק את מה שאתה כבר יודע, היא לעולם לא יכולה למצוא את מה שאתה לא יודע. טעות נוספת היא ההיפך: הסתמכות על גילוי ידני עם כל מהדורה מבלי להגדיר אוטומציה כלשהי - זה מוביל לאותם באגים בסיסיים זוחלים שוב ושוב.
בינה מלאכותית עוזרת לבסס את האיזון הזה: אתה יכול להפוך חריגה שאתה מוצא בסשן הגילוי שלך למבחן רגרסיה קבוע באמצעות תסריט על ידי הענקתה לבינה מלאכותית. לפיכך, השגיאה שהתגלתה פעם אחת בגילוי לא תוכל לחזור שוב ללא זיהוי. דיסקברי דואג "למצוא את הסיכון החדש", אוטומציה דואגת ל"אל תשחרר את המצוי"; AI מאיץ את הגשר בין השניים.
טיפ: הפרד את הפלט של כל סשן גילוי לשני דליים: "באגים לתיקון מיידי" ו"תרחישים שיהפכו לאוטומציה קבועה". הדלי השני נושא את הערך לטווח ארוך של הגילוי לחבילת הרגרסיה שלך.
הנחיה חלשה / הנחיה חזקה
חלש: "מה עלי לבדוק על המסך הזה?"
חזק: "לתכונת 'העלאת תמונת פרופיל', חלקו את הבדיקה החקרנית של 90 דקות ל-3 תנאי בדיקה. לכל תנאי: תן את היעד, רמזים אינטואיטיביים לשימוש (גודל קובץ/פורמט/זהב/קטיעה), 5 פעולות קונקרטיות לנסות, ואותות סיכון שיש לשים לב אליהם (האטה, תמונה פגומה, העלאה של קובץ שגוי, סיכון גדול של קובץ שגוי, אבטחה). מבחינה הגנתית."
הנחיה עוצמתית; נותן משך, מבנה, רמזים ומיקוד סיכונים. התוצאה היא מפת דרכים שתשמור בהישג יד במהלך הפגישה.
טבלת צירי חקירה
ציר
שאלה לשאול
חיבור לדוגמה
מגבלות קלט
מה התחום עושה בערכים קיצוניים?
שם של 10,000 תווים
תזמון
מה קורה בעיבוד במקביל/מופסק?
שמור את אותה רשומה בשתי כרטיסיות
פורמט
איך להתמודד עם הפורמט הבלתי צפוי?
אמוג'י, טקסט מימין לשמאל, HTML
סמכות
האם משתמש לא מורשה יכול לגשת?
שנה את כתובת האתר באופן ידני
סטטוס
האם מעבר מצב לא חוקי אפשרי?
נסה לשלם עבור הזמנה שבוטלה
ניכוי
האם הנתונים עקביים כאשר הרשת/ההפעלה מופסקת?
חתוך רשת בזמן ההקלטה
ארבע תבניות הניתנות להעתקה
1) מחולל תנאי בדיקה:
תפקידך: בודק גישוש בכיר. פצל מפגש חקירה של דקה [משך] ל-3-4 תנאי בדיקה עבור תכונה:[תכונה]. כל תנאי: מטרה, רמזים אינטואיטיביים לשימוש, 5 פעולות קונקרטיות לנסות, אותות סיכון לצפייה. דפוס מצב: "חקור [דומיין] עם [כלי/נתונים] עבור [סיכון/מידע]."
2) מתאם רמז אינטואיטיבי:
תרגם את הרמזים האינטואיטיביים הללו לניסויים קונקרטיים עבור המסך הבא: CRUD, זהב (פחות/מלא/יותר), הפרעה, סדר הפוך, אישור עוקף. מסך: [תיאור מסך/זרימה]. כתוב 2 ניסויים ספציפיים למסך עבור כל רמז.
3) תזכורת לנקודה עיוורת:
אני בודק את התכונה הבאה: [תכונה]. רשום את 10 המקרים שבהם בודקים מנוסים הכי מתגעגעים לסוג זה של תכונה. כלול צירי נגישות, לוקליזציה (שפה/תאריך/מטבע), במקביל, אבטחה וביצועים.
4) מסכם הערות מושב:
להלן ההערות הגולמיות מסשן הגילוי שלי. ארגן אותם במבנה זה: - אנומליות שנמצאו (בחומרה משוערת) - אלה עם שלב רבייה ידוע - אלה הדורשים חקירה נוספת - הצעה לפגישה הבאה הערות גולמיות: [הדבק הערות]
שלושה מיני תיקים
מקרה 1 - תזכורת לנקודה עיוורת בפעולה. מומחה בדק את תכונת החיפוש ביישום רב לשוני. עם תזכורת של AI "אל תשכח את ציר הלוקליזציה", הוא ניסה את המרת האות "i/I" הספציפית לטורקית. חיפוש "איסטנבול" לא הניב תוצאות; זוהתה שגיאת המרה באותיות קטנות. ציר AI הזכיר, המומחה ניסה ומצא אותו.
מקרה 2 - מוקד האמנה. בודק חדש בילה שעתיים ב"גלישה" במסך תשלום אך רשם רק 2 הערות קטנות כי זה לא היה מובנה. לאחר תכנון מפגש עם ה-AI המחולק ל-3 תנאי בדיקה, הוא רשם 11 חריגות באותה תקופה; שניים מהם היו רציניים. אותו זמן היה יעיל פי 5 הודות למבנה.
מקרה 3 - בדיקת העלאת קבצים מתגוננת. צוות ניסה את "הסיומת השגויה/קובץ גדול מדי" שהוצע על ידי YZ בהעלאת תמונת פרופיל, בתוך המוצרים שלו. גילה שקובץ של 50 מגה-בייט קרס את השרת למשך 40 שניות והוסיף מגבלת גודל ופסק זמן. הבדיקה נעשתה רק על המוצרים שלה, למטרות הגנתיות.
טעויות נפוצות
- החלפת AI בסשן. הערך של גילוי הוא בהתבוננות ובאינטואיציה שלך; AI עוזר בהכנה ובהתאוששות.
- דפדוף ללא הזמנה. לבלות שעות בלי להתמקד ולמצוא מעט. מצב הבדיקה נותן פוקוס.
- לא אוספת פתקים. אם לא תשמור שוב את האנומליה שנמצאה בגילוי עם שלב הייצור, הממצא הזה יאבד.
- להיות תקוע על ציר אחד. תמיד בודקים את גבולות הקלט; עקיפת סמכות, תזמון, צירי לוקליזציה.
- ביצוע בדיקות אבטחה לא מורשות. נסה לבצע מניפולציה של קבצים/כתובות אתרים רק במוצר שלך ובאישור.
לסיכום
בדיקות חקרניות הן סוג הבדיקות שמסתמכות בעיקר על סקרנות אנושית, חיפוש אחר הבלתי כתוב. בינה מלאכותית לא תחליף אותך כאן; הוא מתאר את תנאי הבדיקה, מתאים רמזים אינטואיטיביים להקשר שלך, מזכיר לך כתמים עיוורים והופך את הערות הפגישה המבולגנות שלך לדוח מאורגן. הערך מגיע מההתבוננות והאינטואיציה שלך; AI ממקד ומכפיל את הערך הזה. כתוב תנאים, שנה את הצירים, רשום שוב את הממצאים בשלב הייצור, בצע בדיקות אבטחה רק במסגרת הרשאה.
משימת יישום
בחר תכונה מהמוצר שלך. חלקו את הפגישה של 60 דקות ל-3 תנאים באמצעות תבנית "מחולל תנאי בדיקה" עם AI. בצע את ההפעלה (ללא AI, חקר ביד), שמור הערות גולמיות. בסיום, ארגן את ההערות באמצעות תבנית "סיכום הערות הפעלה". תוצאה: לפחות 5 חריגות, שלב התחדשות לכל אחת והערכת חומרה. שימו לב איזה מצב בדיקה ורמז אינטואיטיבי הביאו לאנומליה היקרה ביותר שמצאתם.
רשימת בדיקה
- [ ] לפני הפגישה, יצרתי תנאי בדיקה עם AI וקבעתי את המיקוד.
- [ ] ניסיתי לפחות 4 צירי גילוי שונים (קלט, תזמון, פורמט, הרשאה, הפרעה).
- [ ] ניהלתי את הפגישה באופן ידני, מתוך סקרנות שלי; לא החלפתי AI.
- [ ] רשמתי כל אנומליה עם שלב ההתרבות שלה ואומדן החומרה שלה.
- [ ] הפכתי את ההערות שלי לדוח רגיל עם AI.
- [ ] ניסיתי רק אבטחה/מניפולציה על המוצר שלי ובאישור.