Κέρδη:
- Δυνατότητα διαίρεσης μεταγραφών συνεντεύξεων και απαντήσεων ανοιχτής έρευνας σε θέματα με τεχνητή νοημοσύνη και υποστήριξής τους με παραπομπές αποδεικτικών στοιχείων
- Ικανότητα σύνοψης των ποσοτικών δεδομένων έρευνας και αποφυγής παραπλανητικής ερμηνείας (μικρό δείγμα, κύρια ερώτηση, προκατάληψη επιλογής)
- Ικανότητα ηθικής εργασίας και συμβατό με KVKK προστατεύοντας το απόρρητο των συμμετεχόντων και ανωνυμοποιώντας τις μεταγραφές
Οι πιο πλούσιες γνώσεις στη συμβουλευτική συχνά δεν βρίσκονται στα γραφήματα αλλά σε αυτά που λένε οι άνθρωποι. Μια συνέντευξη διαχειριστή, ανοιχτές απαντήσεις σε μια έρευνα πελατών, σημειώσεις από μια επιτόπια επίσκεψη... Αυτά είναι μη αριθμητικά (ποιοτικά) δεδομένα και χρειάζονται ώρες για να διαβαστούν, να κωδικοποιηθούν και να χωριστούν σε θέματα. Η τεχνητή νοημοσύνη επιταχύνει πολύ αυτό το έργο: Αναλύει 30 μεταγραφές συνεντεύξεων σε θέματα μέσα σε λίγα λεπτά, βρίσκοντας επαναλαμβανόμενα μοτίβα. Υπάρχουν όμως δύο κίνδυνοι: το μοντέλο μπορεί να «φτιάξει» ένα θέμα (προσθέστε ένα σχόλιο που δεν υπάρχει στη μεταγραφή) και το απόρρητο των συμμετεχόντων μπορεί εύκολα να παραβιαστεί. Σε αυτή την ενότητα, θα μάθουμε να αναλύουμε ποιοτικά δεδομένα με τεκμηριωμένο, ασφαλή τρόπο.
Ποιοτική ανάλυση: από την κωδικοποίηση στο θέμα
Η ποιοτική ανάλυση έχει τρία στάδια. Κωδικοποίηση πρώτα: σε κάθε δήλωση δίνεται μια σύντομη ετικέτα ("παράπονο τιμής", "έπαινος παράδοσης"). Στη συνέχεια θεματοποίηση: παρόμοιοι κωδικοί συγκεντρώνονται σε ένα θέμα («λειτουργική δυσαρέσκεια»). Στο τέλος, σχολιασμός: καθιερώνεται η σχέση μεταξύ των θεμάτων και του στρώματος "so what". Το AI είναι πολύ γρήγορο στα δύο πρώτα βήματα. Το τρίτο βήμα απαιτεί την κρίση του δικηγόρου.
Η πιο κρίσιμη διαβεβαίωση είναι η εξής: κάθε θέμα πρέπει να υποστηρίζεται από μια κατά λέξη απόσπασμα. Αυτό επιβεβαιώνει ότι το θέμα προέρχεται πραγματικά από τα δεδομένα. Το θέμα quote-unquote ενέχει τον κίνδυνο παραισθήσεων.
Ο ρόλος σας: αναλυτής ποιοτικής έρευνας. Παρακάτω υπάρχει μια ανώνυμη μεταγραφή 12 συνεντεύξεων πελατών (με την ετικέτα P1, P2...). Εργασία:1) Εξαγωγή επαναλαμβανόμενων θεμάτων (έως 7 θέματα).2) Για κάθε θέμα: πόσοι συμμετέχοντες το είδαν + 2 επί λέξει εισαγωγικά (με κωδικό συμμετεχόντων).3 που υποστηρίζουν τη δήλωση CONF. προσθέστε τυχόν απόψεις που δεν είναι στη μεταγραφή· Κάθε θέμα πρέπει να αποδεικνύεται με παράθεση. - Μην παράγετε στοιχεία αναγνώρισης εκτός από κωδικούς συμμετεχόντων. - Αναφέρετε ξεχωριστές «μειοψηφικές αλλά σημαντικές» απόψεις ξεχωριστά στο τέλος (διαφορετικές φωνές).
Μια άλλη ισχυρή τεχνική είναι να ζητήσετε από το μοντέλο να κωδικοποιήσει με σταθερές κατηγορίες που καθορίζετε εσείς, αντί να το ρυθμίσετε πρώτα το δικό του σχήμα κώδικα. Για παράδειγμα, εάν δώσετε προκαθορισμένα θέματα σε μια μελέτη ικανοποίησης πελατών, όπως "τιμή, ποιότητα προϊόντος, παράδοση, υποστήριξη, ευκολία χρήσης", οι διαφορετικές μεταγραφές γίνονται συγκρίσιμες και το μοντέλο δεν μπορεί να δημιουργήσει διαφορετικά ονόματα κάθε φορά. Η δωρεάν εξαγωγή θέματος είναι κατάλληλη για ανακάλυψη, ενώ η κωδικοποίηση σταθερής κατηγορίας είναι κατάλληλη για σύγκριση και μέτρηση. Για τα περισσότερα έργα, η χρήση και των δύο μαζί λειτουργεί καλύτερα: πρώτα δωρεάν εξερεύνηση και μετά ψηφιοποίηση με σταθερό σχήμα.
Ο ρόλος σας: ποιοτικός βοηθός κωδικοποίησης. Σταθερές κατηγορίες: [τιμή, ποιότητα, παράδοση, υποστήριξη, ευκολία χρήσης, άλλα]. Εργασία: Αντιστοιχίστε κάθε απάντηση ανοιχτού τύπου παρακάτω σε μία ή περισσότερες από αυτές τις κατηγορίες. - Γράψτε τη φράση ενεργοποίησης στην απάντηση (κατά λέξη) δίπλα σε κάθε εργασία. - Σημειώστε εάν η απάντηση είναι θετική ή αρνητική σε συναίσθημα. Προσθήκη σχολίων που δεν περιλαμβάνονται στην απάντηση.
Συμβουλή: Είναι πολύ πολύτιμο να ζητάτε ξεχωριστά «μειοψηφικές αλλά σημαντικές» απόψεις. Μια άπαξ διατυπωμένη αλλά κρίσιμη ειδοποίηση (π.χ. ένας μεγάλος πελάτης που λέει "εξετάζουμε την ανανέωση της σύμβασης") χάνεται στα περισσότερα θέματα. παραμένει ορατή όταν αναφέρεται ξεχωριστά.
Απόρρητο και ανωνυμοποίηση
Τα πρακτικά των συνεντεύξεων είναι προσωπικά δεδομένα και είναι συχνά ευαίσθητα (παράπονα εργαζομένων, επικρίσεις διευθυντή). Πριν τα ανεβάσετε σε ένα εργαλείο τεχνητής νοημοσύνης, είναι απαραίτητο να τα ανωνυμοποιήσετε: τα ονόματα, οι τίτλοι, τα εσωτερικά διακριτικά στοιχεία αντικαθίστανται από τον κωδικό αριθμό (K1, K2...). Συχνά υπόσχονται στον συμμετέχοντα ότι "αυτό που λέτε θα αναφέρεται ανώνυμα". Το τεχνικό ισοδύναμο αυτής της φράσης είναι η ανωνυμοποίηση.
Τύπος δεδομένων
Κίνδυνος
προφύλαξη
Όνομα/τίτλος συμμετέχοντος
αποκάλυψη ταυτότητας
Αντικατάσταση με κωδικό αριθμό
Εσωτερική λεπτομέρεια
έμμεση διάγνωση
Γενικεύστε ή μάσκαρα
ευαίσθητη όραση
Κίνδυνος αντιποίνων
Ατομική αντιστοίχιση με μαζική αναφορά
Εγγραφή ήχου/βίντεο
υψηλότερη ευαισθησία
Απόδοση σε εγκεκριμένο εργαλείο και μετά διαγραφή
Μπορείτε να βάλετε το μοντέλο να εκτελέσει ανωνυμοποίηση ως προκαταρκτικό βήμα πριν ανεβάσετε τις μεταγραφές στο εργαλείο. Αλλά φροντίστε να ελέγξετε οπτικά την έξοδο:
Ο ρόλος σας: επεξεργασία απορρήτου. Προετοιμάστε το παρακάτω αντίγραφο συνέντευξης για ανάλυση. κάντε την ακόλουθη κάλυψη:- Κάντε όλα τα ονόματα επαφών K1, K2...- Γενικεύστε στοιχεία έμμεσης αναγνώρισης όπως τίτλος, τμήμα, τοποθεσία ("Ο μόνος ξένος μηχανικός στην Ε&Α" → "ένας μηχανικός").- Καταργήστε ονόματα εταιρειών/πελατών. Δώστε μόνο το καλυμμένο κείμενο. Αναφέρετε συνοπτικά το είδος των πληροφοριών που καλύπτετε και γιατί.
Προσοχή: Το να πείτε «Ανώνυμος» δεν αρκεί. Η φράση «Η μόνη γυναίκα μάνατζερ υπεύθυνη για το μάρκετινγκ» προσδιορίζει το άτομο, παρόλο που το όνομά του δεν είναι γραμμένο. Η ανωνυμοποίηση θα πρέπει επίσης να περιλαμβάνει όλες τις έμμεσα αναγνωρίσιμες λεπτομέρειες. Η παραβίαση του KVKK και η απώλεια της εμπιστοσύνης των συμμετεχόντων ξεκινούν από εδώ.
Ερμηνεία ποσοτικών δεδομένων έρευνας
Η τεχνητή νοημοσύνη παράγει μια σύνοψη και ανάλυση των αποτελεσμάτων κλειστού τύπου (αριθμητικής) έρευνας. Αλλά η ποσοτική ανάλυση έχει τις δικές της παγίδες και το μοντέλο μπορεί να τις αγνοήσει:
- Μικρό δείγμα: Το να λέμε "61% των πελατών είναι ικανοποιημένοι" από μια έρευνα σε 18 άτομα είναι παραπλανητικό. Εάν το δείγμα είναι μικρό, θα πρέπει να συζητηθεί ο πρωτογενής αριθμός και η αβεβαιότητα, όχι το ποσοστό.
- Κύριο ερώτημα: "Πόσο ικανοποιημένοι είστε με την άριστη εξυπηρέτησή μας;" Η ερώτηση ενσωματώνει την απάντηση. Το αποτέλεσμα είναι προκατειλημμένο.
- Προκατάληψη επιλογής: Εάν απαντούσαν μόνο οι πιο ικανοποιημένοι ή οργισμένοι πελάτες, το αποτέλεσμα δεν θα ήταν αντιπροσωπευτικό του σύμπαντος.
Πριν συνοψίσετε τα αποτελέσματα αυτής της έρευνας, κάντε έναν μεθοδολογικό έλεγχο: - Είναι επαρκές το μέγεθος του δείγματος για την παρουσίαση των αποτελεσμάτων σε ποσοστά; - Υπάρχουν κορυφαίες/κυριότερες δηλώσεις στις ερωτήσεις; Σημειώστε.- Ποιο είναι το ποσοστό απόκρισης και ο κίνδυνος μεροληψίας επιλογής; Παρέχετε μόνο έκθεση ελέγχου· Στη συνέχεια θα το συνοψίσουμε σε ξεχωριστό μήνυμα.
τρεις μίνι θήκες
Περίπτωση 1 — Έπιασε το κατασκευασμένο θέμα. Ένας σύμβουλος αναθέτει 20 συνεντεύξεις στο μοντέλο. το μοντέλο εξάγει το θέμα «οι συμμετέχοντες θέλουν να εργαστούν εξ αποστάσεως». Ο σύμβουλος ζητά μια προσφορά. Το μοντέλο μπορεί να βρει μόνο 1 διφορούμενη προσφορά. Το θέμα δεν υπήρχε στην πραγματικότητα, το μοντέλο το αποτελούσε από τη γενική τάση. Εάν δεν υπήρχε απαίτηση αναφοράς, θα περιλαμβανόταν ένα εσφαλμένο εύρημα στην αναφορά.
Περίπτωση 2 — Έμμεση διάγνωση. Σε ένα έργο ικανοποίησης εργαζομένων, το αντίγραφο περιλαμβάνει "Ο μόνος ξένος μηχανικός στην Ε&Α είπε αυτό." Δεν υπάρχει όνομα, αλλά το άτομο είναι ξεκάθαρο. Μόλις η αναφορά πάει στον διαχειριστή, υπάρχει κίνδυνος αντιποίνων. Ο σύμβουλος έπρεπε να γενικεύσει από την αρχή όλες τις διακριτικές λεπτομέρειες («ένας μηχανικός»).
Περίπτωση 3 — Μικρή παγίδα δείγματος. Σε μια δοκιμή προϊόντος, άρεσε σε 15 στους 22 χρήστες. το μοντέλο λέει "68% ικανοποίηση" και τοποθετείται στη διαφάνεια. Το επενδυτικό συμβούλιο αντιτίθεται: «22 άτομα δεν αντιπροσωπεύουν το σύμπαν». Ο σύμβουλος ειλικρινά ξαναγράφει το αποτέλεσμα ως "15 στους 22 χρήστες θετικοί. Απαιτείται ενδεικτικό, επιβεβαιωτικό μεγάλο δείγμα". επιστρέφει η εμπιστοσύνη.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Διαβάστε αυτές τις συνεντεύξεις και εξάγετε τα κύρια ευρήματα.
Το μοντέλο παράγει θέματα χωρίς εισαγωγικά, χωρίς στοιχεία. Ο κίνδυνος κατασκευής και εμπιστευτικότητας είναι υψηλός.
Ισχυρή προτροπή:
Ο ρόλος σας: ποιοτικός αναλυτής. Μεταγραφή παρακάτω, ανώνυμη (K1..Kn). Εργασία: Έως 7 θέματα. αριθμός συμμετεχόντων για κάθε + 2 επί λέξει εισαγωγικά (με κωδικό). υποστηρικτικές και αντιφατικές δηλώσεις χωριστά· ξεχωριστή λίστα μειοψηφίας αλλά κριτικής γνώμης. Κανόνες: προσθήκη απόψεων που δεν είναι στη μεταγραφή. γενιά ταυτότητας? Μην δίνετε ένα θέμα χωρίς εισαγωγικά. σημειώστε το θέμα για το οποίο δεν είστε σίγουροι ως "αδύναμα στοιχεία".
Κορεσμός και βάρος των θεμάτων
Στην ποιοτική ανάλυση, δύο έννοιες καθορίζουν την ποιότητα της ερμηνείας. Το πρώτο είναι ο κορεσμός: τα δεδομένα λέγεται ότι είναι «κορεσμένα» όταν οι νέες συνεντεύξεις δεν παράγουν πλέον νέα θέματα. Αυτό είναι σημάδι ότι το δείγμα είναι επαρκές. Εάν εξακολουθούν να εμφανίζονται ολοκαίνουργια θέματα στην 8η συνέντευξη, χρειάζονται περισσότερες συνεντεύξεις. Δεύτερον, το βάρος των θεμάτων: πόσοι άνθρωποι βλέπουν ένα θέμα και η σημασία αυτού του θέματος είναι διαφορετικά πράγματα. Μια μικρή ταλαιπωρία που αναφέρουν πέντε άτομα και ο κίνδυνος ακύρωσης της σύμβασης που αναφέρεται από ένα άτομο δεν είναι ίσης συχνότητας, αλλά ο τελευταίος μπορεί να είναι πολύ πιο κρίσιμος σε σημασία. Ως εκ τούτου, η κατάταξη των θεμάτων μόνο με βάση τη συχνότητα είναι παραπλανητική. Αξιολογήστε κάθε θέμα τόσο ως προς το "πόσα άτομα" και "πόσο σημαντικό". Έχοντας πει το AI «βαθμολογήστε αυτά τα θέματα σε δύο ξεχωριστές στήλες συχνότητας και δυνητικού επιχειρηματικού αντίκτυπου» καθιστά αυτή τη διάκριση ορατή. Κάνεις την κρίση για τον αντίκτυπο της επιχείρησης.
Συνήθη λάθη
- Αποδοχή θέματος χωρίς εισαγωγικά. Κάθε θέμα πρέπει να αποδεικνύεται από μια κατά λέξη απόσπασμα από τη μεταγραφή. Διαφορετικά υπάρχει κίνδυνος παραισθήσεων.
- Κάνοντας την ανωνυμοποίηση επιφανειακή. Δεν αρκεί να διαγράψετε το όνομα. Θα πρέπει επίσης να καλύπτονται οι έμμεσες λεπτομέρειες αναγνώρισης.
- Παρουσίαση μικρού δείγματος με ποσοστό. Με μικρό αριθμό συμμετεχόντων, θα πρέπει να συζητούνται οι ακατέργαστοι αριθμοί και η αβεβαιότητα, όχι τα ποσοστά.
- Αγνοώντας την κύρια ερώτηση. Το αποτέλεσμα των βασικών ερωτήσεων είναι προκατειλημμένο. Ελέγξτε τη μεθοδολογία.
- Χάνοντας ακραίες τιμές. Μόλις εκφωνηθεί, η κριτική προειδοποίηση καταπίνεται από τα περισσότερα θέματα. λίστα ξεχωριστά.
- Ανάμειξη ποσοτικής και ποιοτικής. Επεξεργαστείτε σχόλια ανοιχτού τύπου με αριθμητικά αποτελέσματα με διαφορετικούς τρόπους.
Συνοπτικά
Τα ποιοτικά δεδομένα είναι η πλουσιότερη πηγή πληροφοριών στον τομέα της παροχής συμβουλών και η τεχνητή νοημοσύνη εξοικονομεί ώρες στην κωδικοποίηση και τη δημιουργία θεμάτων. Ωστόσο, κάθε θέμα θα πρέπει να αποδεικνύεται με επί λέξει εισαγωγικά, το απόρρητο των συμμετεχόντων θα πρέπει να προστατεύεται πλήρως, συμπεριλαμβανομένης της έμμεσης ταυτοποίησης, και οι μεθοδολογικές παγίδες όπως η δειγματοληψία, η μεροληψία ερωτήσεων και η επιλογή θα πρέπει να ελέγχονται σε ποσοτικές έρευνες. Το μοντέλο είναι γρήγορος αναγνώστης και ετικέτας. Είναι δουλειά του συμβούλου να επαληθεύει τα αποδεικτικά στοιχεία, να διατηρεί την εμπιστευτικότητα και να καθιερώνει το επίπεδο "έτσι τι".
Εργασία εφαρμογής
Ετοιμάστε πολλά μεταγράφημα συνεντεύξεων (ή απαντήσεις ανοιχτού τύπου), είτε πραγματικές είτε αντιπροσωπευτικές, και ανωνυμοποιήστε τις πρώτα (συμπεριλαμβανομένου του ονόματος και της έμμεσης ταυτοποίησης). Εξάγετε θέματα, αποσπάσματα, αντικρουόμενες δηλώσεις και διαφωνούμενες φωνές με ισχυρές ποιοτικές προτροπές. Ελέγξτε την αναφορά τουλάχιστον ενός θέματος στη μεταγραφή για να επαληθεύσετε ότι υπάρχει πράγματι. Στη συνέχεια, κάντε μια μικρή ποσοτική έρευνα και αξιολογήστε τη μεροληψία δειγμάτων και ερωτήσεων ζητώντας μεθοδολογικό έλεγχο.
λίστα ελέγχου
- [ ] Ανωνυμοποίησα τις μεταγραφές, συμπεριλαμβανομένου του ονόματος και της έμμεσης ταυτοποίησης.
- [ ] Τεκμηρίωσα κάθε θέμα με ένα κατά λέξη απόσπασμα.
- [ ] Έδειξα χωριστά αντικρουόμενες εκφράσεις και αντιφατικές φωνές.
- [ ] Στο μικρό δείγμα, χρησιμοποίησα ακατέργαστους αριθμούς και αβεβαιότητα αντί για ποσοστά.
- [ ] Σημείωσα τις κύριες ερωτήσεις.
- [ ] Αξιολόγησα τον κίνδυνο μεροληψίας επιλογής.
- [ ] Ανέφεραν ευαίσθητα σχόλια συλλογικά χωρίς να τα αντιστοιχίσω στο άτομο.