Κέρδη:
- Δυνατότητα ορθού ορισμού της μηδενικής υπόθεσης, της τιμής p, του διαστήματος εμπιστοσύνης και της στατιστικής ισχύος και της χρήσης τεχνητής νοημοσύνης στην επιλογή και ερμηνεία δοκιμών.
- Ικανότητα διάκρισης τι είναι και τι δεν είναι τιμή p (χωρίς μέγεθος επίδρασης, όχι πιθανότητα ακρίβειας) και κατανόηση γιατί είναι απαραίτητη η διόρθωση πολλαπλών συγκρίσεων
- Ικανότητα αναγνώρισης σχολίων που γίνονται από την τεχνητή νοημοσύνη που συγχέουν τη σημασία με την ουσιαστικότητα και τα αναφέρουν με μέγεθος εφέ και αβεβαιότητα
Το πιο χρησιμοποιημένο και πιο παρεξηγημένο εργαλείο στατιστικής είναι ο έλεγχος υποθέσεων. Η βασική ιδέα είναι απλή: έχουμε έναν ισχυρισμό (π.χ. «ο μέσος όρος αυτών των δύο ομάδων είναι διαφορετικός») και το αντίθετό του, μια μηδενική υπόθεση (H0 — «στην πραγματικότητα δεν υπάρχει διαφορά»). Το τεστ μετρά πόσο καλά τα δεδομένα συμφωνούν με τη μηδενική υπόθεση. Σε αυτή την ενότητα θα δούμε πώς η τεχνητή νοημοσύνη (AI) διευκολύνει την επιλογή και την ερμηνεία των δοκιμών, αλλά γιατί οι παγίδες γύρω από την τιμή p είναι τόσο κοινές και επικίνδυνες. Ας ξεκινήσουμε από την αρχή: η τεχνητή νοημοσύνη ξέρει ποια σύνταξη δοκιμής να γράψει. αλλά είναι δική σας δουλειά να ερμηνεύσετε εάν η υπόθεση του τεστ ικανοποιείται και τι πραγματικά σημαίνει το αποτέλεσμα.
Τι είναι στην πραγματικότητα η τιμή p;
Η τιμή p είναι η πιθανότητα ότι το αποτέλεσμα που παρατηρείτε, ή ένα πιο ακραίο αποτέλεσμα, θα προκύψει τυχαία όταν η μηδενική υπόθεση είναι αληθής (δηλαδή, στην πραγματικότητα δεν υπάρχει αποτέλεσμα). Μια μικρή τιμή p (0,05 είναι το παραδοσιακό όριο) σημαίνει "θα ήταν έκπληξη να δούμε τέτοια δεδομένα εάν πραγματικά δεν υπήρχε αποτέλεσμα". Αυτό θεωρείται απόδειξη κατά της μηδενικής υπόθεσης.
Τώρα ας διευκρινίσουμε τι δεν είναι η τιμή p - την οποία η τεχνητή νοημοσύνη συχνά συγχέει:
- Η τιμή p δεν είναι η πιθανότητα ότι η μηδενική υπόθεση είναι αληθής. Το p=0,03 δεν σημαίνει ότι «υπάρχει 3% πιθανότητα μη επίδρασης».
- Η τιμή p δεν υποδεικνύει το μέγεθος του εφέ. Ένα πολύ μικρό αποτέλεσμα μπορεί να δώσει μια μικροσκοπική τιμή p σε ένα μεγάλο δείγμα.
- Η τιμή p δεν αποδεικνύει ότι το εύρημα είναι σημαντικό ή πραγματικό. Το "σημαντικό" είναι ένας στατιστικός όρος, το "σημαντικό" είναι μια κρίση.
- Το p>0,05 δεν σημαίνει "καμία επίδραση". Σημαίνει ότι «δεν μπορούσαμε να δείξουμε το αποτέλεσμα με αυτά τα δεδομένα». Η απουσία αποδείξεων δεν είναι απόδειξη απουσίας.
Προσοχή: Το πιο συνηθισμένο σφάλμα ερμηνείας της τεχνητής νοημοσύνης είναι η παρουσίαση της λέξης "σημαντικό" ως "σημαντικός/ισχυρός/μεγάλος αντίκτυπος". Η στατιστική και η πρακτική σημασία είναι δύο διαφορετικά πράγματα. Αναφέρετε πάντα τα δύο χωριστά.
Διάστημα εμπιστοσύνης και μέγεθος εφέ: πλουσιότερες πληροφορίες
Αντί για μία μόνο τιμή p, ένα διάστημα εμπιστοσύνης είναι πολύ πιο ενημερωτικό: δίνει το εύλογο εύρος τιμών για την εκτίμησή σας. Η πρόταση "Επίδραση 1.200, 95% διάστημα εμπιστοσύνης [300, 2.100]" δείχνει και κατεύθυνση, μέγεθος και αβεβαιότητα. Το "p<0,05" λέει απλώς "μακριά από το μηδέν". Η σύγχρονη στατιστική πρακτική χρησιμοποιεί την τιμή p όχι μόνη της. συνιστά την αναφορά με το τρίο μέγεθος εφέ + διάστημα εμπιστοσύνης + τιμή p.
Στατιστική ισχύς και δείγμα
Η στατιστική ισχύς είναι η πιθανότητα ανίχνευσης ενός αποτελέσματος που υπάρχει στην πραγματικότητα (1 μείον την πιθανότητα σφάλματος τύπου II, δηλ. "χάνει το πραγματικό αποτέλεσμα"). Μια ελλιπής μελέτη είναι επιρρεπής σε δύο κινδύνους: (1) χάνει τα πραγματικά αποτελέσματα (ψευδώς αρνητικά). (2) τα λίγα αποτελέσματα που αποδεικνύονται σημαντικά φέρουν διογκωμένα μεγέθη—τη λεγόμενη κατάρα του νικητή επειδή μόνο οι διογκωμένες προβλέψεις μπορούν να ξεπεράσουν το όριο. Επομένως, είναι καλή πρακτική να υπολογίζεται η ισχύς/δείγμα πριν από την ανάλυση. Το AI δημιουργεί τον κωδικό για αυτόν τον λογαριασμό. Καθορίζετε το μέγεθος του εφέ στόχου με τη θεωρία.
Πρόβλημα πολλαπλής σύγκρισης
Όταν κάνετε μια δοκιμή, ένα όριο 0,05 σημαίνει "5% κίνδυνος ψευδώς θετικών". Αλλά αν κάνετε 20 δοκιμές, κατά μέσο όρο θα αναμενόταν κανείς να δώσει p<0,05 τυχαία, ακόμη και όταν όλα είναι πραγματικά αναποτελεσματικά. Αυτό ονομάζεται πρόβλημα πολλαπλής σύγκρισης. Η πιθανότητα ψευδώς θετικών αυξάνει γρήγορα όταν ελέγχονται μεγάλοι αριθμοί μεταβλητών, υποομάδων ή μεταβλητών αποτελέσματος. Η λύση είναι να διορθωθεί το όριο: Bonferroni (διαιρώντας το όριο με τον αριθμό των δοκιμών — αυστηρό), μέθοδοι Holm ή Benjamini-Hochberg που ελέγχουν το ποσοστό ψευδούς ανακάλυψης (FDR). Αυτός ο κίνδυνος γίνεται ακόμη μεγαλύτερος στην εποχή της τεχνητής νοημοσύνης, καθώς η τεχνητή νοημοσύνη μπορεί να παράγει δεκάδες δοκιμές σε δευτερόλεπτα — αυτό είναι το άμεσο θέμα της επόμενης ενότητας (p-hacking).
Συγκριτικός πίνακας: τι λέει η τιμή p και τι δεν λέει
έκφραση
Είναι αλήθεια;
Περιγραφή
"p=0.02, η πιθανότητα μη επίδρασης είναι 2%"
λάθος
Το p δεν είναι η πιθανότητα του H0
"p<0,05, το αποτέλεσμα είναι μεγάλο"
λάθος
Το p δεν υποδηλώνει μέγεθος
"p=0,20, κανένα αποτέλεσμα"
λάθος
Το να μην μπορείς να δείξεις δεν είναι απουσία
"p<0,05, υπάρχουν στοιχεία κατά του H0"
Αλήθεια
Επιφυλακτικός και στο σημείο
"Εφέ 1.200 [300;2.100], p=0.01"
καλύτερο
Μέγεθος + αβεβαιότητα + στοιχεία
Τέσσερα μηνύματα με δυνατότητα αντιγραφής
1. Επιλέγοντας το σωστό τεστ:
Ο ρόλος σας: βοηθός στατιστικών δοκιμών. Θέλω να συγκρίνω τον μέσο όρο δύο ανεξάρτητων ομάδων (συνεχής μεταβλητή). Δώστε μου: ποιο τεστ είναι κατάλληλο (με τις υποθέσεις του: κανονικότητα, ισότητα διακύμανσης), την εναλλακτική εάν η υπόθεση δεν πληρούται (π.χ. Welch, Mann-Whitney) και τον κωδικό R. Θα τρέξω το αποτέλεσμα και θα ελέγξω τις υποθέσεις.
2. Σωστή αναφορά της τιμής p:
Αναφέρετε το αποτέλεσμα της δοκιμής παρακάτω, αλλά ΚΑΝΟΝΕΣ:- ΜΗΝ παρουσιάζετε την τιμή p ως "πιθανότητα H0" ή "μέγεθος εφέ", - φροντίστε να συμπεριλάβετε το μέγεθος εφέ και το διάστημα εμπιστοσύνης 95%, - γράψτε "σημαντικό" και "σημαντικό" ξεχωριστά, - εάν p>0,05, ΜΗΝ πείτε "καμία επίδραση", πείτε "δεν μπορούσαμε να εμφανίσουμε". Έξοδος: [επικόλληση]
3. Υπολογισμός ισχύος/δείγματος:
Σχεδιάζω ένα πείραμα: δύο ομάδες, αναμενόμενο μέγεθος επίδρασης (d του Cohen) ~0,4, ισχύς 0,80, άλφα 0,05. Γράψτε τον κωδικό R που υπολογίζει το απαιτούμενο μέγεθος δείγματος (πακέτο pwr) και εξηγήστε τους κινδύνους μιας μελέτης χαμηλής ισχύος (κατάρα του νικητή).
4. Διόρθωση πολλαπλής σύγκρισης:
Έχω κάνει 15 ξεχωριστά τεστ υποθέσεων και έχω p-values. Γράψτε τον κώδικα R που εφαρμόζει τις διορθώσεις Bonferroni και Benjamin-Hochberg (FDR), εξηγήστε τη διαφορά μεταξύ των δύο μεθόδων και συνοψίστε σε μια πρόταση γιατί δεν πρέπει να εμπιστεύομαι το γυμνό p<0,05.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Έχει νόημα το αποτέλεσμα αυτής της δοκιμής; Σχολιάστε το αποτέλεσμα.
Αυτός ο ισχυρισμός παγιδεύει την τεχνητή νοημοσύνη στο δυαδικό αρχείο "με νόημα/μη νόημα". πιθανότατα παράγει μια πρόταση που συγχέει το μέγεθος με τη σημασία, όπως "ναι, είναι σημαντικό, το αποτέλεσμα είναι ισχυρό".
Ισχυρή προτροπή:
Ο ρόλος σας: προσεκτικός βοηθός στατιστικής. Ερμηνεύστε το αποτέλεσμα αλλά: (1) δώστε το μέγεθος εφέ + 95% διάστημα εμπιστοσύνης + τιμή p μαζί, (2) διαχωρίστε τη σημασία από τη σημασία, (3) p>0,05 στο "δεν μπορούσα να δείξω", (4) ρωτήστε πόσες δοκιμές έκανα. Εάν περισσότερες από μία, προτείνετε διόρθωση πολλαπλών συγκρίσεων, (5) υπενθυμίστε ότι πρέπει να ελεγχθούν οι υποθέσεις της δοκιμής.
Διαφορά: η ισχυρή προτροπή επιβάλλει εμπλουτισμένες αναφορές και προστατεύει από παγίδες p-value.
τρεις μίνι θήκες
Περίπτωση 1 — Μη σημαντική «σημαντικότητα» σε μεγάλο δείγμα. Ένας αναλυτής βρήκε τη μέση διαφορά μεταξύ των δύο ομάδων «πολύ σημαντική» σε p<0,001 σε δεδομένα με 500.000 παρατηρήσεις. Όμως η διαφορά ήταν μόνο 0,3 πόντους (από 100) και ήταν πρακτικά χωρίς νόημα. Το τεράστιο δείγμα έκανε ακόμα και τη μικροσκοπική διαφορά «σημαντική». Όταν αναφέρθηκε το μέγεθος της επίδρασης, το εύρημα βρέθηκε να είναι ασήμαντο. Μάθημα: η σημασία δεν είναι το μέγεθος. Εάν το n είναι μεγάλο, κάθε διαφορά είναι σημαντική.
Περίπτωση 2 — Ψευδαίσθηση πολλαπλών δοκιμών. Μία ομάδα εξέτασε 22 μεταβλητές αποτελέσματος. Ένα από αυτά έδειξε p=0,04 και ανακοινώθηκε ως «βρήκαμε το αποτέλεσμα». Με τη διόρθωση Bonferroni, το όριο μειώθηκε σε 0,05/22 = 0,0023. Το 0,04 δεν ξεπέρασε αυτό το όριο. Το μόνο «νόημα» αποτέλεσμα θα ήταν τυχαία από 22 δοκιμές. Μάθημα: όταν δοκιμάζουμε πολλά, είναι απαραίτητη η διόρθωση.
Περίπτωση 3 — Υπερδύναμη και κατάρα του νικητή. Μια μικρή πιλοτική μελέτη (n=15 ανά ομάδα) βρήκε μια επίδραση πολύ μεγάλη (d=0,9) και σημαντική. Μια μεγάλη μελέτη αντιγραφής μείωσε το αποτέλεσμα σε d = 0,2. Το μικρό δείγμα είχε επιτρέψει μόνο μια υπερεκτίμηση να περάσει το όριο. Μάθημα: Δεν είναι αξιόπιστα σημαντικά μεγέθη εφέ σε χαμηλή ισχύ.
Συνήθη λάθη
- Συγχέοντας τη σημασία με τη σημασία/μέγεθος. Το αποτέλεσμα δεν είναι μεγάλο μόνο και μόνο επειδή το p είναι μικρό. Αναφέρετε το μέγεθος του εφέ χωριστά.
- Λάθος της τιμής p για την πιθανότητα H0. Το p δεν είναι η "πιθανότητα μη επίδρασης". είναι εννοιολογικά διαφορετικό.
- Διαβάζοντας p>0,05 ως "καμία επίδραση". Η παράλειψη επίδειξης δεν αποτελεί απόδειξη απουσίας. Δηλώστε την αβεβαιότητα.
- Δεν διορθώνεται για πολλαπλές δοκιμές. Πάρα πολλά τεστ παράγουν ψευδώς θετικά. Εφαρμόστε Bonferroni/FDR.
- Αγνοώντας την εξουσία. Η σημαντική επίδραση στο μικρό δείγμα είναι υπερβολική. Υπολογίστε την ισχύ πριν την ανάλυση.
Συμβουλή: Προτού διαγράψετε ένα αποτέλεσμα ως "σημαντικό", κάντε δύο ερωτήσεις: "Είναι το αποτέλεσμα πρακτικά σημαντικό (μέγεθος);" και "Πόσες εξετάσεις έκανα πριν βρω αυτό το αποτέλεσμα;" Το δεύτερο ερώτημα είναι η λυδία λίθος της ειλικρίνειας.
Συνοπτικά
Ο έλεγχος υποθέσεων και η τιμή p είναι ισχυρά αλλά παρεξηγημένα εργαλεία. Η τιμή p είναι η πιθανότητα να δούμε τα δεδομένα όταν η μηδενική υπόθεση είναι αληθής. Η πιθανότητα H0 δεν είναι το μέγεθος της επίδρασης ή η σημασία του ευρήματος. Να αναφέρετε πάντα τη σημασία μαζί με το μέγεθος του εφέ και το διάστημα εμπιστοσύνης. Μην διαβάζετε το p>0,05 ως "καμία επίδραση". Εφαρμόστε διόρθωση πολλαπλής σύγκρισης εάν έχετε κάνει πολλές δοκιμές. Να γνωρίζετε τον κίνδυνο υπερβολικών επιδράσεων από μελέτες χαμηλής ισχύος. Η τεχνητή νοημοσύνη παράγει κώδικα δοκιμής και σχέδιο. Είναι δική σας ευθύνη να κάνετε διάκριση μεταξύ της σημασίας και της ουσιαστικότητας και να ελέγξετε τις υποθέσεις.
Εργασία εφαρμογής
Κάντε μια σύγκριση των μέσων μεταξύ δύο ομάδων σε ένα σύνολο δεδομένων. Ζητήστε από το AI το κατάλληλο τεστ (με τις υποθέσεις του) και κωδικοποιήστε, εκτελέστε το και ελέγξτε τις υποθέσεις. Αναφέρετε το αποτέλεσμα με τρία στοιχεία: μέγεθος εφέ, διάστημα εμπιστοσύνης 95%, τιμή p. Στη συνέχεια, σκεφτείτε πόσες διαφορετικές συγκρίσεις μπορείτε να κάνετε στα ίδια δεδομένα. Εάν έχετε εκτελέσει πολλές δοκιμές, εφαρμόστε διόρθωση Bonferroni ή FDR και αναφέρετε εάν το αποτέλεσμα εξακολουθεί να ισχύει. Τέλος, γράψτε μια πρόχειρη εκτίμηση ισχύος για την ανάλυσή σας.
λίστα ελέγχου
- [ ] Επέλεξα το τεστ με τις υποθέσεις του και έλεγξα τις υποθέσεις.
- [ ] Ανέφεραν το αποτέλεσμα ως μέγεθος εφέ + διάστημα εμπιστοσύνης + τιμή p.
- [ ] Κράτησα το "σημαντικό" και το "σημαντικό" ξεχωριστά. Δεν πίστευα ότι το p ήταν η πιθανότητα H0.
- [ ] Έγραψα p>0,05 ως "δεν μπορούσαμε να το δείξουμε" παρά ως "καμία επίδραση".
- [ ] Εφάρμοσα διόρθωση πολλαπλών συγκρίσεων εάν εκτελούσα πολλαπλές δοκιμές.
- [ ] Αξιολόγησα την ισχύ δειγματοληψίας. Ήμουν προσεκτικός σχετικά με το μέγεθος του εφέ σε χαμηλή ισχύ.