Συγγραφή Αναφοράς, Επικοινωνία και Δεοντολογία: Παρουσίαση Αποτελεσμάτων και Όρια Επικοινωνίας

Κέρδη:

• Δυνατότητα αναφοράς εμπειρικών ευρημάτων στο κοινό-στόχο (ακαδημαϊκό, πολιτική, διοίκηση) με την υποστήριξη της τεχνητής νοημοσύνης, σε μια ειλικρινή και ξεκάθαρη γλώσσα
• Δυνατότητα πλήρους σύνταξης συμπερασμάτων, περιορισμών και ηθικών δηλώσεων (εμπιστευτικότητα δεδομένων, σύγκρουση συμφερόντων, αποκάλυψη χρήσης τεχνητής νοημοσύνης) και αποφυγή παραπλανητικής παρουσίασης
• Η ικανότητα της τεχνητής νοημοσύνης να αναγνωρίζει προσχέδια αναφορών που παράγουν υπερβολική, μονόπλευρη ή αιτιολογική γλώσσα και να διατηρεί αυτή την ευθύνη για το τελικό κείμενο και τους ισχυρισμούς ανήκει στον ερευνητή.

Εξέταση Ενοτήτων

1. Ένας ερευνητής ρωτά «Ποιος είναι ο συντελεστής συσχέτισης μεταξύ της ανεργίας και του πληθωρισμού στην Τουρκία μεταξύ 2015 και 2020;» χωρίς να δώσει κανένα στοιχείο στην τεχνητή νοημοσύνη. ρωτάει και γράφει τον αριθμό 0,62 κατευθείαν στο άρθρο του. Ποιο είναι το θεμελιώδες λάθος σε αυτή την προσέγγιση;

• Α) Αναμένοντας συγκεκριμένα στατιστικά στοιχεία από την τεχνητή νοημοσύνη χωρίς να δίνονται επαληθευμένα δεδομένα. ✔ Χρησιμοποιώντας έναν αριθμό που μπορεί να έχει κατασκευαστεί χωρίς να τον επαληθεύσετε
• Β) Ο συντελεστής συσχέτισης δεν πρέπει ποτέ να χρησιμοποιείται σε ένα άρθρο.
• Γ) Δεν μπορεί να υπολογιστεί συσχέτιση μεταξύ ανεργίας και πληθωρισμού
• Δ) Η τεχνητή νοημοσύνη μπορεί να έχει πρόσβαση σε δεδομένα μόνο μετά το 2020

Εξήγηση: Το μοντέλο γλώσσας AI δεν μπορεί να παράγει στατιστικά στοιχεία χωρίς πρόσβαση στο σύνολο δεδομένων. Το νούμερο που δίνει είναι πιθανότατα παραίσθηση (κατασκευασμένη). Οι συντελεστές, οι αναλογίες και τα αποτελέσματα των δοκιμών θα πρέπει να υπολογίζονται από τα επαληθευμένα δεδομένα του ίδιου του ερευνητή και όχι από τη μνήμη του μοντέλου.

2. Τι σημαίνει ότι τα δεδομένα που λείπουν είναι «να μην λείπουν τυχαία» (MNAR) και γιατί είναι σημαντικό;

• Α) Η ανεπάρκεια οφείλεται στην ίδια την απαρατήρητη τιμή. Γι' αυτό η απλή ανάθεση μπορεί να δημιουργήσει προκατάληψη ✔
• Β) Τα δεδομένα εξαφανίζονται εντελώς τυχαία και δεν δημιουργούν καμία προκατάληψη.
• Γ) Τα δεδομένα που λείπουν θα πρέπει πάντα να επιλύονται διαγράφοντας τη σειρά.
• Δ) Η έλλειψη δεδομένων δεν επηρεάζει την ανάλυση με κανέναν τρόπο.

Εξήγηση: Στην περίπτωση του MNAR (Missing Not At Random), η ίδια η έλλειψη εξαρτάται από το μέγεθος της μη παρατηρούμενης αξίας (π.χ. οι υψηλά εισοδήματα δεν αναφέρουν το εισόδημά τους). Σε αυτήν την περίπτωση, η απλή διαγραφή ή η μέση ανάθεση δίνει μεροληπτικά αποτελέσματα. Ο μηχανισμός της ανεπάρκειας πρέπει να μοντελοποιηθεί. Η μέθοδος ανάθεσης που προτείνει η τεχνητή νοημοσύνη δεν πρέπει να εφαρμόζεται στα τυφλά χωρίς να γνωρίζουμε αυτόν τον μηχανισμό.

3. Ένας αναλυτής βάζει το AI να κάνει ένα γράφημα ράβδων και το AI ξεκινά τον άξονα y στο 40 αντί για το μηδέν. Η πραγματική διαφορά 2% μεταξύ των δύο ομάδων φαίνεται τεράστια στο γράφημα. Ποια είναι η σωστή προσέγγιση;

• Α) Εκκίνηση του άξονα από την αρχή ή αλλαγή του τύπου διαγράμματος. ✔ για να δείξει το πραγματικό μέγεθος της διαφοράς χωρίς παραπλανητικό
• Β) Χρησιμοποιώντας το γράφημα ως έχει γιατί το AI κάνει την καλύτερη επιλογή
• Γ) Ξεκινώντας τον άξονα στο 45 για να γίνει η διαφορά ακόμα μεγαλύτερη
• Δ) Ποτέ μην χρησιμοποιείτε γραφικά αντί για ραβδόγραμμα

Εξήγηση: Σε ένα ραβδόγραμμα, ο διακεκομμένος άξονας (ο άξονας y που δεν ξεκινά από το μηδέν) παραπλανά υπερβάλλοντας τις μικρές διαφορές. Στην ειλικρινή απεικόνιση, ο άξονας των ραβδόγραμμα πρέπει να ξεκινά από το μηδέν ή η διαφορά πρέπει να δηλώνεται συνειδητά με σαφήνεια. Είναι ευθύνη του αναλυτή να επαληθεύσει την εικόνα και να τη διορθώσει εάν είναι απαραίτητο.

4. Πώς συχνά παρερμηνεύεται στην ερμηνεία της τεχνητής νοημοσύνης το γεγονός ότι ένας συντελεστής είναι «σημαντικός» (p<0,05) στη γραμμική παλινδρόμηση;

• Α) Υπερβολική παρουσίαση της σημασίας καθώς το αποτέλεσμα είναι μεγάλο και σημαντικό ή διαπιστώνεται αιτιότητα ✔
• Β) Η σημασία δείχνει πάντα ότι το αποτέλεσμα είναι μικρό
• Γ) Το p<0,05 αποδεικνύει ότι ο συντελεστής είναι απολύτως σωστός
• Δ) Δεν πρέπει ποτέ να αναφέρονται σημαντικοί συντελεστές.

Εξήγηση: Η στατιστική σημασία σχετίζεται με την ισχύ των αποδεικτικών στοιχείων ότι το αποτέλεσμα είναι διαφορετικό από το μηδέν. Δεν σημαίνει ότι το αποτέλεσμα είναι μεγάλο, σημαντικό ή αιτιολογικό. Η τεχνητή νοημοσύνη συχνά παρουσιάζει τη λέξη «σημαντικό» ως «σημαντικό/ισχυρό αντίκτυπο». Ο ερευνητής θα πρέπει επίσης να αξιολογήσει το μέγεθος του αποτελέσματος, το διάστημα εμπιστοσύνης και το πλαίσιο.

5. Σε τι αναφέρεται ο όρος 'p-hacking' και γιατί η τεχνητή νοημοσύνη μπορεί να το διευκολύνει;

• Α) Δοκιμάζοντας πολλαπλές αναλύσεις μέχρι να έχει νόημα. Το AI το κάνει πολύ γρήγορα, αυξάνοντας τον κίνδυνο ✔
• Β) Ανάλυση δεδομένων μία φορά και με προκαθορισμένο σχέδιο
• Γ) επέκταση του δείγματος για αύξηση της τιμής p
• Δ) Αναφορά μόνο περιγραφικών στατιστικών

Εξήγηση: Το p-hacking δοκιμάζει διαφορετικές μεταβλητές, υποδείγματα, μετασχηματισμούς ή μοντέλα μέχρι να προκύψει ένα ουσιαστικό αποτέλεσμα. Αυτό παράγει ψευδή ευρήματα που βασίζονται στην τύχη. Δεδομένου ότι το AI μπορεί να δοκιμάσει δεκάδες παραλλαγές μοντέλων σε δευτερόλεπτα, μπορεί να επιταχύνει το p-hacking χωρίς ένα ειλικρινές σχέδιο. Αμυνα; προεγγραφή, σταθερό σχέδιο ανάλυσης και διόρθωση πολλαπλών συγκρίσεων.

6. Γιατί μπορεί να είναι παραπλανητική η εύρεση μιας παλινδρόμησης με υψηλό τετράγωνο R μεταξύ δύο μη ακίνητων (μοναδιαίας ρίζας) χρονολογικών σειρών;

• Α) Μπορεί να συμβεί ψευδής παλινδρόμηση λόγω κοινής τάσης. ✔ Υψηλό τετράγωνο R χωρίς πραγματική σχέση
• Β) Ένα υψηλό R-τετράγωνο αποδεικνύει πάντα μια ισχυρή αιτιακή σχέση.
• Γ) Οι μη στάσιμες σειρές δεν μπορούν καθόλου να εισαχθούν σε παλινδρόμηση.
• Δ) Το R-τετράγωνο δεν μπορεί να υπολογιστεί σε χρονοσειρές

Εξήγηση: Εάν δεν υπάρχει κοινή σχέση συνολοκλήρωσης μεταξύ μη στάσιμων σειρών, η ψευδής παλινδρόμηση μπορεί να παράγει υψηλό τετράγωνο R και σημαντικό συντελεστή μόνο λόγω κοινής τάσης. ενώ δεν υπάρχει πραγματική σχέση. Επομένως, θα πρέπει να γίνουν πρώτα δοκιμές σταθερότητας και μοναδιαίας ρίζας και, εάν είναι απαραίτητο, θα πρέπει να λαμβάνονται διαφορές ή να ελέγχεται η συνολοκλήρωση.

7. Ποια βασική υπόθεση βασίζεται στην εγκυρότητα του σχεδιασμού Διαφορά στις Διαφορές;

• Α) Παραδοχή παράλληλων τάσεων: οι ομάδες θα ακολουθούσαν την ίδια κατεύθυνση αν δεν υπήρχε παρέμβαση ✔
• Β) Οι ομάδες θεραπείας και ελέγχου είναι ακριβώς οι ίδιες στην αρχή
• Γ) Κανονική κατανομή του δείγματος
• Δ) Οι μεταβλητές δεν περιέχουν δεδομένα που λείπουν

Εξήγηση: Ο DiD υποθέτει ότι ελλείψει της παρέμβασης, η μεταβλητή έκβασης για τις ομάδες θεραπείας και ελέγχου θα είχε πορεία παράλληλη με την πάροδο του χρόνου (υπόθεση παράλληλων τάσεων). Εάν αυτή η υπόθεση δεν ικανοποιηθεί, η εκτίμηση είναι μεροληπτική. Η τεχνητή νοημοσύνη μπορεί να παράγει τον κώδικα DiD, αλλά είναι δουλειά του ερευνητή να υπερασπιστεί και να δοκιμάσει τις παράλληλες τάσεις.

8. Ποιο από τα παρακάτω είναι υποχρεωτική πρακτική για μια αναπαραγώγιμη ανάλυση;

• Α) Διόρθωση του σπόρου σε τυχαία βήματα, καταγραφή εκδόσεων πακέτων και κωδικού ✔
• Β) Αντιγράψτε χειροκίνητα τα αποτελέσματα στο υπολογιστικό φύλλο και διαγράψτε τον κωδικό
• Γ) Είναι φυσιολογικό να βλέπετε διαφορετικά αποτελέσματα σε κάθε τρέξιμο.
• Δ) Διατήρηση μόνο τελικών γραφικών, χωρίς κοινή χρήση δεδομένων και κώδικα

Περιγραφή: Αναπαραγωγιμότητα. Το ίδιο αποτέλεσμα μπορεί να ληφθεί ξανά με τα ίδια δεδομένα και τον ίδιο κωδικό. Η διόρθωση του seed σε τυχαία βήματα, η αποθήκευση των εκδόσεων του πακέτου και η εκτέλεση του κώδικα μέσα στο έγγραφο (εγγράμματος προγραμματισμός) είναι οι ακρογωνιαίοι λίθοι αυτού. Η μη αυτόματη αντιγραφή των αποτελεσμάτων ή τα βήματα που δεν καταγράφονται βασίζονται σε κλικ μειώνει την αναπαραγωγιμότητα.

9. Τι παραμορφώνει η ετεροσκεδαστικότητα μια γραμμική παλινδρόμηση και ποια είναι η κοινή λύση της;

• Α) Παραμορφώνει τυπικά σφάλματα. λύση είναι ισχυρά τυπικά σφάλματα ή κατάλληλος μετασχηματισμός ✔
• Β) Ακυρώνει τελείως τις εκτιμήσεις των συντελεστών και δεν έχει λύση
• Γ) Μειώνει πάντα το R-τετράγωνο στο μηδέν
• Δ) Εμφανίζεται μόνο εάν το δείγμα είναι πολύ μικρό και μπορεί να αγνοηθεί

Εξήγηση: Η ετεροσκεδαστικότητα αφήνει τις εκτιμήσεις των συντελεστών αμερόληπτες, αλλά δεν υπολογίζει σωστά τα τυπικά σφάλματα. Αυτό κάνει τις τιμές p και τα διαστήματα εμπιστοσύνης αναξιόπιστα. Μια κοινή λύση είναι η χρήση τυπικών σφαλμάτων ισχυρής/HC ή κατάλληλης μετατροπής. Πρέπει να επαληθευτεί ότι η λύση που προτείνεται από το AI διορθώνει στην πραγματικότητα το πρόβλημα αντί να το κρύβει.

10. Ένας ερευνητής ανεβάζει μικροδεδομένα που περιέχουν πληροφορίες ταυτοποίησης και εισόδημα σε επίπεδο ασθενούς σε ένα δημόσιο εργαλείο συνομιλίας AI και λέει «κάντε παλινδρόμηση». Ποιο είναι το κύριο πρόβλημα με αυτή τη συμπεριφορά;

• Α) Η μεταφόρτωση προσωπικών δεδομένων/αδειοδοτημένων δεδομένων σε εξωτερικό εργαλείο συνιστά παραβίαση του απορρήτου και της σύμβασης ✔
• Β) Η παλινδρόμηση δεν μπορεί να γίνει καθόλου με την τεχνητή νοημοσύνη
• Γ) Τα μικροδεδομένα δεν είναι καθόλου κατάλληλα για παλινδρόμηση
• Δ) Το AI υπολογίζει πάντα λάθος την παλινδρόμηση

Επεξήγηση: Τα προσωπικά/ειδικά δεδομένα όπως η ταυτότητα και το εισόδημα προστατεύονται βάσει του KVKK/GDPR και των περισσότερων συμφωνιών χρήσης δεδομένων. Η μεταφόρτωσή τους σε μια εξωτερική συσκευή που μπορεί να αποθηκεύσει δεδομένα αποτελεί παράβαση. Ο σωστός τρόπος? Ανωνυμοποίηση δεδομένων, χρήση τοπικών/θεσμικών ασφαλών εργαλείων ή απλή αίτηση κώδικα από την τεχνητή νοημοσύνη και εκτέλεση του κώδικα στο δικό του περιβάλλον.

11. Τι παρατηρείται όταν η πολυσυγγραμμικότητα είναι υψηλή;

• Α) Οι συντελεστές γίνονται ασταθείς και τα τυπικά σφάλματα διογκώνονται. Οι μεμονωμένοι συντελεστές μπορεί να αποδειχθούν ανούσιοι ✔
• Β) Το R-τετράγωνο μειώνεται πάντα στο μηδέν
• Γ) Οι εκτιμήσεις των συντελεστών γίνονται όλο και πιο ακριβείς
• Δ) Η κλίμακα της εξαρτημένης μεταβλητής αλλάζει

Εξήγηση: Σε υψηλή πολυσυγγραμμικότητα, οι ανεξάρτητες μεταβλητές συσχετίζονται ισχυρά μεταξύ τους. Οι εκτιμήσεις των συντελεστών γίνονται ασταθείς, τα τυπικά σφάλματα διογκώνονται και οι μεμονωμένοι συντελεστές μπορεί να αποδειχθούν ασήμαντοι, ενώ το συνολικό μοντέλο μπορεί να είναι σημαντικό. Η διάγνωση γίνεται με κριτήρια όπως το VIF. Η τεχνητή νοημοσύνη μπορεί να προτείνει την εξάλειψη μεταβλητών, αλλά εναπόκειται στον ερευνητή να αποφασίσει ποια μεταβλητή θα παραμείνει θεωρητική.

12. Τι είναι η στατιστική ισχύς και ποιος είναι ο κίνδυνος μιας μελέτης χαμηλής ισχύος;

• Α) Δυνατότητα ανίχνευσης του υπάρχοντος αποτελέσματος. Η χαμηλή ισχύς χάνει τα πραγματικά αποτελέσματα και κάνει τα ευρήματα αναξιόπιστα ✔
• Β) πιθανότητα μείωσης της τιμής p. Η χαμηλότερη ισχύς δίνει πάντα πιο αξιόπιστα αποτελέσματα
• Γ) Σταθερή τιμή ανεξάρτητη από το μέγεθος του δείγματος
• Δ) Έννοια που ισχύει μόνο όταν χρησιμοποιείται τεχνητή νοημοσύνη

Εξήγηση: Ισχύς είναι η πιθανότητα ανίχνευσης ενός εφέ που υπάρχει στην πραγματικότητα (1 μείον το σφάλμα τύπου II). Οι μελέτες χαμηλής ισχύος μπορεί να χάνουν τα αληθινά αποτελέσματα. Επιπλέον, τα λίγα σημαντικά αποτελέσματα μπορεί να έχουν υπερβολικό μέγεθος εφέ («κατάρα του νικητή») και το ποσοστό ψευδώς θετικού να αυξάνεται. Επομένως, ο υπολογισμός ισχύος/δείγματος είναι σημαντικός πριν από την ανάλυση.

13. Γιατί είναι ηθικά απαραίτητο να αποκαλύπτεται η χρήση τεχνητής νοημοσύνης σε ένα άρθρο;

• Α) Για διαφάνεια και λογοδοσία. ✔ Οι αναγνώστες και οι διαιτητές μπορούν να αξιολογήσουν τη διαδικασία και η ευθύνη παραμένει στον συγγραφέα
• Β) Η χρήση τεχνητής νοημοσύνης ακυρώνει αυτόματα τα αποτελέσματα
• Γ) Ζητείται από περιοδικά μόνο για διαφημιστικούς σκοπούς
• Δ) Μεταφορά των πνευματικών δικαιωμάτων της εξήγησης στην τεχνητή νοημοσύνη

Αποκάλυψη: Η διαφάνεια είναι απαραίτητη ώστε ο αναγνώστης και οι κριτές να μπορούν να αξιολογήσουν τον τρόπο με τον οποίο παράγονται τα αποτελέσματα. Πολλά περιοδικά και ιδρύματα απαιτούν τώρα την αποκάλυψη της χρήσης τεχνητής νοημοσύνης. Επιπλέον, δεδομένου ότι η τεχνητή νοημοσύνη μπορεί να προκαλέσει σφάλματα/παραισθήσεις, είναι θέμα ειλικρίνειας να δηλώσουμε ότι η ευθύνη παραμένει στον συγγραφέα και ποια βήματα ελέγχθηκαν.

14. Τι απαιτεί ο «περιορισμός αποκλεισμού» στη μέθοδο της μεταβλητής μέσου (IV);

• Α) Το εργαλείο επηρεάζει το αποτέλεσμα μόνο μέσω της εσωτερικής μεταβλητής, δεν υπάρχει άλλος άμεσος τρόπος ✔
• Β) Το όργανο δεν έχει σχέση με τη μεταβλητή έκβασης.
• Γ) Το όργανο δεν σχετίζεται με την ενδογενή μεταβλητή.
• Δ) Το μέσο είναι πάντα μια δυαδική (0/1) μεταβλητή

Εξήγηση: Ο περιορισμός αποκλεισμού απαιτεί το όργανο να επηρεάζει τη μεταβλητή αποτελέσματος μόνο μέσω της ενδογενούς επεξηγηματικής μεταβλητής και όχι μέσω άλλων άμεσων μέσων ή μη παρατηρηθέντων παραγόντων. Αυτή η υπόθεση δεν μπορεί να ελεγχθεί πλήρως από δεδομένα. Υπερασπίζεται σε θεωρητικούς και θεσμικούς λόγους. Το AI μπορεί να γράψει τον κωδικό IV, αλλά είναι δουλειά του ερευνητή να υπερασπιστεί την εγκυρότητα του εργαλείου.

15. Τι σημαίνει το πρόβλημα «Garden of forking paths» σε ευέλικτες αναλύσεις χωρίς προεγγραφή;

• Α) Πάρα πολλές εύλογες επιλογές ανάλυσης που έγιναν με βάση τα δεδομένα αυξάνουν το ψευδώς θετικό ποσοστό, ακόμη και ακούσια ✔
• Β) Οι μέθοδοι ανάλυσης πρέπει να είναι ενιαίες και υποχρεωτικές
• Γ) Ένα πρόβλημα που εμφανίζεται μόνο όταν εμφανίζεται σκόπιμη εξαπάτηση.
• Δ) Μια κατάσταση που εξαφανίζεται αυθόρμητα καθώς το δείγμα μεγαλώνει

Επεξήγηση: Μετά την προβολή των δεδομένων, ο ερευνητής μπορεί να κάνει πολλές λογικές επιλογές σχετικά με τη μεταβλητή, την υποομάδα, τον μετασχηματισμό ή το όριο που θα χρησιμοποιήσει. Ακόμα κι αν δεν υπάρχει μεμονωμένο «σκόπιο p-hacking», αυτή η ευελιξία αυξάνει το ψευδώς θετικό ποσοστό επειδή το σημαντικό επιλέγεται αποτελεσματικά από έναν μεγάλο αριθμό αναλύσεων. Η προεγγραφή και ένα σταθερό σχέδιο ανάλυσης περιορίζουν αυτήν την ευελιξία.