Εφαρμογή από άκρο σε άκρο: Αξιολόγηση, Επικύρωση, Δεοντολογία και Όρια

Κέρδη:

• Δυνατότητα ρύθμισης ενός μικρού δοκιμαστικού σετ (eval) που αξιολογεί ένα μοντέλο με τα δικά σας δεδομένα
• Ενσωματώστε την ανθρώπινη επαλήθευση, τα όρια και την πολιτική υπεύθυνης χρήσης στη ροή εργασίας
• Αναγνωρίστε την ψευδαίσθηση, την ιδιωτικότητα και τους ηθικούς κινδύνους και εφαρμόστε μέτρα μετριασμού

Έχετε επιλέξει το σωστό μοντέλο. Έγινε η δουλειά; Όχι, η πραγματική δουλειά ξεκινά τώρα. Η τοποθέτηση ενός μοντέλου στην επιχείρησή σας καταλήγει στη δοκιμή του με τα δικά σας δεδομένα, στην επικύρωση της παραγωγής του και στην υπεύθυνη διαμόρφωση του. Αυτή η τελική ενότητα μετατρέπει ολόκληρη την ενότητα σε μια εφαρμογή από άκρο σε άκρο: θα μάθετε πώς να δημιουργείτε μια μικρή σουίτα δοκιμών (eval), να ενσωματώνετε την ανθρώπινη επαλήθευση στη ροή εργασίας, να διαχειρίζεστε παραισθήσεις και κινδύνους προστασίας της ιδιωτικής ζωής και να χαράζετε ηθικά όρια. Μόλις ολοκληρωθεί η μονάδα, θα είστε εξοπλισμένοι όχι μόνο να επιλέξετε ένα μοντέλο αλλά και να το αναθέσετε με σιγουριά.

Αξιολόγηση (Eval): Δοκιμή με τα δικά σας δεδομένα

Τώρα γνωρίζετε ότι μόνο τα πραγματικά σας δεδομένα, όχι οι διαφημίσεις, μπορούν να καταλάβουν εάν ένα μοντέλο ταιριάζει στην επιχείρησή σας. Ο τρόπος για να το μετρήσετε αυτό είναι να δημιουργήσετε ένα σύνολο αξιολόγησης (eval): μια μικρή συλλογή δειγμάτων από την εργασία σας για την οποία είναι γνωστή η σωστή απάντηση.

Ένα απλό eval έχει ρυθμιστεί ως εξής:

1. Συλλέξτε 10-30 πραγματικά δείγματα. Επιλέξτε στοιχεία που είναι τυπικά για τη δουλειά σας (συνδυάστε δύσκολα και εύκολα).
2. Προσδιορίστε τη "σωστή/αναμενόμενη έξοδο" για κάθε παράδειγμα. Τι θα απαντούσε ένας ειδικός;
3. Εκτελέστε υποψηφίους μέσα από τα ίδια παραδείγματα. Δοκιμάστε τα μοντέλα που συγκρίνετε ένα προς ένα με το ίδιο σετ.
4. Βαθμολογήστε τα αποτελέσματα. Σε πόσα παραδείγματα ισχύει; Πού έκανε λάθος; Είναι αποδεκτά τα λάθη;
5. Συγκρίνετε και επιλέξτε. Επιλέξτε όχι την υψηλότερη συνολική βαθμολογία, αλλά αυτή που είναι πιο αξιόπιστη στα πιο κρίσιμα παραδείγματα για εσάς.

Συμβουλή: Μην εμπιστεύεστε τυφλά τους βαθμολογικούς πίνακες. Ένα μοντέλο μπορεί να κατατάσσεται πρώτο παγκοσμίως, αλλά να έχει χειρότερη απόδοση από το μοντέλο της δεύτερης θέσης στα συγκεκριμένα τουρκικά νομικά κείμενά σας. Η δική σας αξιολόγηση των 20 δειγμάτων αξίζει περισσότερο από εκατοντάδες δημόσιες δοκιμές.

Ψευδαίσθηση: Ο πιο ύπουλος κίνδυνος του μοντέλου

Μια ψευδαίσθηση είναι όταν το μοντέλο παράγει πληροφορίες που στην πραγματικότητα δεν είναι αληθινές, σε μια σίγουρη γλώσσα. Αντί να πει «δεν ξέρω», το μοντέλο μπορεί να παράγει μια ανύπαρκτη νομοθεσία, ένα πλαστό στατιστικό στοιχείο ή μια ψευδή ημερομηνία. Επιπλέον, το κάνει αυτό σε μια εξαιρετικά πειστική γλώσσα. Αυτή είναι η πιο επικίνδυνη πτυχή της τεχνητής νοημοσύνης επειδή το λάθος μεταμφιέζεται ως αλήθεια.

Δεν μπορείτε να εξαλείψετε εντελώς την ψευδαίσθηση, αλλά μπορείτε να τη μειώσετε και να την πιάσετε:

• Βασίστε το στην πηγή: Ζητήστε από το μοντέλο να δημιουργήσει απαντήσεις από τα έγγραφα που παρέχετε, όχι από τη δική του «μνήμη» (λογική RAG).
• Ζητήστε πηγές: Πείτε, "Δίπλα σε κάθε αξίωση, γράψτε το έγγραφο/ενότητα στο οποίο βασίζεται". Αν δεν μπορεί να δώσει πηγή, να είσαι καχύποπτος.
• Κάνετε τους ανθρώπους να λένε ότι δεν είναι σίγουροι: Η οδηγία "Εάν δεν είστε σίγουροι, γράψτε "μη σαφές"" μειώνει την εφαρμογή του μοντέλου.
• Ανθρώπινη επαλήθευση: Τα κρίσιμα αποτελέσματα πρέπει να επαληθεύονται από άνθρωπο.

Προσοχή: Μη χρησιμοποιείτε ποτέ την έξοδο μοντέλου χωρίς να την επικυρώσετε για νομικές, ιατρικές ή οικονομικές αποφάσεις. Ένα "άρθρο νόμου" ή "πληροφορίες δόσης" που παράγονται από το μοντέλο μπορεί να είναι εντελώς κατασκευασμένο. Σε αυτούς τους τομείς, η τεχνητή νοημοσύνη είναι ένα προσχέδιο/προκαταρκτικό εργαλείο. Ένας ικανός άνθρωπος έχει πάντα τον τελευταίο λόγο.

Απαίτηση για Ανθρώπινη Επαλήθευση

Η τεχνητή νοημοσύνη λειτουργεί καλύτερα ως εργαλείο που επιταχύνει τους ανθρώπους, όχι τους αφήνει χωρίς δουλειά. Η σωστή ρύθμιση είναι η εξής: παράγει ή προεπιλέγει το προσχέδιο μοντέλου. ο άνθρωπος εξετάζει, διορθώνει και εγκρίνει. Το πόσο αυστηρή πρέπει να είναι η επαλήθευση εξαρτάται από το κόστος του σφάλματος.

Αναζήτηση

Κόστος σφάλματος

ανθρώπινη επαλήθευση

Προσχέδιο περιγραφής προϊόντος

χαμηλά

Ο έλεγχος του δείγματος είναι αρκετός

Απάντηση μέσω email πελάτη

μεσαίο

Έλεγχος πριν από την υποβολή

Ανάλυση κινδύνου συμβολαίου

ψηλά

Άρθρο προς άρθρο επιβεβαίωση εμπειρογνωμόνων

Ιατρικές/οικονομικές συμβουλές

πολύ ψηλά

Πλήρης επαλήθευση ειδικού, υποστήριξη μόνο AI

Αυτός ο πίνακας επιτυγχάνει την ισορροπία μεταξύ του "χειροκίνητου ελέγχου κάθε εξόδου" και του "καθόλου ελέγχου". Ενώ ο έλεγχος δειγμάτων είναι επαρκής για εργασίες χαμηλού κόστους, κάθε έξοδος πρέπει να επαληθεύεται για εργασίες υψηλής τιμής.

Ηθική και υπεύθυνη χρήση

Αν και η επιλογή μοντέλου μπορεί να φαίνεται σαν μια τεχνική απόφαση, υπάρχουν ηθικές ευθύνες πίσω από αυτήν:

• Διαφάνεια: Ενημερώστε τους πελάτες ή τους υπαλλήλους σας ότι χρησιμοποιείτε AI σε κατάλληλα σημεία. Ένας πελάτης έχει το δικαίωμα να γνωρίζει αν μιλάει σε άνθρωπο ή AI.
• Προκατάληψη: Τα μοντέλα μπορούν να κληρονομήσουν προκατάληψη από τα δεδομένα στα οποία έχουν εκπαιδευτεί. Παρακολουθήστε τη δικαιοσύνη των αποτελεσμάτων σε ευαίσθητους τομείς όπως η πρόσληψη και η πιστοληπτική αξιολόγηση.
• Απόρρητο: Ενσωματώστε τις αρχές προστασίας δεδομένων που μάθατε στην ενότητα 8 στη ροή εργασίας. Μην στέλνετε προσωπικά δεδομένα αλόγιστα.
• Υπευθυνότητα: Όταν συμβαίνει ένα λάθος, η άμυνα «AI το έκανε» δεν είναι αρκετή. Η ευθύνη ανήκει στο ίδρυμα που χρησιμοποιεί το όχημα. Επομένως, διαδικασίες επαλήθευσης εγγράφων.

Συμβουλή: Γράψτε μια μικρή «πολιτική υπεύθυνης χρήσης» στη ροή εργασίας σας: ποιες εργασίες μπορούν να χρησιμοποιούν τεχνητή νοημοσύνη, ποια δεδομένα δεν μπορούν να σταλούν, ποιος θα την επαληθεύσει και πώς θα αναφέρονται τα σφάλματα. Αυτό το έγγραφο μιας σελίδας αποτρέπει σημαντικά προβλήματα στο μέλλον.

Τρεις ρεαλιστικές περιπτώσεις

Περίπτωση 1 — Μετανιώνω χωρίς να καθιερώνω την αξιολόγηση. Μια ασφαλιστική ομάδα αρχίζει να συνοψίζει τις απαιτήσεις χωρίς να δοκιμάσει το πιο δημοφιλές μοντέλο. Μετά από δύο εβδομάδες, συνειδητοποιούν ότι το μοντέλο κάνει συχνά λάθη με τουρκικούς τεχνικούς όρους και διαβάζει λανθασμένα κάποια ποσά. Όταν δημιουργούν μια ισοτιμία 20 δειγμάτων και συγκρίνουν τα τρία μοντέλα, αλλάζουν στο μοντέλο που δεν είναι το πιο δημοφιλές αλλά είναι πιο ακριβές στα τουρκικά τεχνικά κείμενα. Η απώλεια: δύο εβδομάδες και εργασία διόρθωσης. Μάθημα: αξιολόγηση πρώτα, ανάπτυξη αργότερα.

Περίπτωση 2 — Η διαδικασία που καταγράφει την ψευδαίσθηση. Ένας παρανόμος βλέπει μια αναφορά "απόφαση του Ανωτάτου Δικαστηρίου" στην εκτύπωση του μοντέλου. Δεδομένου ότι η διαδικασία τους έχει έναν κανόνα "επαλήθευση κάθε αναφοράς", αναζητά την απόφαση και διαπιστώνει ότι δεν υπάρχει τέτοια απόφαση. Έφτιαξε ένα μοντέλο. Χάρη στην ανθρώπινη επαλήθευση, οι κατασκευασμένες πληροφορίες δεν φτάνουν ποτέ στον πελάτη. Χωρίς τον κανόνα επαλήθευσης, η απώλεια φήμης θα μπορούσε να ήταν σοβαρή.

Περίπτωση 3 — Εμπιστοσύνη στη διαφάνεια. Μια εταιρεία ηλεκτρονικού εμπορίου παράγει απαντήσεις υποστήριξης πελατών με AI, αλλά προσθέτει μια σημείωση κάτω από κάθε απάντηση: "Αυτή η απάντηση προετοιμάστηκε με υποστήριξη τεχνητής νοημοσύνης και εξετάστηκε από έναν από τους εκπροσώπους μας". Οι πελάτες είναι πιο ικανοποιημένοι τόσο με τη γρήγορη ανταπόκριση όσο και με τη σιγουριά που βλέπουν έναν άνθρωπο να ασχολείται. Η διαφάνεια δεν είναι αδυναμία να κρυφτείς, αλλά πηγή εμπιστοσύνης.

Αδύναμη προτροπή / Ισχυρή προτροπή: Επαληθεύσιμη έξοδος

Αδύναμη προτροπή:

Πες μου για τις επικίνδυνες ρήτρες αυτής της σύμβασης.

Μπορεί να ταιριάζει μοντέλο? καμία πηγή, κανένα σημάδι αβεβαιότητας.

Ισχυρή προτροπή:

Ο ρόλος σας: συμβόλαιο αναλυτής (η τελική απόφαση ανήκει σε δικηγόρο). Εργασία: Επισημάνετε τις δυνητικά επικίνδυνες ρήτρες στην ακόλουθη σύμβαση. Για κάθε εύρημα: (1) αριθμός ρήτρας και κατά λέξη απόσπασμα, (2) γιατί είναι επικίνδυνο, (3) επίπεδο εμπιστοσύνης (υψηλό/μέσο/χαμηλό). Βασιστείτε μόνο σε ρήτρες του κειμένου. Μην κατασκευάζετε τίποτα που δεν υπάρχει στο κείμενο. Όπου δεν είστε σίγουροι, γράψτε "απαιτείται επιβεβαίωση δικηγόρου". [συμβόλαιο]

Η ισχυρή προτροπή συνδέει κάθε αξίωση με την πηγή (αριθμός άρθρου + παραπομπή), απαιτεί επίπεδο εμπιστοσύνης και απαγορεύει την κατασκευή. Αυτό κάνει την ψευδαίσθηση πιάσιμη.

Αντιγράψιμα πρότυπα

1. Αξιόλογη σκηνογραφία:

Σχεδιάστε ένα σύνολο αξιολόγησης για την ακόλουθη εργασία [TASK]. Προτείνετε 15 δείγματα εισροών (μεικτά εύκολα-μέσα-δύσκολα), πώς θα οριστεί η "αναμενόμενη σωστή έξοδος" για καθεμία και καθορίστε ένα κριτήριο βαθμολόγησης (1-5).

2. Περιτύλιγμα που μειώνει τις ψευδαισθήσεις:

Ξαναγράψτε την ακόλουθη προτροπή για να μειώσετε την κατασκευή: "[PROMPT]". Προσθέστε κανόνες για την αναφορά πηγών, προσδιορίζοντας τα επίπεδα εμπιστοσύνης και "πείτε μου αν δεν είστε σίγουροι".

3. Σχεδιασμός ροής επαλήθευσης:

Στην ακόλουθη ροή εργασίας [WORKFLOW] Σχεδιάστε ένα βήμα επαλήθευσης από τον άνθρωπο για την έξοδο AI. Προσδιορίστε πόσο αυστηρή πρέπει να είναι η επαλήθευση με βάση το κόστος του σφάλματος. γράψε ποιος θα ελέγξει τι, πότε.

4. Σχέδιο πολιτικής υπεύθυνης χρήσης:

Σχεδιάστε μια μονοσέλιδη "πολιτική υπεύθυνης χρήσης τεχνητής νοημοσύνης" για μια ομάδα στη [ΒΙΟΜΗΧΑΝΙΑ]. Συμπεριλάβετε τις ακόλουθες επικεφαλίδες: επιτρεπόμενες χρήσεις, απαγορευμένα δεδομένα, ευθύνη επαλήθευσης, αναφορά διαφάνειας, αναφορά σφαλμάτων.

Συνήθη λάθη

• Ανάπτυξη χωρίς Eval: Ξεκινήστε το μοντέλο χωρίς να το δοκιμάσετε με τα δικά σας δεδομένα και παρατηρήστε σφάλματα αφού εμφανιστούν στον πελάτη/εργασία.
• Βασιζόμενος στην ψευδαίσθηση: Χρήση της σίγουρης γλώσσας του μοντέλου ως αλήθειας χωρίς επαλήθευση των παραπομπών.
• Παράκαμψη της ανθρώπινης επαλήθευσης: Αφήνοντας το αποτέλεσμα ανεξέλεγκτο σε αποφάσεις υψηλού κόστους. Στηριζόμενη στην άμυνα «AI το έκανε».
• Αποφυγή διαφάνειας: Απόκρυψη της χρήσης της τεχνητής νοημοσύνης. αντιμετωπίζουν απώλεια εμπιστοσύνης όταν συμβαίνει.
• Αγνοώντας την ηθική και την προκατάληψη: Χρήση ευαίσθητων αποφάσεων (προσλήψεις, πίστωση) χωρίς παρακολούθηση της δίκαιης απόδοσης.

Συνοπτικά

• Πριν αναπτύξετε ένα μοντέλο, δημιουργήστε ένα μικρό σετ αξιολόγησης με τα δικά σας δεδομένα και δοκιμάστε τους υποψηφίους. η συνολική κατάταξη δεν αντιπροσωπεύει την επιχείρησή σας.
• Η ψευδαίσθηση είναι η σίγουρη παραγωγή ψευδούς γλώσσας του μοντέλου. Καταγράφηκε από την απόδοση πηγής, το επίπεδο εμπιστοσύνης και την ανθρώπινη επαλήθευση.
• Η αυστηρότητα της ανθρώπινης επαλήθευσης προσαρμόζεται ανάλογα με το κόστος του σφάλματος. Σε κρίσιμους τομείς η τεχνητή νοημοσύνη είναι μόνο υποστήριξη, η απόφαση είναι ανθρώπινη.
• Διαφάνεια, έλεγχος μεροληψίας, εμπιστευτικότητα και λογοδοσία. είναι οι τέσσερις πυλώνες της υπεύθυνης χρήσης AI. Η πολιτική μιας σελίδας αποτρέπει σημαντικούς κινδύνους.

Εργασία εφαρμογής

Ρυθμίστε ένα σύνολο αξιολόγησης 15 παραδειγμάτων με το πρότυπο 1 σε αυτήν την ενότητα (eval set design) για το υποψήφιο μοντέλο(α) που επιλέξατε σε όλη την ενότητα και συγκρίνετε τουλάχιστον δύο μοντέλα με αυτό το σύνολο. Στη συνέχεια, σχεδιάστε πώς θα επαληθευτεί η έξοδος από ανθρώπους με το πρότυπο 3 (ροή επικύρωσης) και σχεδιάστε μια μονοσέλιδη πολιτική για την ομάδα σας με το πρότυπο 4 (πολιτική υπεύθυνης χρήσης). Αυτά τα τρία παραδοτέα μετατρέπουν ολόκληρη την ενότητα σε ένα εφαρμόσιμο σχέδιο ανάπτυξης.

λίστα ελέγχου

• [ ] Με τα δικά μου δεδομένα, μπορώ να δημιουργήσω ένα μικρό σετ αξιολόγησης και να συγκρίνω μοντέλα.
• [ ] Μπορώ να αναγνωρίσω τις παραισθήσεις και να εφαρμόσω ελαφρυντικά και ανασχετικά μέτρα.
• [ ] Μπορώ να προσαρμόσω την αυστηρότητα της ανθρώπινης επαλήθευσης με βάση το κόστος του σφάλματος.
• [ ] Μπορώ να ενσωματώσω αρχές διαφάνειας, μεροληψίας, εμπιστευτικότητας και λογοδοσίας στη ροή εργασίας.
• [ ] Μπορώ να συντάξω μια μονοσέλιδη πολιτική υπεύθυνης χρήσης τεχνητής νοημοσύνης.

Εξέταση Ενοτήτων

1. Ποια είναι η διαφορά μεταξύ ενός «παρόχου» AI και μιας «οικογένειας μοντέλων»;

• Α) Ο πάροχος είναι η εταιρεία που αναπτύσσει το μοντέλο και η οικογένεια μοντέλων είναι η ομάδα μοντέλων αυτής της εταιρείας με μια επωνυμία ✔
• Β) Είναι ακριβώς το ίδιο πράγμα και χρησιμοποιούνται εναλλακτικά
• Γ) Ο πάροχος είναι η τιμή του μοντέλου, η οικογένεια μοντέλων είναι η ταχύτητα του μοντέλου.
• Δ) Η οικογένεια μοντέλων αναφέρεται στην εταιρεία, ο προμηθευτής αναφέρεται σε μια έκδοση μεμονωμένου μοντέλου

Περιγραφή: Ο πάροχος είναι η εταιρεία που ανέπτυξε το μοντέλο (π.χ. Anthropic). Η οικογένεια μοντέλων είναι η ομάδα μοντέλων που συλλέγει αυτή η εταιρεία κάτω από μια επωνυμία (για παράδειγμα, Claude). Η έκδοση μοντέλου είναι μια συγκεκριμένη έκδοση εντός της οικογένειας.

2. Πώς μπορούν να καθοριστούν με μεγαλύτερη ακρίβεια τα «βαρίδια» ενός μοντέλου;

• Α) Είναι ο αριθμός των διακριτικών που μπορεί να παράγει το μοντέλο ανά λεπτό
• Β) Είναι τα δισεκατομμύρια αριθμητικών παραμέτρων που μαθαίνει το μοντέλο κατά τη διάρκεια της εκπαίδευσης και αποθηκεύει τις πληροφορίες του. ✔
• Γ) Είναι η μηνιαία συνδρομή του μοντέλου
• Δ) Είναι ο αριθμός των γλωσσών που υποστηρίζονται από το μοντέλο

Περιγραφή: Τα βάρη είναι δισεκατομμύρια αριθμητικών παραμέτρων που μαθαίνει το μοντέλο κατά τη διάρκεια της εκπαίδευσης. Εκεί αποθηκεύεται «όλα όσα γνωρίζει το μοντέλο». Η κλειστή/σαφής διάκριση βάρους εξαρτάται από το εάν αυτές οι παράμετροι μπορούν να ληφθούν και να εκτελεστούν.

3. Ποια δήλωση ισχύει για το «ανοιχτό βάρος» και το «ανοιχτό κώδικα»;

• Α) Είναι ακριβώς οι ίδιες έννοιες και δίνουν και οι δύο απεριόριστη εμπορική χρήση
• Β) Το ανοιχτό βάρος κάνει πάντα δημόσια και τα δεδομένα προπόνησης
• Γ) Δεν είναι το ίδιο πράγμα. Στην ανοικτή στάθμιση, συνήθως κοινοποιούνται μόνο οι παράμετροι και οι όροι άδειας χρήσης ενδέχεται να περιορίζουν την εμπορική χρήση ✔
• Δ) Δεν είναι δυνατή η λήψη μοντέλων ανοιχτού κώδικα, μπορείτε να κατεβάσετε μοντέλα ανοιχτού βάρους

Εξήγηση: Στην ανοικτή στάθμιση, κοινοποιούνται μόνο οι παράμετροι του μοντέλου. Τα δεδομένα και η διαδικασία εκπαίδευσης συχνά δεν αποκαλύπτονται και ορισμένες άδειες περιορίζουν την εμπορική χρήση. Άρα το «ανοιχτό βάρος» δεν είναι ακριβώς το ίδιο με το «ανοιχτό κώδικα».

4. Ποιο από τα παρακάτω είναι το πιο καθοριστικό χαρακτηριστικό μοντέλο για μια νομική ομάδα που διαβάζει και αναλύει μακροχρόνιες συμβάσεις;

• Α) Έχοντας τη χαμηλότερη συμβολική τιμή
• Β) Έχοντας οπτική (πολυτροπική) ικανότητα επεξεργασίας
• Γ) Κατοχή άδειας ανοιχτού βάρους
• Δ) Έχοντας ένα ευρύ παράθυρο περιβάλλοντος ✔

Επεξήγηση: Το μοντέλο χρειάζεται ένα μεγάλο παράθυρο περιβάλλοντος για την επεξεργασία μεγάλων εγγράφων ως σύνολο. Το παράθυρο περιβάλλοντος είναι το συνολικό ποσό των διακριτικών που μπορεί να έχει υπόψη του το μοντέλο κάθε φορά.

5. Τι ισχύει για την συμβολική τιμολόγηση για μοντέλα κλειστού βάρους;

• Α) Το διακριτικό εξόδου είναι συνήθως σημαντικά πιο ακριβό από το διακριτικό εισόδου ✔
• Β) Η είσοδος και η έξοδος έχουν πάντα ακριβώς την ίδια τιμή
• Γ) Χρεώνεται μόνο σταθερή μηνιαία χρέωση, το ποσό χρήσης είναι άσχετο
• Δ) Το διακριτικό εισόδου είναι πάντα πολλές φορές πιο ακριβό από την έξοδο

Επεξήγηση: Η τιμή υπολογίζεται ανά διακριτικό και το διακριτικό εξόδου που παράγει το μοντέλο είναι συνήθως πολλές φορές πιο ακριβό από το διακριτικό εισόδου που στέλνετε. Επομένως, οι μεγάλες και περιττές εκτυπώσεις αυξάνουν γρήγορα το κόστος.

6. Ποιο χαρακτηριστικό σε ένα μοντέλο είναι απαραίτητο για μια λογιστική ομάδα που θέλει να εξάγει αυτόματα δεδομένα από εικόνες τιμολογίων;

• Α) Το ευρύτερο δυνατό παράθυρο περιβάλλοντος
• Β) Πολυτροπικότητα (ικανότητα οπτικής επεξεργασίας) ✔
• Γ) Άδεια ανοιχτού βάρους
• Δ) Το υψηλότερο επίπεδο συλλογισμού

Επεξήγηση: Για να κατανοήσουμε το οπτικό περιεχόμενο, το μοντέλο πρέπει να μπορεί να επεξεργάζεται εικόνες καθώς και κείμενο, δηλαδή να είναι πολυτροπικό. Η πολυτροπικότητα είναι η ικανότητα του μοντέλου να χειρίζεται πολλαπλούς τύπους δεδομένων, όπως κείμενο, εικόνες και μερικές φορές ήχο.

7. Ποια είναι η πιο λογική επιλογή για μια εργασία μεγάλου όγκου, απλή (π.χ. θετική/αρνητική ταξινόμηση χιλιάδων κριτικών);

• Α) Πάντα το πιο δυνατό και ακριβό συλλογιστικό μοντέλο
• Β) Ένα μοντέλο που λειτουργεί μόνο σε ανοιχτό βάρος και σε δικό του διακομιστή
• Γ) Ένα ελαφρύ και χαμηλού κόστους μοντέλο, επειδή η εργασία είναι απλή και η ένταση είναι υψηλή ✔
• Δ) Το μοντέλο με το ευρύτερο παράθυρο περιβάλλοντος

Περιγραφή: Ένα ελαφρύ μοντέλο χαμηλού κόστους κάνει το κόλπο για απλές εργασίες μεγάλου όγκου. Η χρήση του πιο ισχυρού και ακριβού μοντέλου δημιουργεί περιττό κόστος εδώ. Η σωστή προσέγγιση είναι να αντιστοιχίσετε τη δυσκολία της εργασίας με το επίπεδο μοντέλου.

8. Τι ενεργοποιεί την αποστολή κειμένου που περιέχει προσωπικά δεδομένα σε πάροχο τεχνητής νοημοσύνης που εδρεύει στο εξωτερικό όσον αφορά το KVKK;

• Α) Δεν δημιουργεί καμία νομική ευθύνη
• Β) Σημασία έχει μόνο εάν ο πάροχος είναι στην ΕΕ, σε καμία άλλη περίπτωση
• Γ) Απαγορεύεται αυστηρά σε κάθε περίπτωση, ανεξάρτητα από το αν τα δεδομένα είναι ανώνυμα ή όχι
• Δ) Η μεταφορά δεδομένων στο εξωτερικό θεωρείται και υπόκειται στους ειδικούς όρους του KVKK ✔

Εξήγηση: Τα δεδομένα λειτουργίας στους διακομιστές ενός παρόχου στο εξωτερικό θεωρούνται «μεταφορά δεδομένων στο εξωτερικό» και υπόκεινται στους ειδικούς όρους της KVKK για το θέμα αυτό (όπως ρητή συγκατάθεση, απόφαση επάρκειας, κατάλληλες διαβεβαιώσεις).

9. Τι κάνει η λειτουργία «συλλογισμού» ενός μοντέλου και πώς επηρεάζει το κόστος;

• Α) Αυξάνει την ακρίβεια σε πολύπλοκα προβλήματα, αλλά αυξάνει το κόστος και την καθυστέρηση καθώς δημιουργεί περισσότερα διακριτικά ✔
• Β) Κάνει πάντα το μοντέλο ελεύθερο
• Γ) Αυξάνει μόνο τον αριθμό των γλωσσών που υποστηρίζονται από το μοντέλο
• Δ) Συντομεύστε πάντα τις απαντήσεις και μειώστε το κόστος

Περιγραφή: Η λειτουργία συλλογισμού επιτρέπει στο μοντέλο να «σκέφτεται» βήμα προς βήμα πριν δώσει την απάντηση. Αυξάνει την ακρίβεια σε πολυβάθμια και σύνθετα προβλήματα, αλλά επίσης αυξάνει το κόστος και την καθυστέρηση επειδή δημιουργεί περισσότερα διακριτικά.

10. Ποια είναι η πιο αξιόπιστη προσέγγιση κατά την αξιολόγηση (αξιολόγηση) ενός μοντέλου για τη δική σας επιχείρηση;

• Α) Απλά επιλέξτε το πιο δημοφιλές μοντέλο και χρησιμοποιήστε το χωρίς δοκιμή
• Β) Ρυθμίστε ένα μικρό σετ δοκιμής των δικών σας πραγματικών εργασιών και συγκρίνετε μοντέλα με αυτό ✔
• Γ) Απλώς κοιτάζοντας τη βαθμολογία αναφοράς που αναφέρεται στις διαφημίσεις
• Δ) Αποδεχτείτε αυτόματα το μοντέλο με το υψηλότερο παράθυρο περιβάλλοντος ως το καλύτερο

Εξήγηση: Αντί να βασίζεστε στα τυφλά στους πίνακες κατάταξης, η δημιουργία ενός μικρού δοκιμαστικού σετ των δικών σας πραγματικών εργασιών και η σύγκριση μοντέλων σε αυτό το σετ θα αποκαλύψει αυτό που ταιριάζει πραγματικά στην επιχείρησή σας.

11. Πώς πρέπει να διαμορφώσει τη ροή εργασίας σας η γνώση ότι η έξοδος του μοντέλου μπορεί να περιέχει «παραισθήσεις»;

• Α) Το αποτέλεσμα πρέπει πάντα να θεωρείται σωστό και να δημοσιεύεται απευθείας
• Β) Παραισθήσεις παρατηρούνται μόνο σε δωρεάν μοντέλα, όχι σε μοντέλα επί πληρωμή
• Γ) Σε κρίσιμες αποφάσεις, η έξοδος πρέπει να επαληθεύεται από άνθρωπο και οι πηγές πρέπει να επιβεβαιώνονται ✔
• Δ) Η ψευδαίσθηση μπορεί να εξαλειφθεί εντελώς με απλή αλλαγή του μοντέλου

Εξήγηση: Μια ψευδαίσθηση είναι όταν το μοντέλο παράγει πληροφορίες που στην πραγματικότητα δεν είναι αληθινές, σε μια γλώσσα με αυτοπεποίθηση. Εξαιτίας αυτού του κινδύνου, θα πρέπει να απαιτείται επαλήθευση της παραγωγής από έναν άνθρωπο, ειδικά για νομικές, ιατρικές και οικονομικές αποφάσεις.

12. Ποια είναι η βασική λογική της προσέγγισης του «μοντέλου χαρτοφυλακίου» που υιοθετούν τα ώριμα ιδρύματα;

• Α) Για να εξασφαλιστεί η απλότητα κάνοντας κάθε δουλειά από ένα μόνο, πιο ακριβό μοντέλο.
• Β) Χρησιμοποιώντας μόνο το φθηνότερο μοντέλο και αγνοώντας εντελώς την ποιότητα
• Γ) Μην χρησιμοποιείτε κανένα μοντέλο και κάντε όλη τη δουλειά χειροκίνητα
• Δ) Βελτιστοποίηση του κόστους και μείωση της εξάρτησης από έναν μόνο πάροχο χρησιμοποιώντας διαφορετικά μοντέλα ανάλογα με την εργασία ✔

Περιγραφή: Το χαρτοφυλάκιο μοντέλων είναι η χρήση διαφορετικών μοντέλων ανάλογα με την εργασία: φθηνό μοντέλο για απλές και ογκώδεις εργασίες, ισχυρό μοντέλο για σύνθετες εργασίες, ανοιχτό βάρος/περιφερειακό μοντέλο για εμπιστευτικά δεδομένα. Αυτό βελτιστοποιεί το κόστος και μειώνει την εξάρτηση από έναν μόνο πάροχο.

13. Γιατί μπορεί η χώρα προέλευσης και η πολιτική διατήρησης δεδομένων να είναι κριτήριο για την επιλογή μοντέλου;

• Α) Επειδή επηρεάζει άμεσα τις ρυθμιστικές απαιτήσεις, την κυριαρχία των δεδομένων και τις απαιτήσεις απορρήτου ✔
• Β) Μόνο επειδή καθορίζει την ταχύτητα απόκρισης του μοντέλου
• Γ) Επειδή καθορίζει τις μορφές αρχείων που υποστηρίζονται από το μοντέλο
• Δ) Επειδή δεν έχει κανένα πρακτικό αποτέλεσμα, είναι απλώς μια λεπτομέρεια μάρκετινγκ

Περιγραφή: Χώρα όπου βρίσκεται ο προγραμματιστής του μοντέλου και πού/πόσα δεδομένα αποθηκεύονται. Είναι καθοριστικό όσον αφορά τη νομική ρύθμιση, την κυριαρχία των δεδομένων και το απόρρητο. Για παράδειγμα, για έναν οργανισμό που θέλει να φιλοξενήσει εντός της ΕΕ, ένας τοπικός πάροχος ή μια επιλογή μηδενικού χώρου αποθήκευσης καθίσταται σημαντική.

14. Ποιο εξηγεί καλύτερα γιατί είναι παραπλανητική η αναζήτηση ενός «μοναδικού καλύτερου μοντέλου» σε μια εργασία;

• Α) Όλα τα μοντέλα έχουν στην πραγματικότητα ακριβώς τις ίδιες δυνατότητες
• Β) Τα μοντέλα είναι δυνατά σε διαφορετικά μεγέθη, επομένως το «καλύτερο» εξαρτάται από την απαίτηση εργασίας ✔
• Γ) Το πιο ακριβό μοντέλο είναι αυτόματα το καλύτερο σε κάθε εργασία
• Δ) Η επιλογή μοντέλου θα πρέπει να γίνεται εντελώς τυχαία

Περιγραφή: Τα μοντέλα είναι ισχυρά σε διαφορετικές διαστάσεις, όπως ταχύτητα, κόστος, πλαίσιο, πολυτροπικότητα, απόρρητο και συλλογιστική. Ένα μοντέλο που είναι ηγέτης σε μια διάσταση μπορεί να είναι αδύναμο σε μια άλλη. οπότε το «καλύτερο» εξαρτάται πάντα από την απαίτηση εργασίας.