Guadagni:
- Capacità di fare in modo che l'intelligenza artificiale produca domande a scelta multipla, distrattori basati su errori tipici e chiavi di soluzione specificando argomento, livello e distribuzione della difficoltà.
- Capacità di individuare la chiave sbagliata e gli errori multipli/zero delle opzioni corrette convalidando in modo indipendente ciascuna domanda e chiave di risposta, preferibilmente in blocco, con SymPy
- Capacità di valutare la qualità dei distrattori, l'univocità e l'equilibrio della difficoltà delle domande e di approvare ciascuna domanda prima di sostenere l'esame.
La preparazione delle domande per l’esame e per le esercitazioni è uno dei compiti che richiedono più tempo nell’insegnamento della matematica: impostare domande di difficoltà adeguata, progettare distrattori plausibili (opzioni sbagliate ma plausibili), preparare la chiave di risposta e bilanciare le difficoltà richiedono ore. L’intelligenza artificiale può accelerare questo processo, generando dozzine di varianti di domande, opzioni a scelta multipla e chiavi di soluzione da un unico argomento. Ma l’accuratezza di ogni domanda prodotta e l’assenza di errori di ogni chiave di risposta devono essere verificate in modo indipendente; Una chiave errata significa che gli studenti perdono ingiustamente punti. In questa unità imparerai come utilizzare l'intelligenza artificiale come partner per la generazione di domande e come moderare ciascuna domanda.
Alcune definizioni. Un distrattore è un'opzione in una domanda a scelta multipla che non è corretta ma corrisponde a un errore comune che lo studente può commettere. Un buon distrattore non è casuale; Riflette un errore tipico (errore di segno, confusione di regole). La chiave di risposta è un elenco di risposte corrette alle domande. Il bilanciamento della difficoltà è la distribuzione appropriata delle domande facili-medio-difficili in un esame.
Contributo dell'intelligenza artificiale alla generazione delle domande
- Variazione della domanda: più domande simili da uno schema (cambiando i numeri).
- Progettazione del distrattore: scelte plausibilmente errate basate su errori comuni.
- Schema chiave della soluzione: soluzione passo passo a ciascun problema.
- Valutazione della difficoltà: classificare le domande come facili/medie/difficili.
- Copertura dell'argomento: serie di domande che coprono diversi sottoargomenti di un programma.
- Adattamento alla tassonomia di Bloom: domande in base ai livelli cognitivi come ricordare, applicare, analizzare.
Passo dopo passo: generare una serie affidabile di domande
1. Specificare l'argomento, il livello e il numero di domande. Tipo "Scuola superiore del 10° grado, equazioni quadratiche, 10 domande a scelta multipla".
2. Chiedere tipo di domanda e distribuzione della difficoltà. Chiedi una distribuzione del tipo "4 facili, 4 medie, 2 difficili".
3. Risolvi ogni domanda in modo indipendente. Risolvi ogni domanda da solo o con SymPy; Confrontalo con la chiave di risposta fornita da YZ. Questo passaggio non è negoziabile.
4. Verificare la presenza di distrattori. Le opzioni sbagliate sono davvero sbagliate? A volte l'IA produce più di un'opzione corretta, oppure un distrattore è effettivamente corretto. Controlla ciascuna opzione.
5. Garantire che ci sia esattamente una risposta corretta. Nella scelta multipla, esattamente un'opzione deve essere corretta; Non deve esserci zero o più di uno corretto.
6. Controllare eventuali incertezze e duplicazioni. La domanda è univoca? Le due domande misurano la stessa cosa? I numeri sono ragionevoli (ad esempio se la radice dovrebbe essere negativa)?
Attenzione: l'intelligenza artificiale commette due errori più comuni quando genera domande a scelta multipla: (1) l'opzione contrassegnata come "vera" è effettivamente sbagliata, (2) più di un'opzione è corretta o nessuna di esse è corretta. Non utilizzare alcuna domanda senza risolverla in modo indipendente e senza valutare ciascuna delle quattro opzioni separatamente come vero/falso.
Grafico di controllo della qualità delle domande
controllo
Domanda
cosa cercare
precisione
La chiave di risposta è corretta?
Conferma tramite soluzione indipendente
solo vero
È corretta solo 1 opzione?
Gli altri 3 devono essere sbagliati
Qualità del distrattore
Gli errori sono plausibili?
Dovrebbe basarsi su un errore tipico
Chiarezza
La domanda è univoca?
Non dovrebbero esserci incertezze
Conformità del livello
La difficoltà è adeguata all'obiettivo?
Né troppo facile né troppo difficile
Ambito
L'argomento è ben rappresentato?
I sottoargomenti sono bilanciati
tre mini custodie
Caso 1: chiave sbagliata. Un insegnante ha prodotto una serie di 12 domande a scelta multipla. Quando ha risolto ogni domanda con SymPy, ha scoperto che in 3 delle 12 domande, l'opzione che l'IA aveva contrassegnato come "corretta" non era corretta: la risposta corretta era un'altra opzione. L'insegnante raddrizzò i tasti. Se questo set fosse stato utilizzato senza verifica, l'intera classe sarebbe stata valutata ingiustamente in 3 domande.
Caso 2 – Due opzioni corrette. In una domanda, l’IA ha inserito sia “x = 2” che “x = 2 o x = −2”; In un certo senso erano vere entrambe le cose e la domanda non era chiara. L'insegnante ha riorganizzato le opzioni e ha lasciato solo una risposta corretta. I distrattori devono essere chiaramente sbagliati.
Caso 3 – Distrattore debole. In una lezione di ingegneria, l'IA ha inserito in una domanda distrattori irrilevanti come "42", "aksaray", "blu", "17" ecc.; La risposta corretta era ovviamente "17". L’insegnante ha chiesto distrattori numerici basati su tipici errori di calcolo (ad esempio, valore risultante da un errore di segno) e le domande sono diventate veri e propri discriminatori. Il buon distrattore rappresenta un vero e proprio falso sentiero.
Quattro modelli copiabili
1) Serie di domande a scelta multipla:
Genera [n] domande a SCELTA MULTIPLA su [argomento]. Livello:[livello]. Difficoltà: [x facile, y medio, z difficile]. Lascia che ogni domanda abbia 4 opzioni; Lascia che EXACT 1 sia corretto e gli altri 3 siano distrattori plausibili basati su errori tipici. Scrivi anche la soluzione passo passo e la risposta corretta per ogni domanda. Li verificherò tutti con SymPy.
2) Variazione della domanda (dal modello):
Prendi questa domanda come MODELLO: [domanda di esempio]. Genera [n] versioni diverse che misurano lo stesso concetto ma con numeri/contesto diversi. Risolvi le risposte per ciascuna versione passo dopo passo. Lascia che le risposte siano diverse l'una dall'altra.
3) Generazione della chiave della soluzione:
Produci una soluzione PASSO DOPO PASSO e una risposta finale per ciascuna delle domande seguenti. Specifica la regola che utilizzi. Segna la soluzione di cui non sei sicuro; Verificherò in modo indipendente ogni risposta. Domande: [qui]
4) Miglioramento del distrattore:
Esamina i distrattori per questa domanda a scelta multipla. Spiegare a QUALE errore tipico dello studente corrisponde ciascun distrattore errato. Sostituisci i distrattori irrilevanti o palesemente errati con altri basati su errori reali. Domanda: [qui]
Prompt debole / Prompt forte
Debole: "Fammi 10 domande derivate".
Risultato: livello incerto, distribuzione casuale della difficoltà, chiave di risposta non verificata, insieme casuale di distrattori (se presenti).
Forte: "Produci 10 domande derivate a scelta multipla per il 12° anno della scuola superiore: 4 facili (regole di base), 4 medie (regola della catena/prodotto), 2 difficili (funzioni composte). Lascia che ci siano 4 scelte in ogni domanda, esattamente 1 corretta, gli altri sono distrattori basati su errori tipici (dimenticare la derivata interna, errore di segno). Risolvi ogni domanda passo dopo passo e indica la risposta corretta."
Risultato: un set equilibrato, equilibrato, i distrattori sono significativi e ogni risposta è verificabile.
Errori comuni
- Non verificare la chiave di risposta. Ciò che l’intelligenza artificiale ritiene “giusto” è spesso sbagliato; Risolvi ogni domanda in modo indipendente.
- Più di uno/zero è l'opzione corretta. Nella scelta multipla deve esserci esattamente una verità; Controlla ciascuna opzione separatamente.
- Deboli distrattori. Opzioni irrilevanti o ovviamente errate rendono la domanda indistinta.
- Non specificando la distribuzione della difficoltà. Sembrano avere tutti la stessa difficoltà; Non è possibile effettuare la valutazione del livello.
- Ripetizione e sovrapposizione. Domande diverse possono misurare lo stesso concetto; Controlla il saldo della copertura.
- Espressione vaga. Domande con doppi significati fuorviano ingiustamente gli studenti.
Suggerimento: il modo più efficiente per convalidare una serie di domande è scrivere codice che risolva tutte le domande contemporaneamente con SymPy. Di' all'IA "scrivi il codice che risolve ciascuno di questi 10 problemi con SymPy", esegui il codice e confronta in massa i risultati SymPy con la chiave di risposta dell'IA. In questo modo, controlli le 10 domande non una per una, ma collettivamente e in modo deterministico.
In sintesi
L'intelligenza artificiale accelera notevolmente la generazione di domande di matematica e di esami: variazione delle domande, progettazione del distrattore, chiave della soluzione, valutazione della difficoltà. Ma ogni domanda e ogni chiave di risposta devono essere convalidate in modo indipendente, preferibilmente verificate in blocco con SymPy. Gli errori più comuni sono la chiave di risposta errata, opzioni corrette multiple/zero e distrattori deboli. Specificare fin dall'inizio l'argomento, il livello e la distribuzione della difficoltà aumenta la qualità. Eventuali domande non verificate non dovrebbero essere ammesse all'esame.
Compito dell'applicazione
Scegli un argomento. Chiedi all'IA di produrre 8-10 domande a scelta multipla + soluzioni con una certa difficoltà distribuita con il 1° modello. Quindi, ricordando dall'unità 4, chiedi all'IA di scrivere un codice che risolva tutte le domande con SymPy ed esegui il codice. Confronta i risultati di SymPy con la chiave di risposta di YZ. Verificare che ci sia esattamente una scelta corretta in ogni domanda e che i distrattori siano effettivamente sbagliati. Trova e correggi almeno un errore o un distrattore debole.
lista di controllo
- [ ] Ho indicato chiaramente la distribuzione dell'argomento, del livello e della difficoltà.
- [ ] Ho risolto ogni domanda in modo indipendente (preferibilmente in batch con SymPy).
- [ ] Ho confrontato la chiave di risposta con i risultati di SymPy.
- [ ] Ho verificato che in ogni domanda ci sia esattamente un'opzione corretta.
- [ ] Ho controllato che i distrattori fossero basati su errori tipici e che fossero effettivamente sbagliati.
- [ ] Mi sono assicurato che non ci fossero affermazioni vaghe e domande ripetitive.