Guadagni:
- Capacità di generare domande a scelta multipla, a risposta aperta e di livello superiore in linea con i risultati ottenuti con il supporto dell'intelligenza artificiale
- Capacità di controllare la qualità delle domande applicando i principi del buon distrattore (opzione sbagliata ma plausibile), della singola risposta corretta e della difficoltà dell'item.
- Comprendere il rischio che l'intelligenza artificiale produca chiavi di risposta errate, domande non oggettive o distorte ed essere in grado di vedere che l'insegnante deve verificare ogni elemento.
Esami e quiz sono gli strumenti principali con cui l'insegnante misura l'apprendimento; Ma scrivere buone domande è più difficile di quanto pensi. Una radice ambigua, opzioni simili e un linguaggio che fornisce indizi sminuiscono il valore di misurazione di una domanda. L’intelligenza artificiale genera rapidamente un gran numero di domande relative ai risultati; Monitori la qualità, verifichi la chiave di risposta e mantieni l'allineamento con i risultati. In questa unità tratteremo la buona scrittura di articoli e la produzione di quiz di qualità con l'intelligenza artificiale. Il limite è chiaro: l’intelligenza artificiale può produrre chiavi di risposta errate, domande non oggettive o distorte; L'insegnante verifica ogni elemento.
Anatomia della materia e principi delle buone domande
Una domanda a scelta multipla è composta da due parti: la radice (gamma della domanda): la questione principale che viene posta; e opzioni: una è la risposta corretta, le altre sono distrattori. Un buon distrattore, anche se sbagliato, sembra plausibile allo studente che non ha padroneggiato appieno la materia; Generalmente si basa su un malinteso comune. Un malinteso comune come "La Luna produce la propria luce" è un potente distrattore. Un distrattore insensato o irrilevante ("La luna è un formaggio") rende la domanda più semplice e la rende meno distintiva.
Principi di buone domande: (1) La radice chiede qualcosa di unico e chiaro; (2) esiste una sola risposta corretta; (3) le opzioni hanno lunghezza simile e sono grammaticalmente compatibili con la radice (l'opzione più lunga è generalmente corretta, non fornire alcun indizio); (4) le opzioni “tutto/nessuno” siano evitate se possibile; (5) se la radice è negativa (“non è”), viene enfatizzata; (6) le domande misurano il livello di conseguimento: porre domande di richiamo al conseguimento dell'analisi non riesce a raggiungere l'obiettivo.
La difficoltà dell'oggetto è quanto è difficile la domanda; La discriminazione è quanto la domanda separa chi sa da chi non sa. Un buon esame è un mix di elementi di varia difficoltà.
Suggerimento: quando fai domande all'IA, nomina l'idea sbagliata target: dì "i distrattori dovrebbero basarsi su queste 3 idee sbagliate comuni". In questo modo ottieni distrattori didattici, non casuali.
Tipi di domande
Scelta multipla: misura rapida, punteggio automatico; ma misurare il pensiero di ordine superiore richiede un’attenta progettazione. Risposta aperta/breve: mostra la dichiarazione dello studente; Viene valutato con la rubrica (6a unità). Vero-falso: fattore veloce ma di grande fortuna. Corrispondenza: utile per la relazione concetto-definizione. Domande di pensiero di ordine superiore: elementi basati su scenari che chiedono "perché/come/valutare"; Misura i guadagni di analisi-valutazione. L’intelligenza artificiale produce progetti per tutti loro; Il tuo compito è scegliere quale tipo misura quale risultato.
Passo dopo passo: produzione di quiz con l'intelligenza artificiale
- Fornisci il guadagno e il livello di Bloom. La domanda dovrebbe misurare quel livello.
- Specificare tipologia e numero. "6 a scelta multipla + 2 a risposta aperta".
- Dai un nome alla strategia di distrazione. Su quali idee sbagliate dovrebbe basarsi?
- Richiedi chiavi e giustificazione. La risposta corretta a ciascuna domanda e perché le altre hanno torto.
- Verificare la chiave manualmente. Risolvi tu stesso ogni domanda; La linea segnata dall’IA è davvero vera?
- Controllo dell'allineamento e del bias. La domanda misura il guadagno? Esistono pregiudizi culturali/di genere?
- Equilibrio di difficoltà. Regola il mix di facile-medio-difficile.
tre mini custodie
Caso 1: chiave sbagliata. Un insegnante di scienze ha risposto a un quiz di 10 domande dell'IA. La chiave della terza domanda era contrassegnata con "B", ma quando l'insegnante la risolse, vide che la risposta corretta era "C": l'IA pensava che il proprio distrattore fosse corretto. Se l'insegnante non lo avesse corretto, avrebbe considerato sbagliato lo studente che lo sapeva. Risolvere la chiave manualmente ha salvato l'intero quiz.
Caso 2 — Correzione debole del distrattore. Nel primo quiz di un insegnante, i distrattori erano privi di senso e gli studenti dovevano eliminarli e trovare la risposta corretta. Ha chiesto all'intelligenza artificiale di riprodurre "distrattori basati su questi malintesi comuni: X, Y, Z". La discriminazione è aumentata nel nuovo quiz; la media della classe rifletteva meglio l’apprendimento effettivo.
Caso 3: ottenere l'allineamento. Il risultato di un insegnante di storia era a livello di analisi ("collega le cause") ma l'intelligenza artificiale ha prodotto domande di richiamo ("racconta la data"). L'insegnante ha aggiornato il suggerimento come "a livello di analisi dell'acquisizione; porre domande sullo scenario che stabiliscano una relazione causa-effetto". Le domande sono diventate una misura dei risultati.
Modelli copiabili
1) Set a scelta multipla basato sui risultati:
Il tuo ruolo: insegnante di [materia]. Guadagno: "[guadagno]" ([Livello fioritura]),[X. classe]. Scrivi 6 domande a scelta multipla che misurino questo risultato. Lascia che ogni domanda abbia 4 opzioni; Chiedi ai distrattori di basarsi su questi malintesi comuni: [scrivi i malintesi]. Per ogni domanda, spiega la risposta corretta e perché CIASCUNA opzione è vera/falsa in una sezione chiave separata. Misto facile-medio-difficile.
2) Verifica della chiave di risposta:
Risolvi le seguenti domande a scelta multipla una per una. Per ogni domanda: (a) la risposta corretta che hai trovato, (b) il motivo, (c) corrisponde alla chiave contrassegnata. Contrassegnare chiaramente le incoerenze come "CONTRADIZIONE". Domande e chiave: [incolla]
3) Domanda di alto livello (scenario):
"[oggetto]", [X. class], scrivere 3 domande basate su scenari a livello di analisi-valutazione. Lascia che ogni domanda descriva una breve situazione e chiedi allo studente una giustificazione/confronto. Non lasciare che venga risolto a memoria. Aggiungi risposte di esempio e suggerimenti per la valutazione.
4) Bias e audit di conformità:
Controlla le seguenti domande per: pregiudizi di genere/cultura/regione, vantaggio/svantaggio ingiusto per un particolare gruppo, contesto inappropriato. Segnala gli elementi problematici e suggerisci un'alternativa neutra. Domande: [incolla]
Prompt debole / Prompt forte
Suggerimento debole:
Scrivi 10 domande sulle frazioni.
Livello, risultato, tipo, strategia di distrazione, nessuna chiave; La sua qualità e il suo allineamento sono lasciati al caso.
Suggerimento potente:
Il tuo ruolo: insegnante di matematica. Risultati di apprendimento: "Lo studente somma due frazioni con denominatori diversi" (applicazione). 5a elementare. 6 domande a risposta multipla, 4 opzioni. I distrattori dovrebbero basarsi sui seguenti malintesi: sommare direttamente sia i numeratori che i denominatori, mantenere costante il numeratore e sommare il denominatore. Fornire una descrizione della chiave e dell'opzione per ciascuna domanda. Mix facile-medio-difficile.
Tipo di domanda
Il livello che misura
forza
Attenzione
scelta multipla
Qualsiasi livello (a seconda del design)
Punteggio veloce e automatico
Qualità del distrattore
a tempo indeterminato
comprensione-creazione
espressione originale
Serve una rubrica
vero-falso
ricorda
molto veloce
Il fattore fortuna è alto
Basato su scenari
Analisi-valutazione
impedisce la memorizzazione
L’ortografia è difficile, l’intelligenza artificiale aiuta
Errori comuni
- Non verificare la chiave. L'errore più frequente e più ingiusto; L’intelligenza artificiale produce la chiave sbagliata, lo studente che sa che ne sarà vittima.
- Distrattore di sciocchezze. L'opzione non plausibile semplifica la domanda gratuitamente.
- Mancata corrispondenza del livello di guadagno. Ricordare la domanda per l'acquisizione dell'analisi; manca il bersaglio.
- Linguaggio che dà indizi. Il fatto che l’opzione più lunga/dettagliata sia sempre corretta insegna agli studenti i modelli.
- Trascurare i pregiudizi. Il contesto familiare di una particolare cultura/gruppo offre ad alcuni studenti un vantaggio ingiusto.
Attenzione: l'intelligenza artificiale a volte produce domande ambigue in cui più di un'opzione può essere considerata "corretta". Ha risposto a ciascuna domanda con la domanda "Esiste una verità unica e indiscutibile?" Provalo dicendo; Altrimenti chiarisci la radice.
In sintesi
Una buona domanda misura il livello di raggiungimento con uno stelo chiaro e distrattori plausibili. L’intelligenza artificiale genera rapidamente un gran numero di schemi di domande, distrattori e chiavi che dipendono dall’acquisizione; Se comunichi al target idee sbagliate, i distrattori saranno istruttivi. Tuttavia, l’intelligenza artificiale può produrre chiavi sbagliate, distrattori deboli, domande fuori acquisizione o distorte. Risolvi ogni elemento per verificare la chiave, controllare l'allineamento e il bias; La prova finale è quella dell'insegnante.
Compito dell'applicazione
Per un risultato, generare 6 domande con il modello "Scelta multipla basata sul risultato"; Specifica tu stesso la strategia di distrazione. Quindi risolvi tu stesso ogni domanda e confrontala con la chiave dell'intelligenza artificiale prima di utilizzare il modello "Verifica della chiave di risposta". Correggere eventuali discrepanze. Infine, scrivi una versione dello scenario che eleva una delle domande al livello di analisi.
lista di controllo
- [ ] Ho posto le domande in base al livello Bloom del risultato di apprendimento?
- [ ] Ho basato i distrattori su reali malintesi?
- [ ] Ho verificato la chiave di ogni domanda risolvendola da solo?
- [ ] Sono sicuro che esista un'unica risposta indiscutibilmente corretta?
- [ ] Ho verificato i pregiudizi e l'adeguatezza dell'età?