zisky:
- Schopnosť nechať umelú inteligenciu produkovať otázky s viacerými možnosťami výberu, rušivé prvky založené na typických chybách a kľúče riešení špecifikovaním témy, úrovne a rozloženia obtiažnosti.
- Schopnosť zachytiť nesprávny kľúč a viacnásobné/nulové chyby správnych možností nezávislým overením každého kľúča otázky a odpovede, najlepšie hromadne, pomocou SymPy
- Schopnosť vyhodnotiť kvalitu rušivých prvkov, jednoznačnosť a vyváženosť obtiažnosti otázok a schváliť každú otázku pred absolvovaním skúšky.
Príprava otázok na skúšku a precvičovanie je jednou z časovo najnáročnejších úloh v matematickom vzdelávaní: stanovenie otázok s primeranou obtiažnosťou, navrhnutie pravdepodobných rušivých prvkov (nesprávne, ale prijateľné možnosti), príprava kľúča odpovede a vyváženie obtiažnosti trvá hodiny. Umelá inteligencia môže tento proces urýchliť – generovaním desiatok variácií otázok, možností s viacerými možnosťami a kľúčov riešení z jednej témy. Ale presnosť každej vytvorenej otázky a bezchybnosť každého kľúča odpovede musia byť nezávisle overené; Nesprávny kľúč znamená, že študenti nespravodlivo strácajú body. V tejto lekcii sa naučíte, ako používať AI ako partnera na generovanie otázok a ako moderovať každú otázku.
Niekoľko definícií. Rozptyľovač je možnosť v otázke s viacerými možnosťami, ktorá nie je správna, ale zodpovedá bežnej chybe, ktorú môže študent urobiť. Dobrý rozptyľovač nie je náhodný; Odráža typickú chybu (chyba znamienka, zámena pravidiel). Kľúčom k odpovedi je zoznam správnych odpovedí na otázky. Vyváženie obtiažnosti je vhodné rozdelenie ľahkých, stredne ťažkých a ťažkých otázok v skúške.
Príspevok AI k vytváraniu otázok
- Variácia otázky: Viacero podobných otázok zo vzoru (zmena čísel).
- Dizajn distraktora: Pravdepodobne nesprávne voľby založené na bežných chybách.
- Prehľad kľúča riešenia: Riešenie každého problému krok za krokom.
- Hodnotenie obtiažnosti: Klasifikácia otázok ako ľahké/stredne/ťažké.
- Pokrytie predmetu: Súbor otázok pokrývajúcich rôzne podtémy učebného plánu.
- Bloom taxonómia fit: Otázka podľa kognitívnych úrovní, ako je zapamätanie, aplikácia, analýza.
Krok za krokom: vytvorenie spoľahlivého súboru otázok
1. Uveďte tému, úroveň a počet otázok. Ako napríklad "10. ročník strednej školy, kvadratické rovnice, 10 otázok s výberom odpovede."
2. Opýtajte sa na typ otázky a rozdelenie obtiažnosti. Požiadajte o distribúciu ako "4 ľahké, 4 stredné, 2 ťažké."
3. Vyriešte každú otázku samostatne. Vyriešte každú otázku sami alebo pomocou SymPy; Porovnajte ho s kľúčom odpovede poskytnutým YZ. O tomto kroku sa nedá rokovať.
4. Skontrolujte rušivé prvky. Sú nesprávne možnosti naozaj nesprávne? Niekedy AI vytvorí viac ako jednu správnu možnosť, alebo je rušivý prvok skutočne správny. Skontrolujte každú možnosť.
5. Garantujeme, že existuje práve jedna správna odpoveď. Pri viacnásobnom výbere musí byť správna práve jedna možnosť; Nesmie byť žiadna nula alebo viac ako jedna správna.
6. Skontrolujte neistotu a duplicitu. Je otázka jednoznačná? Meria tieto dve otázky to isté? Sú čísla primerané (napr. ak má byť odmocnina záporná)?
Upozornenie: AI robí pri generovaní otázok s viacerými možnosťami dve najčastejšie chyby: (1) možnosť, ktorú označila ako „pravda“, je v skutočnosti nesprávna, (2) viac ako jedna možnosť je správna alebo žiadna z nich nie je správna. Nepoužívajte žiadnu otázku bez samostatného vyriešenia každej otázky a vyhodnotenia každej zo štyroch možností samostatne ako pravda/nepravda.
Otázka na tabuľku kontroly kvality
ovládanie
Otázka
čo hľadať
presnosť
Je kľúč odpovede správny?
Potvrdenie nezávislým riešením
len pravda
Je správna iba 1 možnosť?
Ostatné 3 musia byť nesprávne
Kvalita distraktora
Sú chyby pravdepodobné?
Malo by byť založené na typickej chybe
Jasnosť
Je otázka jednoznačná?
Nemala by existovať žiadna neistota
Úroveň dodržiavania
Je obtiažnosť primeraná cieľu?
Ani príliš ľahké, ani príliš ťažké
Rozsah
Je téma dobre zastúpená?
Podtémy sú vyvážené
tri mini prípady
Prípad 1 – Nesprávny kľúč. Učiteľ vytvoril súbor 12 otázok s možnosťou výberu z viacerých odpovedí. Keď vyriešil každú otázku pomocou SymPy, zistil, že v 3 z 12 otázok bola možnosť, ktorú AI označila ako „správna“, nesprávna – skutočná správna odpoveď bola ďalšou možnosťou. Učiteľ narovnal kľúče. Ak by bola táto sada použitá bez overenia, celá trieda by bola nespravodlivo hodnotená v 3 otázkach.
Prípad 2 – Dve správne možnosti. V jednej otázke AI vložila „x = 2“ aj „x = 2 alebo x = -2“; Obe boli v istom zmysle pravdivé a otázka bola nejasná. Učiteľ preusporiadal možnosti a nechal len jednu správnu odpoveď. Distraktory musia byť jednoznačne nesprávne.
Prípad 3 – Slabý distraktor. V inžinierskej triede AI umiestnila do otázky irelevantné rušivé prvky, ako napríklad „42“, „aksaray“, „modrá“, „17“ atď.; Správna odpoveď bola zjavne „17“. Učiteľ požiadal o numerické distraktory na základe typických chýb vo výpočte (napr. hodnoty vyplývajúcej z chyby znamienka) a otázky sa stali skutočnými diskriminátormi. Dobrý rozptyľovač predstavuje skutočnú falošnú cestu.
Štyri kopírovateľné šablóny
1) Súbor otázok s viacerými možnosťami:
Vygenerujte [n] MULTIPLE CHOICE otázok na [téma]. Úroveň: [úroveň]. Obtiažnosť: [x ľahké, y stredné, z ťažké]. Každá otázka má 4 možnosti; Nech je PRESNÝ 1 správny a ostatné 3 sú pravdepodobnými rušivými faktormi založenými na typických chybách. Ku každej otázke tiež napíšte krok za krokom riešenie a správnu odpoveď. Všetky overím pomocou SymPy.
2) Variácia otázky (od vzoru):
Vezmite túto otázku ako VZOR: [ukážka otázky]. Vytvorte [n] rôznych verzií merajúcich rovnaký koncept, ale s rôznymi číslami/kontextom. Vyriešte odpovede pre každú verziu krok za krokom. Nech sa odpovede navzájom líšia.
3) Generovanie kľúča riešenia:
Vytvorte riešenie KROK ZA KROKOM a konečnú odpoveď na každú z nižšie uvedených otázok. Zadajte pravidlo, ktoré používate. Označte riešenie, ktorým si nie ste istí; Každú odpoveď si nezávisle overím. Otázky: [tu]
4) Zlepšenie rozptyľovača:
Prezrite si rozptyľovače pre túto otázku s viacerými možnosťami. Vysvetlite, KTOREJ typickej žiackej chybe zodpovedá každý nesprávny distraktor. Nahraďte irelevantné alebo zjavné nesprávne rušivé prvky tými, ktoré sú založené na skutočných chybách. Otázka: [tu]
Slabá výzva / Silná výzva
Slabý: "Urob mi 10 odvodených otázok."
Výsledok: Neistá úroveň, náhodné rozloženie obtiažnosti, neoverený kľúč odpovede, náhodný súbor rušivých prvkov (ak existujú).
Strong: "Vytvorte 10 odvodených otázok s výberom odpovede pre 12. ročník strednej školy: 4 ľahké (základné pravidlá), 4 stredné (pravidlo reťazca/súčinu), 2 ťažké (zložené funkcie). Nech sú v každej otázke 4 možnosti, presne 1 správna, ostatné sú rozptyľovače založené na typických chybách (zabudnutie vnútornej derivácie, chyba znamienka). Vyriešte každú správnu odpoveď krok za krokom."
Výsledok: Súprava, ktorá je vyrovnaná, vyvážená, rušivé prvky sú zmysluplné a každá odpoveď je overiteľná.
Časté chyby
- Neoveruje sa kľúč odpovede. To, čo AI hovorí, že je „správne“, je často nesprávne; Vyriešte každú otázku samostatne.
- Viac ako jedna/nula je správna možnosť. Vo viacnásobnom výbere musí byť presne jedna pravda; Skontrolujte každú možnosť samostatne.
- Slabé rozptyľovače. Irelevantné alebo zjavne nesprávne možnosti spôsobujú, že otázka je nevýrazná.
- Bez špecifikácie rozloženia obtiažnosti. Všetky sa zdajú byť rovnako náročné; Nie je možné vykonať hodnotenie úrovne.
- Opakovanie a prekrývanie. Rôzne otázky môžu merať rovnaký koncept; Skontrolujte zostatok pokrytia.
- Nejasný výraz. Otázky s dvojakým významom nespravodlivo zavádzajú študentov.
Tip: Najúčinnejším spôsobom, ako overiť množinu otázok, je napísať kód, ktorý vyrieši všetky otázky naraz pomocou SymPy. Povedzte AI „napíšte kód, ktorý vyrieši každý z týchto 10 problémov pomocou SymPy“, spustite kód a hromadne porovnajte výsledky SymPy s kľúčom odpovede AI. Týmto spôsobom skontrolujete 10 otázok nie jednu po druhej, ale kolektívne a deterministicky.
V súhrne
Umelá inteligencia dramaticky zrýchľuje generovanie matematických otázok a skúšok: variácia otázok, dizajn rušenia, kľúč riešenia, hodnotenie obtiažnosti. Ale každá otázka a každý kľúč odpovede musia byť nezávisle overené – najlepšie hromadne overené pomocou SymPy. Najčastejšími chybami sú nesprávny kľúč odpovede, viacnásobné/nulové správne možnosti a slabé rušivé prvky. Zadanie témy, úrovne a rozloženia náročnosti od začiatku zvyšuje kvalitu. Akékoľvek neoverené otázky by nemali vstupovať do skúšky.
Aplikačná úloha
Vyberte tému. Nechajte AI vytvoriť 8 až 10 otázok s výberom odpovede + riešenia s určitým rozložením obtiažnosti pomocou 1. šablóny. Potom, pamätajte si od jednotky 4, nechajte AI napísať kód, ktorý vyrieši všetky otázky pomocou SymPy, a spustite kód. Porovnajte výsledky SymPy s kľúčom odpovede YZ. Overte si, či je v každej otázke presne jedna správna voľba a či sú rušivé prvky skutočne nesprávne. Nájdite a opravte aspoň jednu chybu alebo slabý rušič.
kontrolný zoznam
- [ ] Jasne som uviedol predmet, úroveň a rozdelenie náročnosti.
- [ ] Každú otázku som riešil samostatne (najlepšie dávkovo so SymPy).
- [ ] Porovnal som kľúč odpovede s výsledkami SymPy.
- [ ] Overil som si, že v každej otázke je práve jedna správna možnosť.
- [ ] Skontroloval som, že rozptyľovače boli založené na typických chybách a boli v skutočnosti nesprávne.
- [ ] Uistil som sa, že tam nie sú žiadne vágne vyhlásenia a žiadne opakujúce sa otázky.