Zyski:
- Możliwość wykorzystania sztucznej inteligencji do tworzenia pytań wielokrotnego wyboru, rozpraszaczy opartych na typowych błędach i kluczy rozwiązań poprzez określenie tematu, poziomu i rozkładu trudności.
- Możliwość wykrycia błędów błędnego klucza i błędów opcji poprawnych wielokrotnych/zero poprzez niezależną walidację każdego klucza pytania i odpowiedzi, najlepiej zbiorczo, za pomocą SymPy
- Umiejętność oceny jakości rozpraszaczy, jednoznaczności i równowagi trudności pytań oraz zatwierdzania każdego pytania przed przystąpieniem do egzaminu.
Przygotowanie pytań egzaminacyjnych i ćwiczeniowych to jedno z najbardziej czasochłonnych zadań w edukacji matematycznej: ustawianie pytań o odpowiednim stopniu trudności, projektowanie wiarygodnych czynników rozpraszających (złe, ale prawdopodobne opcje), przygotowywanie klucza odpowiedzi i równoważenie trudności zajmuje wiele godzin. Sztuczna inteligencja może przyspieszyć ten proces — generując dziesiątki wariantów pytań, opcji wielokrotnego wyboru i kluczy rozwiązań z jednego tematu. Jednak dokładność każdego utworzonego pytania i brak błędów każdego klucza odpowiedzi muszą zostać niezależnie zweryfikowane; Nieprawidłowy klucz oznacza, że uczniowie niesprawiedliwie tracą punkty. W tej części dowiesz się, jak wykorzystywać sztuczną inteligencję jako partnera do generowania pytań i jak moderować każde pytanie.
Kilka definicji. Rozpraszacz to opcja w pytaniu wielokrotnego wyboru, która jest niepoprawna, ale odpowiada częstemu błędowi, jaki może popełnić uczeń. Dobry rozpraszacz nie jest przypadkowy; Odzwierciedla typowy błąd (błąd znaku, pomieszanie reguł). Klucz odpowiedzi to lista poprawnych odpowiedzi na pytania. Równowaga trudności to odpowiedni rozkład pytań łatwych-średnio-trudnych na egzaminie.
Wkład sztucznej inteligencji w generowanie pytań
- Odmiana pytania: wiele podobnych pytań ze wzorca (zmiana liczb).
- Konstrukcja rozpraszacza: prawdopodobnie nieprawidłowe wybory oparte na typowych błędach.
- Kluczowy zarys rozwiązania: rozwiązanie każdego problemu krok po kroku.
- Stopień trudności: Klasyfikacja pytań jako łatwe/średnie/trudne.
- Zakres tematyczny: Zestawy pytań obejmujących różne podtematy programu nauczania.
- Dopasowanie taksonomii Blooma: pytanie według poziomów poznawczych, takich jak zapamiętywanie, stosowanie, analizowanie.
Krok po kroku: generowanie rzetelnego zestawu pytań
1. Określ temat, poziom i liczbę pytań. Na przykład „10. klasa liceum, równania kwadratowe, 10 pytań wielokrotnego wyboru”.
2. Zapytaj o rodzaj pytania i rozkład trudności. Poproś o dystrybucję typu „4 łatwe, 4 średnie, 2 trudne”.
3. Rozwiąż każde pytanie samodzielnie. Rozwiąż każde pytanie samodzielnie lub z SymPy; Porównaj go z kluczem odpowiedzi dostarczonym przez YZ. Ten krok nie podlega negocjacjom.
4. Sprawdź, czy nie występują czynniki rozpraszające. Czy złe opcje są naprawdę złe? Czasami sztuczna inteligencja generuje więcej niż jedną poprawną opcję lub rozpraszacz jest w rzeczywistości poprawny. Sprawdź każdą opcję.
5. Zagwarantuj, że jest dokładnie jedna prawidłowa odpowiedź. W przypadku wielokrotnego wyboru dokładnie jedna opcja musi być poprawna; Nie może być zera ani więcej niż jeden poprawny.
6. Sprawdź, czy nie ma niepewności i powielania. Czy pytanie jest jednoznaczne? Czy te dwa pytania mierzą to samo? Czy liczby są rozsądne (np. jeśli pierwiastek powinien być ujemny)?
Uwaga: sztuczna inteligencja popełnia dwa najczęstsze błędy podczas generowania pytań wielokrotnego wyboru: (1) opcja, którą oznaczyła jako „prawda”, jest w rzeczywistości błędna, (2) więcej niż jedna opcja jest poprawna lub żadna z nich nie jest poprawna. Nie używaj żadnego pytania bez samodzielnego rozwiązania każdego pytania i oceny każdej z czterech opcji osobno jako prawda/fałsz.
Pytanie do karty kontroli jakości
kontrola
Pytanie
czego szukać
dokładność
Czy klucz odpowiedzi jest poprawny?
Potwierdzenie niezależnym rozwiązaniem
tylko prawda
Czy tylko 1 opcja jest poprawna?
Pozostałe 3 muszą się mylić
Jakość rozpraszająca
Czy błędy są wiarygodne?
Należy opierać się na typowym błędzie
Przejrzystość
Czy pytanie jest jednoznaczne?
Nie powinno być żadnej niepewności
Zgodność na poziomie
Czy trudność jest adekwatna do celu?
Ani za łatwe, ani za trudne
Zakres
Czy temat jest dobrze przedstawiony?
Podtematy są zrównoważone
trzy mini etui
Przypadek 1 — Zły klucz. Nauczyciel przygotował zestaw 12 pytań wielokrotnego wyboru. Kiedy rozwiązywał każde pytanie za pomocą SymPy, odkrył, że w 3 z 12 pytań opcja oznaczona przez sztuczną inteligencję jako „poprawna” była błędna — inną opcją była faktyczna poprawna odpowiedź. Nauczyciel wyprostował klucze. Gdyby ten zestaw został wykorzystany bez weryfikacji, cała klasa zostałaby oceniona niesprawiedliwie w 3 pytaniach.
Przypadek 2 — Dwie prawidłowe opcje. W jednym pytaniu sztuczna inteligencja podała zarówno „x = 2”, jak i „x = 2 lub x = −2”; Obydwa w pewnym sensie były prawdziwe, a pytanie było niejasne. Nauczyciel przestawił opcje i pozostawił tylko jedną poprawną odpowiedź. Elementy rozpraszające muszą być wyraźnie nieprawidłowe.
Przypadek 3 — Słaby dystraktor. Na zajęciach z inżynierii sztuczna inteligencja umieściła w pytaniu nieistotne czynniki rozpraszające, takie jak „42”, „aksaray”, „niebieski”, „17” itp.; Prawidłowa odpowiedź brzmiała oczywiście „17”. Nauczyciel poprosił o dystraktory numeryczne oparte na typowych błędach obliczeniowych (np. wartość wynikająca z błędu znaku), a pytania stały się prawdziwymi dyskryminatorami. Dobry rozpraszacz reprezentuje prawdziwą fałszywą ścieżkę.
Cztery szablony do kopiowania
1) Zestaw pytań wielokrotnego wyboru:
Generuj [n] pytań wielokrotnego wyboru na [temat]. Poziom:[poziom]. Poziom trudności: [x łatwy, y średni, z trudny]. Niech każde pytanie ma 4 opcje; Niech DOKŁADNY 1 będzie poprawny, a pozostałe 3 to wiarygodne czynniki rozpraszające oparte na typowych błędach. Napisz także rozwiązanie krok po kroku i poprawną odpowiedź na każde pytanie. Zweryfikuję je wszystkie za pomocą SymPy.
2) Wariacja pytania (ze wzorca):
Potraktuj to pytanie jako WZÓR: [przykładowe pytanie]. Wygeneruj [n] różne wersje mierzące tę samą koncepcję, ale z różnymi liczbami/kontekstem. Rozwiąż krok po kroku odpowiedzi dla każdej wersji. Niech odpowiedzi będą się od siebie różnić.
3) Generowanie klucza rozwiązania:
Przygotuj rozwiązanie KROK PO KROKU i ostateczną odpowiedź na każde z poniższych pytań. Określ regułę, której używasz. Zaznacz rozwiązanie, którego nie jesteś pewien; Każdą odpowiedź będę niezależnie weryfikował. Pytania: [tutaj]
4) Ulepszenie rozpraszacza:
Przejrzyj czynniki rozpraszające w przypadku tego pytania wielokrotnego wyboru. Wyjaśnij, JAKIEGO typowego błędu ucznia odpowiada każdy nieprawidłowy dystraktor. Zastąp nieistotne lub oczywiste nieprawidłowe czynniki rozpraszające tymi, które opierają się na rzeczywistych błędach. Pytanie: [tutaj]
Słaba zachęta/silna zachęta
Słabe: „Zadaj mi 10 pytań pochodnych”.
Wynik: niepewny poziom, losowy rozkład trudności, niezweryfikowany klucz odpowiedzi, losowy zestaw czynników rozpraszających (jeśli występują).
Mocny: „Utwórz 10 pytań pochodnych wielokrotnego wyboru dla 12. klasy szkoły średniej: 4 łatwe (podstawowe zasady), 4 średnie (reguła łańcucha/iloczynu), 2 trudne (funkcje złożone). Niech w każdym pytaniu będą 4 możliwości, dokładnie 1 prawidłowa, pozostałe to rozpraszacze oparte na typowych błędach (zapomnienie pochodnej wewnętrznej, błąd znaku). Rozwiązuj każde pytanie krok po kroku i wskaż poprawną odpowiedź.
Wynik: Zestaw, który jest równy, zrównoważony, elementy rozpraszające mają znaczenie, a każda odpowiedź jest możliwa do sprawdzenia.
Typowe błędy
- Brak weryfikacji klucza odpowiedzi. To, co sztuczna inteligencja uważa za „słuszne”, często jest błędne; Rozwiąż każde pytanie niezależnie.
- Więcej niż jeden/zero jest poprawną opcją. W przypadku wielokrotnego wyboru musi być dokładnie jedna prawda; Sprawdź każdą opcję osobno.
- Słabe rozpraszacze. Nieistotne lub wyraźnie nieprawidłowe opcje sprawiają, że pytanie nie ma charakteru odróżniającego.
- Nieokreślenie rozkładu trudności. Wszystkie wydają się mieć tę samą trudność; Nie można dokonać oceny poziomu.
- Powtarzanie i nakładanie się. Różne pytania mogą mierzyć tę samą koncepcję; Sprawdź saldo ubezpieczenia.
- Niejasne wyrażenie. Pytania o podwójnym znaczeniu nieuczciwie wprowadzają uczniów w błąd.
Wskazówka: Najskuteczniejszym sposobem sprawdzenia zestawu pytań jest napisanie kodu, który rozwiąże wszystkie pytania jednocześnie za pomocą SymPy. Powiedz AI „napisz kod, który rozwiąże każdy z tych 10 problemów za pomocą SymPy”, uruchom kod i zbiorczo porównaj wyniki SymPy z kluczem odpowiedzi AI. W ten sposób sprawdzasz 10 pytań nie pojedynczo, ale zbiorowo i deterministycznie.
Podsumowując
Sztuczna inteligencja radykalnie przyspiesza generowanie pytań matematycznych i egzaminów: odmiana pytania, projekt dystraktora, klucz rozwiązania, ocena trudności. Jednak każde pytanie i każdy klucz odpowiedzi muszą zostać niezależnie sprawdzone — najlepiej zweryfikowane zbiorczo za pomocą SymPy. Najczęstsze błędy to błędny klucz odpowiedzi, wiele/zero poprawnych opcji i słabe czynniki rozpraszające. Określenie od początku tematu, poziomu i rozkładu trudności podnosi jakość. Pytania niezweryfikowane nie powinny wchodzić na egzamin.
Zadanie aplikacji
Wybierz temat. Niech sztuczna inteligencja utworzy 8–10 pytań wielokrotnego wyboru + rozwiązania o określonym rozkładzie trudności za pomocą pierwszego szablonu. Następnie, pamiętając z części 4, poproś sztuczną inteligencję o napisanie kodu, który rozwiąże wszystkie pytania za pomocą SymPy i uruchomienie kodu. Porównaj wyniki SymPy z kluczem odpowiedzi YZ. Sprawdź, czy w każdym pytaniu jest dokładnie jedna poprawna odpowiedź i czy czynniki rozpraszające są rzeczywiście nieprawidłowe. Znajdź i popraw przynajmniej jeden błąd lub słaby element rozpraszający.
lista kontrolna
- [ ] Jasno określiłem temat, poziom i rozkład trudności.
- [ ] Każde pytanie rozwiązałem niezależnie (najlepiej wsadowo za pomocą SymPy).
- [ ] Porównałem klucz odpowiedzi z wynikami SymPy.
- [ ] Sprawdziłem, że w każdym pytaniu jest dokładnie jedna prawidłowa opcja.
- [ ] Sprawdziłem, czy dystraktory opierały się na typowych błędach i rzeczywiście były błędne.
- [ ] Zadbałem o to, aby nie było żadnych niejasnych stwierdzeń i powtarzających się pytań.