Enhed 5 / 11

Skala og beholdning Kommentar Support: Grænser og ekspertfilter

Gevinster:

  • Evne til at bruge kunstig intelligens som sprog og redigeringsassistent ved rapportering af målestoks- og lagerresultater for at forbedre præsentationen frem for resultaterne
  • Evne til at skrive prompter, der oversætter anonymiserede, numeriske resultater til forståeligt sprog og producerer generelle forklaringer.
  • Forståelse for, at skalafortolkning, diagnose og klinisk betydning ikke kan overføres til kunstig intelligens, og at validitet-reliabilitet og norminformation tilhører eksperten.

PDR-specialisten bruger ofte vægte og opgørelser til at lære eleven at kende. En skala er et struktureret værktøj, der numerisk måler en karakteristik (angst, selvværd, testholdning osv.); Inventory er et værktøj, der skaber en multidimensionel profil såsom interesser, værdier og erhvervsmæssige tendenser. Disse instrumenter har et videnskabeligt grundlag: validitet (om instrumentet rent faktisk måler, hvad det er beregnet til at måle), reliabilitet (giver konsistente resultater) og normering (et sammenligningsdiagram, der viser, hvad et resultat betyder for den relevante alder/gruppe). Korrekt fortolkning af et skalaresultat; Det kræver, at man overvejer disse tre begreber, værktøjets manual og elevens kontekst sammen. Dette er virkelig ekspertarbejde.

Det vigtigste budskab i denne enhed er en forbudslinje: Skalafortolkning, klinisk betydning og diagnose kan ikke delegeres til AI. AI kender ikke normtabellen, genkender ikke gyldighedsgrænserne for værktøjet, kan ikke se elevens kontekst; Hvis du giver ham rå score, kan han komme med selvsikre, men ubegrundede "kommentarer". AI's eneste legitime rolle på dette område er som redigeringsassistent, der forbedrer sproget og præsentationen af ​​ekspertens egen kommentar.

Hvorfor kan AI ikke fortolke skala?

Der er tre konkrete årsager. For det første norminformation: Hvorvidt en score på 34 på en angstskala er "høj" eller "medium" bestemmes af normtabellen for det instrument, der er udarbejdet for den aldersgruppe. AI kender ikke denne tabel; Han taler med et generelt gæt og tager fejl. For det andet, gyldighedsgrænse: Hvert værktøj er gyldigt til et bestemt formål, alder og kultur; Det er videnskabeligt forkert at fortolke et værktøj uden for dets tilsigtede formål, og AI genkender ikke denne grænse. For det tredje kontekst: Den samme score har forskellige betydninger for en studerende i løbet af en eksamensuge og en studerende i en almindelig uge; Kun den ekspert, der kender eleven, etablerer denne sammenhæng.

Derudover er risikoen for hallucinationer særligt farlig her: at spørge AI'en "hvad betyder dette opgørelsesresultat?" Når du spørger, svarer han efter en tekst, der lyder rigtigt, ikke en egentlig norm. Hvis dette svar deles med eleven eller forælderen, opstår der en videnskabeligt udseende, men ubegrundet "diagnose".

Forsigtig: Giv ikke råscore, varesvar eller en elevs beholdningsprofil til et AI-værktøj til at "fortolke". Dette er både en krænkelse af fortroligheden og åbner døren til en videnskabeligt ugyldig fortolkning. Du laver kommentaren; Lad AI'en kun redigere den kommentar, du skrev.

AIs legitime rolle: at forbedre leveringen

Eksperten foretager selv fortolkningen ud fra køretøjets manual og norm. Det er så nødvendigt at præsentere denne kommentar til en forælder eller elev på en forståelig måde; Det er her AI hjælper. AI kan oversætte en teknisk kommentar skrevet af en ekspert til et enklere sprog, udarbejde en forståelig forklaring til en forælder eller redigere formatet for en endelig rapport. Kritisk pointe: Det, der indgår i AI’en, er ikke nummeret eller profilen, men den anonymiserede kommentartekst skrevet af eksperten selv. AI forbedrer præsentationen, ikke resultatet.

En analogi er nyttig til at konkretisere denne skelnen: En læge, der læser testresultaterne og stiller en diagnose og forklarer denne diagnose for patienten i et forståeligt sprog, er to forskellige opgaver. At læse analysen og stille en diagnose kræver ekspertise og ansvar; At forenkle udtrykket er et spørgsmål om sprog. I PDR er AI kun involveret i denne anden opgave, det vil sige at blødgøre sproget for den "diagnose", som eksperten allerede har lavet. Han kan ikke selv stille "diagnosen". Så når du udarbejder en skalarapport med AI, er sekvensen klar: Først kommer eksperten med kommentaren, derefter forenkler AI'en sproget i denne kommentar. Hvis rækkefølgen er omvendt - det vil sige hvis AI'en får besked på at "tolke" først - dukker en tekst uden videnskabelig validitet op, pyntet med ekspertsprog, og dette er den farligste fejl af alle: at få det falske til at virke troværdigt.

Trin for trin: fra skaleringsresultat til klar rapport

  1. Kom med en ekspertkommentar. Fortolk selv resultatet i henhold til køretøjets manual og norm.
  2. Anonymiser kommentar. Fjern navn og identifikationsoplysninger; Sig "en studerende".
  3. Forenklet til AI. Bare bed ham om at redigere sproget og flowet; Beting ham/hende ikke at tilføje nye kommentarer.
  4. Sammenligne. Bekræft, at outputtet ikke ændrer din fortolkning, men kun forbedrer din præsentation.
  5. Tilføj kontekst og forslag. Du skriver elevens kontekst og næste skridt.
  6. Gem det på dit system med dit ID. Send den autentificerede rapport til dit eget sikre system.

Kopierbare skabeloner

1) Forenkling af ekspertkommentarer:

Din rolle: PDR skriveassistent. TILFØJELSE AF EN NY kommentar, diagnose eller forslag.Opgave: Forenkle den anonyme ekspertskrevne kommentar nedenfor til et roligt, ikke-stigmatiserende sprog, som en forælder nemt kan forstå. Hvis du bruger et fagudtryk, så forklar kort i parentes. Ændring af betydning. Ekspertkommentar: [indsæt egen anonym kommentar]

2) Spørgsmål til afsluttende interviewforberedelse:

Din rolle: PDR-assistent. Jeg forbereder et møde med en elev, hvor jeg vil dele resultaterne af opgørelsen (jeg deler IKKE resultaterne, jeg har dem). Foreslå 8 åbne spørgsmål for at holde interviewet elevcentreret og opdagelsesorienteret.

3) Redigering af rapportformat:

Sæt den anonyme evalueringstekst nedenfor under følgende overskrifter: Formål, Generel evaluering (skrevet af mig), Styrker, Udviklingsområder, Forslag. ÆNDRING IKKE indholdet, bare rediger og strømline. Tekst: [anonym tekst]

4) Generator for termbeskrivelse (for forælder):

Forklar følgende PDR-termer til en forælder i én sætning uden at stigmatisere dem: [skriv vilkårene]. Tilføjelse af en diagnose eller elevspecifik kommentar.

Svag prompt / Stærk prompt

Svag:

Denne elev scorede 38 på angstskalaen, hvad betyder det, kommentar.

Den fortolker den rå score til AI; Der er ingen normer, ingen sammenhæng, risiko for krænkelse af privatlivets fred og ugyldig fortolkning.

Stærk:

Din rolle: PDR skriveassistent, tilføjer nye kommentarer. Nedenfor er den anonyme anmeldelse, jeg skrev ifølge MIN håndbog. Forenkle dette til et forståeligt, roligt og ikke-stigmatiserende sprog. Bevar meningen. Evaluering: "Det blev evalueret, at en gymnasieelev oplevede et overskueligt angstniveau specifikt for eksamensperioden; hans daglige funktionalitet var bevaret. Man mente, at støtte til at styrke mestringsevnen ville være nyttig."

Kommentar fra eksperten; AI forenkler blot sproget.

tre minisager

Case 1 — Sammensat norm. For at teste det gav en ekspert AI'en den rå score på en skala og sagde "kommentar". AI udgjorde en ikke-eksisterende "tærskelværdi" for det værktøj og erklærede scoren "klinisk høj." Da eksperten så på køretøjets faktiske normtabel, så han, at scoren lå i gennemsnittet. Hvis AI's fortolkning blev fulgt, ville en elev og familie være unødigt bekymrede. Lektion: fortolkning udføres af værktøjets norm, ikke af AI.

Tilfælde 2 — Forenklingsgevinst. En vejleder havde svært ved at forklare en teknisk evalueringstekst til en forælder. Han fik AI til at forenkle den anonyme kommentar, han skrev; Han oversatte udtryk som "daglig funktionalitet" og "mestringsevner" til modersproget. Forældremødet var meget roligere. AI forbedrede præsentationen, ikke resultatet; Meningen blev bevaret.

Tilfælde 3 — Kontekstforskel. En elevs eksamensholdningsopgørelse viste en lav motivationsprofil. I stedet for at lade AI fortolke dette, talte eksperten med eleven og fandt ud af, at den lave profil skyldtes en midlertidig familiesituation på det tidspunkt. AI’en ville aldrig se denne sammenhæng; ekspertfiltrering afslørede historien bag nummeret og skrev rapporten i overensstemmelse hermed.

Almindelige fejl

  • At have den rå score fortolket af AI. Ugyldig fortolkning uden norm og kontekst. Løsning: Eksperten fremsætter kommentaren.
  • Indtastning af profilen i værktøjet. Krænkelse af privatlivets fred og risiko for hallucinationer. Løsning: kun anonym kommentartekst indtastes.
  • Henter den nye kommentar tilføjet af AI. Ikke bemærket, at nye krav siver ind under forenkling. Løsning: "tilføj nye kommentarer" grænse og sammenligning.
  • Udeladelse af kontekst. Læsning af nummeret afbrudt fra elevens historie. Løsning: etablere sammenhæng med samtalen.
  • Skift til diagnostisk sprog. Uautoriseret brug af udtryk som "klinisk", "lidelse". Løsning: respekter autorisation og sproggrænser.

Tabel: Hvem gør hvad?

forretning

ekspert

AI

Norm/validitetsvurdering

Ja

nej

Fortolkning af rå score

Ja

nej

Etabler konteksten

Ja

nej

Forenkle sproget i kommentaren

Godkendelser

Ja

Rediger rapportformat

Godkendelser

Ja

Begrebsforklaring til forældre

Godkendelser

Ja (generelt)

Sammenfattende

Fortolkning af skala og opgørelse; Det er et spørgsmål om ekspertise, der kræver validitet, pålidelighed, normer og kontekst og ikke kan overføres til AI. AIs legitime rolle er at forbedre sproget og præsentationen af ​​ekspertens egen, anonymiserede kommentar. Giv aldrig køretøjet en rå score eller profil; Bare anonymt forenkle din egen kommentartekst, bevar betydningen, tilføj kontekst og forslag selv.

Ansøgningsopgave

Skriv en fiktiv skalafortolkning (professionel, teknisk). Anonymiser. Han fik AI'en til at oversætte det til modersprog med skabelonen "Simplifying expert interpretation". Læg derefter de to tekster side om side: Har AI’en ændret betydningen eller tilføjet en ny fortolkning/diagnose? Marker ændringen og lav den endelige version, der bevarer betydningen.

tjekliste

  • [ ] Jeg lavede selv kommentaren i henhold til køretøjets manual og standarder.
  • [ ] Jeg gav værktøjet kun anonym anmeldelsestekst, ikke en rå score/profil.
  • [ ] Jeg skrev grænsen for "tilføj ny fortolkning/diagnose" i prompten.
  • [ ] Jeg bekræftede ved sammenligning, at outputtet ikke ændrer betydningen.
  • [ ] Jeg tilføjede selv konteksten og forslaget; Jeg gav endelig godkendelse.