Winst:
- Mogelijkheid om onderzoek traceerbaar te maken door methodologische beslissingen, aanwijzingen en modelinformatie vast te leggen
- Mogelijkheid om ruwe gegevens van verwerkte gegevens te scheiden en alle conversiestappen te documenteren
- Het transparant kunnen verklaren van de rol van kunstmatige intelligentie in het methodedeel en het toepassen van de ‘kan het reproduceerbaar zijn’ test
Het meest fundamentele kenmerk van de wetenschap is dat een bevinding niet gebaseerd is op het woord van één persoon, maar op een proces dat door anderen kan worden geverifieerd. Reproduceerbaarheid is het vermogen van een andere onderzoeker om, op basis van de gegevens en de methode van een onderzoek, hetzelfde resultaat te bereiken door dezelfde stappen te volgen. Een soortgelijk concept is transparantie: de onderzoeker documenteert duidelijk wat hij heeft gedaan en waarom hij welke beslissing heeft genomen. In het tijdperk van AI zijn deze twee concepten zowel eenvoudiger als kritischer geworden. Gemakkelijk, omdat AI helpt bij het documenteren van processen; van cruciaal belang, want als u geen spoor achterlaat van de beslissingen van de AI, kan niemand (zelfs u niet) uw werk reproduceren. In deze unit leer je hoe je je onderzoek reproduceerbaar en transparant kunt maken.
De kern van het probleem is dit: als je met AI werkt, neem je veel kleine beslissingen: welke prompt je hebt gebruikt, welk model, welke instellingen, welke output je hebt geaccepteerd en welke je hebt afgewezen. Als deze beslissingen niet worden gedocumenteerd, krijgt u mogelijk een andere uitvoer wanneer u dezelfde prompt op een andere dag uitvoert (taalmodellen geven niet elke keer exact hetzelfde antwoord). Als een recensent of collega vraagt ‘hoe ben je tot deze themaanalyse gekomen’, is ‘de AI zei het’ geen wetenschappelijk antwoord. Transparantie gaat juist over het openen van deze ‘black box’ en het traceerbaar maken van het proces.
Stap voor stap: het opzetten van een traceerbaar onderzoek
1. Houd een beslissingsdagboek bij. Schrijf elke belangrijke methodologische beslissing – waarom dit voorbeeld, waarom deze code, waarom je dit AI-voorstel accepteerde – op in een gedateerd dagboek. AI helpt bij het organiseren van dit logboek.
2. Bewaar aanwijzingen en modelinformatie. Houd een overzicht bij van elke prompt die u hebt gebruikt, op welk AI-model u deze hebt uitgevoerd en op welke datum. Dit is de “materialenlijst” voor jouw werk.
3. Scheid ruwe gegevens van verwerkte gegevens. Houd de originele gegevens ongewijzigd; voer alle conversies (opschonen, coderen) afzonderlijk uit met gedocumenteerde stappen. Iedereen kan dus vanaf het begin kijken.
4. Schrijf duidelijk de rol van AI. Geef in het methodegedeelte eerlijk aan bij welke taken en hoe je AI hebt gebruikt. De meeste tijdschriften en instellingen eisen dit nu.
5. Deel gegevens en code indien mogelijk. Wanneer ethiek en privacy het toelaten, is het delen van geanonimiseerde gegevens en analysecodes in open repositories het toppunt van transparantie.
Tip: Een simpele test: “Kan ik dit onderzoek over 6 maanden zelf nog een keer doen?” Als u uw aanwijzingen, beslissingen en stappen niet hebt gedocumenteerd, is het antwoord waarschijnlijk 'nee'. Maak het voor jezelf produceerbaar; Dan gebeurt het ook voor iemand anders.
drie minikoffers
Geval 1 – Traceless-analyse mislukte. Eén onderzoeker voerde een themaanalyse uit met AI, maar legde niet vast welke prompt hij gebruikte. Toen de scheidsrechter vroeg: "Hoe ben je tot deze thema's gekomen?" hij kon het proces niet laten zien; Hij moest de analyse opnieuw herhalen, dit keer door een dagboek bij te houden. Hij verloor twee weken.
Geval 2 – Beslissingslogboek beëindigt de discussie. Er ontstond een meningsverschil in een team met de vraag "waarom hebben we deze codes gecombineerd?" Maar het beslissingslogboek bevatte de datum en de rechtvaardiging voor elk fusiebesluit. Het argument werd binnen enkele minuten opgelost toen de AI het logboek samenvatte en chronologisch weergaf.
Casus 3 — Transparante openbaarmaking schept vertrouwen. In één artikel schreven de auteurs expliciet dat we AI gebruikten “voor het bewerken van transcripties en initiële codesuggesties, waarbij twee onderzoekers alle codes handmatig verifieerden.” Recensenten vonden deze transparantie positief; Het bleek veel betrouwbaarder te zijn dan het gebruik van een verhulde AI.
Vier kopieerbare sjablonen
1) Beslissingslogboeksjabloon:
Maak een methodologische beslissingslogboektabel. Kolommen: datum, besluit, grondgedachte, alternatieven, rol van AI (indien aanwezig), wie het heeft goedgekeurd. Voeg mijn beslissingsnotities hieronder in deze tabel in en markeer eventuele ontbrekende motiveringen als "moeten worden aangevuld". Opmerkingen: [hier]
2) Concept AI-gebruiksverklaring:
Stel een paragraaf op waarin op transparante wijze mijn gebruik van AI wordt uitgelegd en plaats deze in het methodengedeelte. Ik heb het bij deze taken gebruikt: [lijst]. Ik heb het NIET gebruikt bij de volgende taken: [lijst]. Ik heb alle uitgangen handmatig geverifieerd. Model en datum: [x]. Gebruik eerlijke, ingetogen, academische taal.
3) Reproduceerbaarheidsinspectie:
Ik beschrijf mijn onderzoeksproces: [samenvatting]. Kan een andere onderzoeker dit reproduceren? Maak een lijst van ongedocumenteerde, onduidelijke of niet-traceerbare stappen: welke gegevens, welke transformatie, welke prompt, welke beslissing ontbreekt? Vertel me wat ik voor elke ruimte moet opnemen.
4) Gegevens herkomstkaart:
Noem alle transformatiestappen van onbewerkte gegevens tot mijn uiteindelijke bevinding als een stroom: onbewerkte gegevens → opschonen → coderen → analyse → vinden. Laat zien wat er bij elke stap is gedaan, met welk hulpmiddel en met welke beslissing. Markeer de niet te volgen stap. Proces: [hier]
Zwakke prompt/sterke prompt
Zwakke prompt:
Schrijf de methode van deze analyse in één paragraaf.
AI produceert een generieke methodeparagraaf zonder het proces te documenteren; Hoe de beslissing is genomen en waar AI is gebruikt, blijft onduidelijk. Dit is niet maakbaar.
Krachtige prompt:
Schrijf een produceerbare beschrijving voor de methodesectie. Gebruik de volgende informatie: databron [x], monster [y], analysestappen [z], het AI-model dat ik heb gebruikt en de datum ervan [t], de exacte rol van de AI [r], het menselijke verificatieproces [d]. Schrijf zo concreet dat iemand anders deze stappen kan volgen en reproduceren. Vraag me om alle informatie die ik heb weggelaten.
Het verschil: de tweede aanpak maakt het proces concreet, traceerbaar en echt reproduceerbaar.
Transparantie lagen
laag
Wat is gedocumenteerd
Waarom is het belangrijk?
beslissingsdagboek
Methodologische beslissingen + onderbouwing
verdedigt de rechterlijke macht
Snelle registratie
Prompt gebruikt, model, datum
Maakt AI handelbaar
Gegevensoorsprong
Ruwe → verwerkte conversies
opent stappen
AI-verklaring
De rol en limiet van AI
eerlijkheid
delen
Anonieme gegevens + code
Ultieme transparantie
Veel voorkomende fouten
- Er worden geen aanwijzingen opgeslagen. Als u de gebruikte instructie niet bewaart, kunt u het proces niet demonstreren.
- Het betekent: "De AI zei het." Wetenschappelijke rechtvaardiging is proces en oordeel, niet het woord van het model.
- De onbewerkte gegevens overschrijven. Bewaar het origineel; Maak conversies gescheiden en gedocumenteerd.
- Het gebruik van AI verbergen. Transparante verklaring schept vertrouwen; Onderduiken veroorzaakt reputatieverlies.
- Waardoor het zelfs voor jezelf onproduceerbaar blijft. Een klusje dat je na 6 maanden niet nog een keer kunt doen, is geen wetenschap.
Samengevat
Reproduceerbaarheid en transparantie transformeren een onderzoek van het woord van één persoon in een wetenschap die iedereen kan testen. Dit is zelfs nog belangrijker bij het werken met AI, want als de beslissingen van het model niet worden gevolgd, wordt het proces een black box. Houd een beslissingslogboek bij, leg aanwijzingen en modelinformatie vast, scheid onbewerkte gegevens van verwerkte gegevens, verklaar eerlijk de rol van de AI en deel gegevens en code wanneer de ethiek dit toelaat. Een onderzoek dat de test ‘Kan ik mezelf na 6 maanden reproduceren’ doorstaat, is ook voor anderen betrouwbaar.
Applicatie taak
Voor een kleine analyse die u uitvoert of plant, legt u minimaal 5 methodologische beslissingen vast, met onderbouwing, met behulp van het "beslissingsdagboeksjabloon". Bewaar de aanwijzingen die u gebruikt, het model en de datum in een apart bestand. Gebruik vervolgens het sjabloon ‘reproduceerbaarheidsaudit’ om de AI ongedocumenteerde hiaten in uw proces te laten vinden en elke leemte te dichten. Schrijf ten slotte een schets van de ‘AI-gebruiksverklaring’ en een transparante paragraaf die in de sectie met methoden moet worden geplaatst.
controlelijst
- [ ] Ik schreef de redenen voor elke belangrijke methodologische beslissing in het tijdschrift.
- [ ] Ik heb de aanwijzingen die ik gebruikte, het model en de datum genoteerd.
- [ ] Ik heb de ruwe gegevens ongewijzigd gehouden en de transformaties gedocumenteerd.
- [ ] Ik heb de rol van AI eerlijk uiteengezet in de methodesectie.
- [ ] Ik heb de test "Kan ik me na 6 maanden reproduceren" toegepast.