收益：
- 能够通过记录方法决策、提示和模型信息使研究可追溯
- 能够将原始数据与处理后的数据分开并记录所有转换步骤
- 能够透明地声明人工智能在方法部分的作用并应用“能否重现”测试
科学最基本的特征是，一项发现不是基于一个人的言论，而是基于一个可以被其他人验证的过程。再现性是指另一位研究人员采用研究的数据和方法，通过遵循相同的步骤获得相同结果的能力。类似的概念是透明度：研究人员清楚地记录他所做的事情以及他为什么做出哪个决定。在人工智能时代，这两个概念变得更加容易也更加关键。很简单，因为人工智能有助于记录流程；至关重要的是，因为如果你不留下人工智能决策的痕迹，任何人——甚至你——都无法复制你的工作。在本单元中，您将学习如何使您的研究具有可重复性和透明性。
问题的核心在于：当你使用人工智能时，你会做出很多小决定——这些决定会提示你使用哪种模型、哪种设置、你接受哪些输出以及拒绝哪些输出。如果这些决定没有记录下来，那么当您在不同的一天运行相同的提示时，您可能会得到不同的输出（语言模型不会每次都给出完全相同的响应）。当审稿人或同事问“你是如何得出这个主题分析的”时，“人工智能是这么说的”并不是一个科学的答案。透明就是打开这个“黑匣子”，让流程可追溯。
循序渐进：建立可追溯的研究
1. 记下决定日记。在一本注明日期的日记中写下每一个重要的方法论决定——为什么这个样本、为什么这个代码、为什么你接受这个人工智能提案。人工智能帮助组织这个日志。
2. 保存提示和型号信息。记录您使用的每个提示、运行该提示的 AI 模型以及运行日期。这是您工作的“材料清单”。
3. 将原始数据与处理后的数据分开。保持原始数据不变；使用记录的步骤单独进行所有转换（清理、编码）。所以大家可以从头开始看。
4.写清楚AI的作用。在方法部分，诚实地说明您在哪些任务中以及如何使用人工智能。现在大多数期刊和机构都要求这样做。
5. 如果可能的话，共享数据和代码。当道德和隐私允许时，在开放存储库中共享匿名数据和分析代码是透明度的顶峰。
提示：一个简单的测试：“我可以在 6 个月内再次自己进行这项研究吗？”如果您没有记录您的提示、决定和步骤，答案很可能是“否”。使其可以为您自己生产；然后其他人也会发生这种情况。
三个迷你箱子
案例 1——无痕分析失败。一位研究人员用人工智能进行了主题分析，但没有记录他使用的是哪个提示。当裁判问“你是如何得出这些主题的？”他无法展示这个过程；他必须再次重复分析，这次记日记。他损失了两周的时间。
案例 2 — 决策日志结束讨论。团队中出现了分歧，询问“为什么我们要合并这些代码？”但决策日志包含每个合并决策的日期和理由。当人工智能总结日志并按时间顺序显示时，争论在几分钟内得到了解决。
案例 3 — 透明披露建立信任。在一篇文章中，作者明确写道，我们使用人工智能“进行转录编辑和初始代码建议，并由两名研究人员手动验证所有代码”。评论家认为这种透明度是积极的；人们发现它比使用隐形人工智能可靠得多。
四个可复制模板
1）决策日志模板：
创建方法决策日志表。列：日期、决定、理由、替代方案、人工智能的角色（如果有）、批准者。将我的决定注释插入到此表中，并将任何缺失的理由标记为“必须完成”。注：[此处]
2）人工智能使用声明草案：
起草一个段落，透明地解释我对人工智能的使用，并将其放入方法部分。我在这些任务中使用了它：[列表]。我没有在以下任务中使用它：[列表]。我手动验证了所有输出。型号和日期：[x]。使用诚实、低调、学术的语言。
3）再现性检查：
我描述一下我的研究过程：[总结]。另一位研究人员可以重现这一点吗？列出未记录、不明确或无法追踪的步骤：缺少哪些数据、哪些转换、哪些提示、哪些决策？告诉我每个空间要记录什么。
4）数据来源图：
将从原始数据到我最终发现的所有转换步骤列出为一个流程：原始数据→清理→编码→分析→发现。显示每一步做了什么、使用了什么工具以及做出了什么决定。标记无法跟踪的步骤。流程：[此处]
弱提示/强提示
弱提示：
用一段话写出这种分析的方法。
AI产生通用方法段落，但不记录过程；该决定是如何做出的以及人工智能在哪里使用仍不清楚。这是无法制造的。
强力提示：
为方法部分编写可生成的描述。使用以下信息：数据源[x]、样本[y]、分析步骤[z]、我使用的AI模型及其日期[t]、AI的确切作用[r]、人类验证过程[d]。写得足够具体，以便其他人可以遵循这些步骤并重现它们。询问我遗漏的任何信息。
区别在于：第二种方法使过程具体、可追溯且真正可重复。
透明层
层
记录了什么
为什么它很重要？
决定日记
方法决策+理由
捍卫司法机关
立即注册
提示使用过、型号、日期
让人工智能变得易于处理
数据来源
原始 → 处理后的转换
打开步骤
人工智能声明
人工智能的作用和局限性
诚实
分享
匿名数据+代码
终极透明度
常见错误
- 不保存提示。如果您不保留所使用的说明，则无法演示该过程。
- 意思是“AI是这么说的”。科学论证是过程和判断，而不是模型的文字。
- 覆盖原始数据。保留原件；将转换分开并记录下来。
- 隐藏人工智能的使用。透明的声明建立信任；隐藏会导致声誉损失。
- 甚至让你自己也无法生产它。 6个月后就无法再做的工作就不是科学。
综上所述
可重复性和透明度将一项研究从一个人的言论转变为任何人都可以测试的科学。在使用人工智能时，这一点更为重要，因为如果不遵循模型的决策，整个过程就会变成黑匣子。保留决策日志，记录提示和模型信息，将原始数据与处理后的数据分开，诚实地声明人工智能的角色，并在道德允许的情况下共享数据和代码。通过“6个月后我能复制自己吗”测试的研究对于其他人来说也是可靠的。
应用任务
对于您正在进行或计划进行的小型分析，请使用“决策日志模板”记录至少 5 个方法决策并附上理由。将您使用的提示、型号和日期保存在单独的文件中。然后使用“再现性审核”模板让人工智能找到流程中未记录的差距并弥补每个差距。最后，写出“人工智能使用声明”的大纲，并在方法部分放置一个透明的段落。
清单
- [ ] 我在期刊中写下了每个重要方法论决定的原因。
- [ ] 我记录了我使用的提示、型号和日期。
- [ ] 我保持原始数据不变并记录转换。
- [ ] 我在方法部分诚实地声明了AI的作用。
- [ ] 我应用了“6 个月后我可以重现吗”测试。