收益:
- 能够使用人工智能作为起草研究问题、假设、量表选择和分析计划的思想伙伴
- 能够以统计和方法学的准确性审核对定量分析(代码/输出解释)和定性分析(主题编码草案)的支持
- 能够在使用人工智能时形成保护性反射,防止 p 值搜索、捏造统计数据和不道德的数据处理
心理学是一门系统地研究人类行为的科学,而这门科学的基础是研究。无论您是在写论文、衡量机构项目的有效性,还是准备文章;好的研究需要扎实的设计、准确的分析和诚实的解释。人工智能 (AI) 可以成为研究每个阶段的思想伙伴:锐化研究问题、提出可能的尺度、起草分析代码、用通俗易懂的语言解释统计输出、在定性数据中提出主题的初步建议。但人工智能也会在统计中产生幻觉,暗示方法论错误,最危险的是,可能会无意中为不道德行为(如 p 值狩猎)打开大门。在本单元中,您将学习如何使用人工智能作为研究中强大但受监督的助手。
人工智能在哪些方面对研究有帮助?
设计阶段:澄清研究问题,锐化假设陈述,考虑可能的变量和混杂因素(影响结果但未检验的第三个因素),提醒适当的设计。人工智能在这里是集思广益的伙伴;你决定。
定量分析:解释分析方法(例如 t 检验、方差分析、回归)何时合适,起草分析代码(例如 R 或 Python),解释统计输出。 AI编写代码,但你要对代码产生的结果的准确性和方法的适用性负责。
定性分析:访谈记录中的初始代码建议、可能的主题标题、代码本草稿。 AI给出了一个起点;研究人员增加了解释深度。
注意:人工智能不是统计学家。它可能会提出错误的测试、忽略假设、产生捏造的系数或 p 值。独立验证每个方法决策和每个数字(利用您自己的知识、统计来源或专家)。
道德红线:p-hacking 和数据处理
研究伦理最危险的陷阱之一是 p-hacking:反复改变分析、添加/删除变量或修剪数据,直到出现有意义的结果。问人工智能“我能做些什么来让我的结果有意义?”问“就是在不知不觉中陷入这个陷阱。对于这类问题,人工智能可以给出诸如“提取这个变量,看看这个子组”之类的建议;这些建议在统计上“有效”,但在科学上是欺诈性的。
同样,人工智能可能会建议“补全”不存在的数据或毫无理由地删除异常值。数据按原样进行分析;改变只能通过预定义的、透明的和合理的规则来进行。
提示:在查看数据之前写下您的分析计划(您将进行哪些测试、使用哪些变量、针对哪个假设)。使用人工智能来阐明该计划,而不是“美化”结果。预先写好的计划是针对 p-hacking 的最有力的保护。
循序渐进:人工智能驱动的安全研究流程
- 澄清问题和假设。让人工智能研究问题并使其变得更加尖锐,但你决定。
- 提前写下你的分析计划。哪个测试,哪个假设,哪个假设。让人工智能监督该计划。
- 起草代码,验证输出。让AI写代码;您运行它,独立检查结果。
- 检查假设。测试一下人工智能会跳过的假设,例如正态性和方差同质性。
- 将定性代码视为草稿。考虑AI初始的主题;自己阅读并验证数据。
- 诚实地报告。把无意义的结果也写下来;避免 p-hacking 和选择性报告。
三个迷你箱子
案例 1 — p-hacking 陷阱。当研究人员的主要假设结果并不显着(p=0.21)时,他会询问人工智能“如何使结果有意义”。 AI建议各种亚组分析和变量提取;当研究人员尝试这些时,他得到 p = 0.04。但这个结果是虚假的:如果您尝试 10 种不同的分析,其中之一将偶然显着。正确的方法:报告预定义的分析,诚实地写出无意义的结果。
情况 2 — 代码和输出注释。一名研究生想要测试两组 120 名参与者的数据之间的差异,但不熟悉统计软件。它将分析代码草稿打印给AI,运行它,并让AI解释输出。然后,他从统计来源检查 t 检验的假设并独立验证结果。人工智能缩短了学习曲线,但最终决定权在学生手中。
案例 3 — 定性编码。一名研究人员向 AI 提供 18 份匿名访谈笔录,并询问初始代码建议。 AI 会提出大约 30 个代码和 5 个主题建议。研究者以此为开端,亲自阅读所有文字记录;它添加了人工智能错过的主题,将两个错误组合的主题分开。它还使用第二个编码器检查可靠性。人工智能加强了,但解释来自于人类。
可复制的提示和模板
帮助我解决一个研究问题。我的草稿问题:[问题]。询问/建议以下内容:因自变量、可能的混杂因素、适当的研究设计。决定权在我;只需解释选项和风险,不要强迫结果。
查看我的分析计划:[计划]。评估:我选择的检验是否符合假设,我应该检查哪些假设,样本量是否足够,是否有我忽略的方法风险?提出建议以巩固计划,而不是改变结果。
用通俗易懂的语言解释以下统计输出:什么结果意味着什么,需要检查哪些假设,过度解释的风险在哪里?诚实地陈述任何不重要的结果。输出:[输出]
以下是匿名采访记录。在第一阶段,为主题编码生成可能的代码和主题建议。请记住,这些是初稿,我将阅读并验证数据;不要将其作为确定的结果来呈现。文字记录:[匿名文字记录]
弱提示/强提示
弱提示:“结果在数据中不显着,如何使 p 值显着?”
该提示调用AI建议p-hacking;即使输出在统计上“有效”,它也是科学欺诈。
强烈提示:“我之前定义的分析计划是[计划]。结果不显着(p=0.21)。我应该如何诚实地报告这一点,不显着的结果可能产生什么影响,以及我对未来的研究有何建议?”
这个提示将人工智能引向诚实的科学;他不会歪曲结果,而是从中学习。
常见错误
- 邀请参加 p-hacking。要求“让结果有意义”;这是科学欺诈。
- 应用该方法而不验证它。使用人工智能建议的测试而不检查其假设。
- 接受虚构的统计数据。不通过您自己的分析来确认 AI 给出的系数/p 值。
- 最终分析的定性代码错误。在不阅读数据的情况下报告人工智能的主题。
- 隐藏无意义的结果。选择性报告,仅报告有意义的内容。
总之
人工智能是问题锐化、分析计划审核、代码起草、输出解释和定性编码启动等研究中强大的思想合作伙伴。但他在统计和幻觉方面犯了错误;最危险的是,它可能会在不知不觉中为 p-hacking 等不道德方法打开大门。提前写出你的分析计划,独立验证每种方法和数字,检查假设,将定性代码视为草稿并自己阅读数据,诚实地报告无意义的结果。人工智能加速发展;科学诚信来自于你。
应用任务
设置一个小型研究场景(例如,按比例比较两组)。首先,在一个段落中写下你的分析计划。然后让人工智能审核这个计划,并询问是否有任何你遗漏的假设或风险。另外,让人工智能解释一个小的想象输出,并自己检查其解释是否过于自信。写一个诚实的报告句子,不要参与 P-hacking。
清单
- [ ] 我在看到数据之前就写了我的分析计划。
- [ ] 我已经独立检查了AI建议的方法的假设。
- [ ] 我用我自己的分析验证了人工智能给出的每一项统计数据。
- [ ] 我将定性代码视为初稿并自己阅读了数据。
- [ ] 我也诚实地报告了微不足道的结果。
- [ ] 我避免了 p-hacking 和选择性报告。