人认不出 AI 写的故事
一句话:一项发表于期刊《Judgment and Decision-Making》的研究让人读 AI 与人类写的短篇小说,发现大多数人分不出两者出自谁手,而且他们对一段文字的喜好,很容易被"这是不是 AI 写的"这个标签本身带偏,而不是由文字本身决定。
核心发现
- 一场当场揭晓的猜谜:主持人 Regina Barber 和制作人 Berly McCoy 各读了一段锦鲤池题材的短篇小说开头,让客串主持人 Mary Louise Kelly(NPR All Things Considered 主持人)猜哪段是人写的。第一段辞藻华丽,把锦鲤的颜色比作"橙白黑交织的马赛克",说鱼"仿佛守望着生死的奥秘";第二段朴实具体,作者把池子里三条鱼按体型倒着起名 Kurt Russell、Goldie Hawn、Kate Hudson,还特意声明"没有预设性别"。Kelly 更喜欢第二段,也猜它是人写的——她提到"没有预设性别"这种措辞"听起来像 AI 被设定成要政治正确",但还是选择跟着自己的喜好猜。揭晓结果:她猜对了,第一段(意象堆砌的那段)出自 AI,第二段(具体、带幽默感的那段)是人写的。
- 背后的研究:这个环节取材于近期发表在《Judgment and Decision-Making》上的一系列实验,由 Villanova 大学心理与脑科学副教授 Deena Weisberg 领衔。一组实验让参与者读若干短篇小说(部分人写、部分 AI 生成)并打分,同时研究者会正确或错误地告诉参与者某篇是"人写的"还是"AI 写的";另一组实验直接给参与者一对小说(一篇人写、一篇 AI 生成),让他们指认谁是谁。
- 两个结果:大多数参与者分不清哪篇是 AI 生成、哪篇是人写的;同时,人们往往更喜欢 AI 生成的故事,尤其是当他们以为(哪怕被错误告知)那篇故事出自人类之手的时候。Kelly 追问:"所以人们嘴上说喜欢人类写作,实际喜欢的东西常常不是这么回事?"Barber 确认了这一点,并把它归入一类持续增长的研究:人对一段文字的感受,会被"这段文字有没有 AI 参与"这个先入之见左右。Kelly 当场把这个现象叫作"预期偏差"(expectation bias)。
- "分辨不出"是 LLM 变强的信号:Weisberg 说,"我可以很有把握地说,一眼就能看出什么是人写的、什么是 AI 写的,这种日子已经过去了。"她把这归因于大型语言模型这几年的显著进步。
- 绕不开的变量:篇幅:Weisberg 自己提醒,这个结果可能受限于故事篇幅——实验里的短篇都在一千字左右。McCoy 采访的其他研究者也强调,篇幅往往是能不能认出 AI 文本的关键因素。马里兰大学计算机科学助理教授 Mohit Iyyer(未参与这项研究)告诉节目组,AI 生成的内容往往比较公式化,篇幅越长,这种公式化带来的质量问题就越明显。Kelly 就此调侃:"AI 拿托尔斯泰没办法。"
- 人更喜欢 AI 故事,可能是因为它更好读:Weisberg 的解释是,AI 写的故事"行文明显,套路感强,这也符合 AI 生成文本的方式";人写的故事"更难读,更含蓄,不会用同一种方式把主题嚼碎了喂给你"。Barber 补充:某种意义上,AI 故事就是更好读的故事。研究团队已经把实验用的人写、AI 生成故事公开,供听众自行阅读判断,具体链接见节目附注,本集正文没有给出。
科学背景
这类研究说清楚的事分两层。一层是"认不认得出":当参与者面对同一篇文字、被随机告知它是人写的还是 AI 写的时,评价会跟着标签走,不跟着文字本身的实际来源走——这说明人对"AI 味"的判断很大程度上依赖先入之见,不是稳定可靠的文本线索。另一层是"喜不喜欢":当参与者被要求在一对真实的人写、AI 写故事里二选一指认时,大多数人也做不到,说明就算抛开标签偏见,单凭阅读体验反推作者身份,难度同样不小。节目里的解释指向同一个机制:AI 生成的文字往往行文流畅、逻辑清晰、主题点得明白,这种"好读"既让它更讨喜,也让它更容易被认成套路;人写的文字常常更绕、更留白,不主动替读者把结论嚼碎。
篇幅是目前公认的重要变量。节目采访的两拨人——研究团队本身,以及未参与这项研究的马里兰大学学者 Mohit Iyyer——都提到 AI 生成文本的"公式感"会随篇幅拉长逐渐暴露,一千字左右的短篇恰好落在这种破绽还不明显的区间。这意味着"人分不清 AI 与人类写作"这个结论,目前更适合理解为在短文本上大致成立,而不是一个不看篇幅的普遍结论。节目里没有涉及自动化检测软件或算法,讨论的始终是人类读者自己的判断力。
人物
- Deena Weisberg:Villanova 大学心理与脑科学副教授,这项研究的通讯作者。她认为实验结果说明大型语言模型这几年进步显著,"一眼看出谁写的"已经不再容易。
- Mohit Iyyer:马里兰大学计算机科学助理教授,未参与这项研究,是节目组就 AI 文本检测采访的外部专家,提出"AI 文本篇幅越长、公式化痕迹越明显"的判断。
- Mary Louise Kelly:NPR All Things Considered 主持人,本期客串 Short Wave 双周科学新闻综述,在锦鲤池故事猜谜环节猜对了哪段出自人类之手。
- Regina Barber / Berly McCoy:Short Wave 主持人与制作人,主持本期双周新闻综述。
细节富矿与冷知识
- 两段锦鲤池故事值得细看:AI 写的那段用的是"我母亲花园深处那方从小相伴的池塘"这类怀旧意象;人写的那段把三条鱼倒着按体型起名 Kurt Russell、Goldie Hawn、Kate Hudson(现实中 Goldie Hawn 与 Kurt Russell 是情侣,Kate Hudson 是 Goldie Hawn 的女儿),还调侃鱼可能"躲在水培的绣球花丛里"。
- Kelly 事后回忆自己当场的心理活动:她其实是被人写故事里"脑补出 Goldie Hawn 在水里游"这个画面打动才选的,不是靠分析文本特征——猜对更像是巧合,不是一套可靠的辨别方法。
- 本集是 Short Wave 双周科学新闻综述的一期,同期还讨论了一颗被观测到"吞噬恒星"的游走超大质量黑洞(距地球 7.5 亿光年,研究者 Jillian Rastinejad、Robert Stein、Priyamvada Natarajan 等人发表于《The Astrophysical Journal Letters》),以及一项发表于《Current Biology》的研究:美洲狮活动更频繁的路段,鹿撞车事故反而低 76%(原因是美洲狮改变了鹿的行为模式,不是单纯捕食减少了鹿的数量)。这两条本集未展开收录。
- 制作信息:Hannah Chinn、Juan Diego Ramirez、Jordan-Marie Smith 制作,Hannah Chinn 同时参与报道;Rebecca Ramirez 与 Patrick Jarenwattananon 编辑;Tyler Jones 事实核查;Ted Mebane 与 Kwesi Lee 音频工程。
跨域交叉
人文域《黑镜》的哲学:让你脊背发凉的,从来不是科技本身(《黑镜》的哲学,讲技术如何中介人的感受)跟本集有一处具体呼应,不是泛泛的"都谈技术":那期视频借居伊·德波"景观是一种被图像中介的社会关系"的论点,说明人对一件事的感受由中介物塑造,不是由事物本身决定;本集研究里,参与者对同一篇故事的评价会随"这是不是 AI 写的"这个标签摆动,喜好由标签决定,不是由文本本身的来源决定。两者是同一类机制在不同材料上的重现,一个用哲学理论讲科幻剧,一个用心理学实验讲短篇小说的读者反应。相似之处到此为止:黑镜那期的落点是"景观吞噬真实",本集研究的落点是人类目前还分不清 AI 与人类写作、且喜好会被认知偏差带偏,不宜过度引申成两者在论证同一件事。
science 域内暂无同类主题条目可对照,不强行挂接。
待建页面
- expectation-bias——预期偏差:人对某样东西的先验信念(比如"这是 AI 写的"这个标签),会反过来改写他对这样东西本身的感受和评价,不受实际情况影响。本集是一个具体的心理学实验案例,机制通用,后续科学类内容大概率还会用到。Deena Weisberg 领衔的这项研究本身、Mohit Iyyer 的观点,均为本集特定内容,暂不单独建页(宁缺勿滥)。
来源 · shortwave