据媒体报道,学术出版业正遭受大规模低质量AI生成内容(俗称“AI slop”)的冲击。数据显示,2025年发表的学术论文中,约57%显示出可检测的大型语言模型(LLM)影响痕迹,较2023年的12%大幅攀升。此外,2025年《Nature Communications》超过12%的审稿意见完全由AI生成。鉴于在2025年每40篇有AI使用证据的论文中仅1篇正式披露,实际参与程度可能被严重低估。

IEEE研究诚信经理阿曼达·苏利奇警告,这不仅威胁科学记录,更侵蚀公众对科学体系及流程的信任。尽管存在AI使用证据并不等同于内容劣质,但估计表明,目前每年产生的大量虚假出版物中,许多由AI生成。

借鉴“氛围编程”进行实验

为测试AI伪造论文的逼真度及出版商防御机制,笔者借鉴“氛围编程”理念,尝试以最少人工输入生成虚构论文,并与《IEEE Access》主编珍妮·马尼合作模拟投稿过程。实验分为两轮:首轮测试普通人利用现成AI工具伪造论文的能力;次轮测试先进AI系统自主进行研究并撰写论文的效果。

第一轮:伪造论文与“幽灵引用”

笔者使用免费版ChatGPT和Gemini,围绕博士期间课题“光孤子”生成论文。经过约24轮提示,生成了包含摘要、方法、图表及参考文献的完整稿件。虽然文本流畅且无明显AI特征,但投稿后迅速被《IEEE Access》的自动完整性检查拦截。

检查发现,论文包含大量伪造且无法验证的参考文献(即“幽灵引用”)。STM Integrity Hub检测到12处错误,另一款检查器无法验证24篇参考文献。光孤子专家Gaetano Assanto指出,尽管写作专业,但数学内容过于密集,且摘要中缩写过多,部分物理陈述缺乏依据。

第二轮:自动化研究系统FARS

第二轮实验使用新加坡初创公司Analemma开发的自动化研究系统FARS。该系统连接计算集群,能自主执行文献搜索、实验设计及论文撰写。笔者输入简化版主题后,FARS在21分钟内生成研究提案,并于次日完成计算实验,两小时后产出可直接提交的稿件。

笔者删除了“由自动化系统生成”的披露声明并署名投稿。尽管参考文献真实,论文仍被拒稿。马尼指出,该论文过度依赖未经同行评审的预印本,且图表中存在乱码标签(如“lhewl”)及随机点等AI生成瑕疵。

同行评审濒临崩溃

实验表明,即便新手使用免费工具也能拼凑出表面合理的假论文,而更先进的AI系统则能进行看似真实的研究。IEEE出版伦理与行为总监Luigi Longobardi表示,检测工具往往滞后于AI生成技术的发展,使得本就脆弱的同行评审成为最后防线。

2022年全球处理论文超300万篇,同行评审系统已不堪重负。《IEEE Access》自2018年以来,每篇文章发出的评审邀请平均增加50%。Retraction Watch联合创始人Ivan Oransky比喻,“不发表就出局”文化是引火物,论文工厂是汽油,而AI则是助燃剂。

重塑科学信任机制

随着AI Scientist等系统在2025年被ICLR接收,自动化研究正挑战传统论文作为“知识单元”的地位。Analemma团队认为,未来将是动态连接的知识图谱,人类角色将转向关键节点的审查与价值判断。

马尼主张利用AI辅助分流任务,如匹配评审人及检测异常,但强调人类需掌控最终信任权。Longobardi建议,机构可开发基于区块链的信任标记,从源头验证研究数据及设备使用情况。马克斯·普朗克研究所及南安普顿大学已试点样本数据库及电子实验室笔记本系统,以提升透明度。

这场危机迫使科学界重新审视合法科学的定义。区分真实研究与AI伪造日益困难,建立新的信任机制已刻不容缓。