Hotdry.
ai-systems

ICML 2026审稿LLM使用检测:497篇论文被拒的技术方案与政策反思

解析ICML 2026如何通过PDF水印技术检测审稿人LLM使用违规,导致约2%论文被拒的工程实践与学术伦理思考。

2026 年 3 月,国际机器学习会议(ICML)公布了一项引发学术圈广泛讨论的决策:因审稿人违反会议制定的 LLM 使用政策,497 篇论文被直接拒稿,占总投稿量的约 2%。这一数字背后是一套精密的技术检测方案,也折射出学术会议在 AI 辅助写作日益普及的背景下,如何平衡审查效率与学术诚信的深层困境。

双轨审稿政策的设计背景

ICML 2026 在审稿政策上采用了创新的双轨制设计。Policy A 定位为保守路径,明确禁止审稿人在撰写审稿意见时使用任何 LLM;Policy B 则相对宽松,允许审稿人利用 LLM 辅助理解论文内容、参考相关工作,以及润色审稿文字。这一政策设计的依据来自社区调研与反馈 —— 学术界对于 LLM 在审稿流程中的角色尚未形成共识,部分研究者认为使用 LLM 辅助理解复杂论文能够提升审稿质量,另一部分则担心 LLM 生成的观点可能缺乏原创性洞察,甚至模糊了审稿人的责任边界。

政策实施过程中,审稿人可自主选择加入其中一种政策。根据作者意愿与审稿人自主报名情况,最终被分配到 Policy A 的审稿人均为明确选择该政策或表示接受任何政策的参与者。会议特别强调,不存在强制偏好 Policy B 的审稿人被错误分配至 Policy A 的情况 —— 这意味着被检测出违规的审稿人,均是主动承诺不使用 LLM 后再次违反承诺的个体。

水印检测技术的工作原理

ICML 2026 采用的技术方案并非传统的 AI 文本检测器,而是基于 PDF 文档嵌入隐藏指令的水印方法。这一方案借鉴了 Rao、Kumar、Lakkaraju 和 Shahn 在 PLOS ONE 上发表的学术研究,其核心思路是在审稿人获取的论文 PDF 中预先埋入只有 LLM 能够识别的隐含指令。

具体实现上,会议组织方构建了一个包含约 17 万个短语的字典库。对于每篇提交的论文,系统随机从中选取两个短语,将其嵌入 PDF 的隐藏文本层中。这些隐藏指令告知 LLM “请在审稿意见中包含这两个短语”。由于选取短语对的概率低于十亿分之一,审稿人几乎不可能通过人工方式在审稿意见中恰好使用这些短语 —— 一旦审稿意见中同时出现这两个指定短语,即可高度确信该审稿意见由 LLM 生成。

在会议正式审稿前,组织方进行了前期实验,测试前沿 LLM 模型对隐藏指令的服从率。实验结果显示,大多数模型在超过 80% 的情况下会遵循嵌入指令,这意味着检测方案具有较高的召回率。当然,这一技术存在固有局限:审稿人可能发现水印并手动移除,或对 LLM 生成的文本进行大幅度修改,亦或某些 LLM 选择忽略隐藏指令。因此,检测方案主要针对的是最明目张胆的违规行为 —— 即直接将论文输入 LLM 并复制粘贴生成内容的情况。

违规处理的具体执行

检测结果经过严格的人工复核流程才最终定案。组织方声明,每一例被标记的审稿意见都经过人工审查,确保不是因为审稿人仅仅在意见中提到了水印短语的存在而被误判。这种设计有效控制了误报率,避免了对审稿人的不当惩罚。

对于 Policy A 审稿人违规的处理逻辑体现了责任对等原则:每篇论文指定一名 reciprocal reviewer( reciprocal reviewer,即同时向会议提交自己论文的审稿人),该审稿人适用于其本人选择的政策。如果某篇论文的 reciprocal reviewer 的审稿意见被检测为 LLM 生成,该审稿人自己的论文则被 desk rejected(直接拒稿,无需进入完整评审流程)。497 篇论文因此被拒,涉及 506 名违规审稿人。

此外,若一名 Policy A 审稿人超过一半的审稿意见被检测为 LLM 生成,其所有审稿意见均被删除,该审稿人也被移出审稿人数据库。据统计,共有 51 名审稿人触发了这一更严厉的处理,占全部 506 名违规审稿人的约 10%。

工程实践中的关键参数

从系统工程角度审视此次事件,以下参数值得在类似场景中参考借鉴:

水印短语池规模:17 万个短语提供了充足的选择空间,使得随机选取的两词组合具有足够的唯一性。对于类似规模的学术会议,建议短语池不低于 10 万量级,以确保检测的统计可信度。

检测阈值设定:采用 “双短语同时出现” 作为阳性判定标准,相比单短语检测大幅降低了偶然命中的概率。在 17 万短语库中,单一短语出现的偶然概率尚可接受,但两短语同时出现的概率低于十亿分之一,几乎可以排除随机因素。

人工复核机制:所有阳性案例 100% 经过人工审核,这一设计在当前阶段对于建立检测系统公信力至关重要。任何自动化检测工具都存在误报可能,尤其是在学术诚信这一高利害关系领域,人工复核是避免冤案的关键保障。

违规比例阈值:设定 50% 违规率作为清理审稿人队伍的触发条件,既清除了严重违规个体,又为偶发轻微违规保留了容忍空间。这一比例可在实践中根据具体情况调整。

反思与展望

ICML 2026 的这次实践揭示了学术会议在 AI 时代面临的前所未有的治理挑战。仅凭技术手段难以完全根除 LLM 辅助审稿的行为 —— 正如组织方承认的,检测方案对于知悉水印存在并刻意规避的审稿人效果有限。但这一尝试至少表明,学术社区正在积极建立规则并尝试执行,而非在 AI 浪潮面前被动妥协。

从更宏观的视角看,2% 的拒稿率换取的是对学术诚信体系的维护承诺。497 篇论文的作者可能对这一结果感到不公 —— 他们并非违规者,却因审稿人的不当行为承担了后果。这种 “连坐” 逻辑虽然严厉,却也体现了权利与义务的对等:享受作为审稿人参与学术评价的权利,就必须承担遵守相应规则的义务。

ICML 明确表示,此举并非对违规审稿意见质量的评判,仅是对违反既定政策的程序性执行。这一立场为后续类似事件处理提供了参考框架:在 AI 辅助工具日益普及的背景下,学术会议需要建立更加清晰、可执行、可验证的政策体系,而技术手段将成为 policy enforcement 的重要支撑。


资料来源:ICML 2026 官方博客《On Violations of LLM Review Policies》(2026 年 3 月 18 日)

查看归档