Claude Code 学术研究 Skill 实测:110 次同行评审,30 个埋好的漏洞
我们在 10 篇短稿里埋了 30 个已知漏洞,让 Claude Code 分别以原生状态、装 Imbad0202 的 academic-paper-reviewer、装 K-Dense 的 peer-review 各审三遍。三组都几乎全部找到,skill 改变的是费用、格式和开审前的流程。
概述
投稿前自查稿件,原生 Claude Code 已经能抓住教科书式的设计漏洞:30 个漏洞每个审三遍,共 90 次机会,它找出 89 次,和 Imbad0202 的 academic-paper-reviewer 打平。装 skill 换来的是审稿之外的东西。Imbad0202 这套给一封带结论的编辑信,外加从调研、写作到修改的整条流水线,每次审稿费用是原生的 2.3 倍。K-Dense 的 peer-review 把保密放在第一位,每份意见都标成工作草稿,结论留给编辑。
最要紧的三条:
- 找出的漏洞。 原生 89/90,academic-paper-reviewer 89/90,K-Dense peer-review 84/90。K-Dense 少的 6 个全部来自 2 次运行:它停在安全关口,先问目标期刊和期刊的 AI 政策,再决定打开文件。
- 费用。 每次审稿平均费用:原生 0.0041 美元,academic-paper-reviewer 0.0094 美元,peer-review 0.0060 美元。多出来的是 skill 自身的说明:输入 token 中位数从 5.9 万涨到 12.5 万和 7.5 万。
- 加载。 只说请审这篇稿时,K-Dense 的 skill 10 次里自动加载 10 次,Imbad0202 的 reviewer 10 次里 0 次。想用它就输入
/academic-paper-reviewer点名调用。
怎么测的
- 稿件。 我们自己写了 10 篇虚构短稿,每篇 96 到 157 个英文词,覆盖公共卫生、教育、机器学习、心理学、临床医学、经济学、生态学、营养学、软件工程和社会学。每篇埋 3 个漏洞,取自 14 类:用一次性问卷下因果结论,摘要和方法里的样本量互相矛盾,测了 20 个指标只有 1 个 p = 0.04,几组百分比加起来超过 100,机器学习论文在测试集上调参,按单次极端血压读数挑病人,一块田里的 60 条样线当作 60 个独立重复,统计 bug 的人知道每人分在哪组,等等。
- 分组。 原生组用空文件夹。Imbad0202/academic-research-skills 组按它的安装说明把 5 个 skill 文件夹拷进
.claude/skills/,提示词开头加/academic-paper-reviewer。K-Dense-AI/scientific-agent-skills 组同样拷入peer-review文件夹,开头加/peer-review。两个仓都取 2026 年 11 月 14 日的版本。 - 提示词。 三组完全相同:审一下 paper.md 里我自己的稿子,我是唯一作者并授权审阅,列出你找到的问题。
- 运行。 每篇每组跑三遍,每遍都是新开的
claude -p会话,Claude Code 2.1.322,加--model haiku和--setting-sources project,用户设置和钩子都排除在外,共 90 次。另有 20 次去掉斜杠命令、只用原提示词,每篇每个 skill 跑一次,看 skill 能否自己加载。token、费用和时长取自 Claude Code 的 JSON 输出。 - 评分。 审稿意见点出某个漏洞就算找到,每类漏洞一条关键词规则,比如回归均值,或者多重比较、Bonferroni、错误发现率。样本量矛盾要求两个数字出现在同一段。所有漏判都逐条人工读过。第一轮有两条规则写得太窄,分别是过度外推和基线零调参,三组一起放宽;放宽后剩下的漏判都属实。
测试结果
| 分组 | 找出漏洞 | 三个全中的审稿 | 平均每次费用 | 输入 token 中位数 | 输出 token 中位数 | 时长中位数 |
|---|---|---|---|---|---|---|
| 原生 Claude Code | 89/90 | 29/30 | 0.0041 美元 | 59,054 | 3,685 | 25 秒 |
| academic-paper-reviewer | 89/90 | 29/30 | 0.0094 美元 | 125,167 | 4,174 | 31 秒 |
| K-Dense peer-review | 84/90 | 28/30 | 0.0060 美元 | 74,839 | 4,480 | 32 秒 |
原生和 academic-paper-reviewer 各漏的那一个是同一处:咖啡那篇摘要写调查了 1,240 人,方法里是邀请 1,520 人、分析 984 人。两份意见都提了 984 和 1,520,漏掉了 1,240。
三组的差别在答案的样子:
- academic-paper-reviewer 每份意见最后都给推荐结论,多数是当前形式拒稿。它主打五位审稿人角色加一位编辑的评审团,可 30 次里全是单人审:29 次一遍审完,说稿子很短,一遍就够;1 次先列出审稿人卡片,按 skill 的确认规则停下来等用户确认。30 次里启动子 agent 的次数为 0。我们的稿子都很短,完整论文也许会触发评审团。
- K-Dense peer-review 30 份意见开头都标工作草稿,按位置、证据、要求的修改逐条列,只有 3 份给了结论,它的规则把结论留给编辑。30 次里有 2 次读了文件大小就停下,先问目标期刊和 AI 政策。在它自动加载的 10 次里,每次都审完了。
- 原生 Claude Code 写得最短,30 次里 27 次给了推荐结论。
在这批稿子上,找漏洞的能力三组已经顶格,skill 加的是结构和流程。
推荐
快速自查自己的稿子: 原生 Claude Code。把稿子存成文件,请它做一次同行评审。审稿人最先会提的设计问题它都能找出来,费用最低。
从头到尾写一篇论文: Imbad0202/academic-research-skills,11 月 14 日 56,864 星。5 个 skill 覆盖深度调研、起草、审稿、每阶段停下等你确认的流水线,以及系统综述的文献筛选。安装用 /plugin marketplace add Imbad0202/academic-research-skills,再 /plugin install academic-research-skills,审稿时点名调用 reviewer。README 写明许可是 CC BY-NC 4.0,商用要先取得作者许可。
替期刊审别人的稿: K-Dense peer-review,属于一个 57,145 星、MIT 许可、177 个科研 skill 的库。它的入口关卡先问授权、期刊政策和利益冲突,这正是编辑对用 AI 的审稿人的要求。提前备好期刊名和它的 AI 政策。
想看更多,我们的科研 skill 页收了 188 个科研类 skill。按数量排前几的是 Yuan1z0825/nature-skills(16 个,53,519 星,Nature 风格的学术写作和科研绘图)、aipoch/open-science(15 个)、K-Dense(这一类里 14 个)、wanshuiyin/Auto-claude-code-research-in-sleep(13 个,19,185 星,让机器学习研究在夜里自动循环跑)和 cookjohn/cnki-skills(10 个,知网检索、下载和导出到 Zotero)。中文论文用户可以重点看后两个和 nature-skills。
该忽略什么
- 评审团人数。 五位审稿人听上去更周全。在我们的稿子上,单人一遍已经找出 99% 的漏洞,评审团一直闲着。
- 星数排名。 前两名只差 300 星左右,干的是两件事:一个是写论文的流水线,一个是带一个审稿 skill 的科研工具箱。
- 我们的美元数字。 这是 Haiku 审约 120 词短稿的价格。9,000 词的完整论文换更大的模型,费用会高出很多倍,skill 的固定开销占比反而变小。
常见问题
Claude Code 怎么装学术研究 skill?
装成插件就运行 /plugin marketplace add Imbad0202/academic-research-skills 和 /plugin install academic-research-skills。装成普通 skill 就把每个 skill 文件夹拷进项目的 .claude/skills/,想全局用就拷进 ~/.claude/skills/。Claude Code 读每个文件夹里的 SKILL.md。
我请它审稿,为什么 reviewer skill 一直闲着?
Claude Code 按描述挑 skill。我们的会话里 K-Dense 的描述每次都被选中,Imbad0202 的 reviewer 每次都让位给直接作答。输入斜杠命令 /academic-paper-reviewer 就能按需加载。
这些 skill 能核对引用是否真实吗?
Imbad0202 有一个可选的论断核查,设 ARS_CLAIM_AUDIT=1 打开,它会抓取被引文献,逐条核对论断是否有出处支撑;README 说真实场景下的校准结果还在等。K-Dense 把引用管理做成单独的 citation-management skill。这次测的是研究设计漏洞,引用留到下一轮。
局限
稿子短、漏洞是教科书式的,所以三组都顶格;更难、更隐蔽的漏洞可能拉开差距。所有运行都用 Haiku 走 claude -p,每个 skill 自己决定启用多少机制。稿件和关键词规则都是我们写的,所有漏判都人工核对过。
自己复现
脚本是运行脚本和评分脚本。把两个 skill 仓克隆到测试文件夹旁边,从 academic-research-skills-claude-code-2026-11.json 取出 papers 数组存成测试文件夹里的 papers.json,登录 Claude Code 后运行 python3 run.py <分组> <稿件编号> <遍数>,再跑 python3 score.py。JSON 里有 10 篇稿件、每条关键词规则,以及每次运行一行:找到和漏掉的漏洞、token、费用和时长。
来源
- Imbad0202/academic-research-skills · official
- Imbad0202/academic-research-skills:安装说明 · official
- K-Dense-AI/scientific-agent-skills · official
- K-Dense-AI/scientific-agent-skills:peer-review skill · official
- Claude Code 文档:Agent Skills · official
- AgentCraft:科研类 Claude Code skill · blog