评测记录

capability2026-07-03

AACR-Bench × ReviewGate —— 官方评分器（语义匹配）评测 · 2026-07-03

capability2026-07-02

AACR-Bench × ReviewGate 评测汇总

other2026-07-02

ai_smell「找不到=不存在」过度自信假阳性 — 复现与修复 — 2026-07-02

capability2026-07-02

Frontier 攻坚未果：跨文件状态表征漂移（syncthing #10170）— 2026-07-02

recall2026-07-02

召回评测汇总（revert 法）— 2026-07-02

recall2026-07-02

召回评测汇总（revert 法）— 2026-07-02

improvement2026-07-01

exec-verify / run_check 修复 + 硬尾用例复核 — 2026-07-01

capability2026-06-29

前端真实 PR 验证：24 PR × 5 维 + judge（全保真）

big-pr2026-06-27

大 PR 实测：axios 847d89b(URL对象支持,9文件) + 小预算(2000tok)强制多单元

big-pr2026-06-27

大PR实测[axios-4k]: 847d89b @ 预算 4000 tok

big-pr2026-06-27

大PR实测[axios-range-16k]: HEAD~30..HEAD @ 预算 16000 tok

big-pr2026-06-27

大PR实测[curl-range-12k]: HEAD~30..HEAD @ 预算 12000 tok (dims=security,logic)

big-pr2026-06-27

大PR实测[gin-range-16k]: HEAD~80..HEAD @ 预算 16000 tok

big-pr2026-06-27

超长单文件 oversized 路径实测: axios de1a8100 @8000

big-pr2026-06-27

大PR实测[requests-6k]: f8bec2f @ 预算 6000 tok

big-pr2026-06-27

大PR实测[ripgrep-range-12k]: HEAD~40..HEAD @ 预算 12000 tok

intent2026-06-27

意图评审批量实测：10 个真实 commit（`--intent-from-commit`）

intent2026-06-27

意图评审实测：spf13/cobra#2356 —— Go 微妙切片别名 bug（含诚实局限）

intent2026-06-27

意图 / 技术评审 MVP —— 受控 A/B(ground truth)

intent2026-06-27

意图评审实测：结构化强制 → 验收清单覆盖每条标准

capability2026-06-27

生产/开源就绪验证：≥30 PR × 5 维 + 意图（汇总矩阵）

intent2026-06-27

技术评审(实现 vs 意图)可行性实证 —— 反证：静态规则通道不够

business2026-06-26

addBusinessDays 硬尾再攻关(revert #1486 周末修复 + --exec-verify + 执行推演)

language2026-06-26

干净样例 A/B：内置规则 ON vs OFF（定位误报来源）

language2026-06-26

第二轮：真正干净样例 + rules ON（期望全 PASS）

language2026-06-26

内置语言规则验证（默认开，deepseek-v4-pro）

business2026-06-26

业务 review：真实用户 issue + 修复 PR 验证

other2026-06-26

英文规则再验证(线上 main 二进制,默认全规则 ON)

other2026-06-26

实验：run_check 沙箱执行 攻克细微算术 off-by-one

improvement2026-06-26

修复建议质量（suggestion_code / --fix 可用性）

language2026-06-26

第二批语言验证(C#/Ruby/PHP/Swift/Kotlin) — 候选规则经 rules_dir 注入

language2026-06-26

第三批语言验证(scala/dart/objc/lua/perl/haskell/elixir/erlang + ruby重测) — rules_dir 注入

language2026-06-26

第四批语言验证(clojure/groovy/julia/r/ocaml/fsharp/zig/nim) + erlang/ruby干净重测

language2026-06-26

第五批语言验证(最后16种) + r/ruby trivial重测 — rules_dir 注入

language2026-06-26

收尾批：shell/powershell/vue/graphql 干净样例重测

language2026-06-26

内置语言规则：45 种全部默认开 — 最终总结

capability2026-06-26

Round 5：精度压测（干净改动的误报率）

capability2026-06-26

真实 PR revert 金标准(默认全规则 ON)：重引入真实已修复 bug,应 BLOCK/WARN

capability2026-06-26

真实 PR 金标准抽查(默认全规则 ON)：审查各仓最新真实 commit

recall2026-06-26

召回打磨复测: csharp(空catch +CS6) / terraform(TF1/TF2 加强)

other2026-06-26

Round 4：更多高价值漏洞类型（真实 handler 上下文 + --samples 3）

other2026-06-26

强触发复查(明确真bug)：perl/groovy/julia/nim 漏抓是规则弱还是样例弱?

other2026-06-25

Eval: BurntSushi/ripgrep#3195 — searcher: fix regression with `--line-buffered` flag

other2026-06-25

Eval: BurntSushi/ripgrep#3420 — ignore: scope compiled parent matchers by root

recall2026-06-25

召回(revert)：axios/axios#10750 — 还原安全修复以重新引入漏洞

summary2026-06-25

真实 PR 批量评测汇总（2026-06-25）

recall2026-06-25

召回(revert)：DaveGamble/cJSON#800 — 还原安全修复以重新引入漏洞

recall2026-06-25

Eval: 仓颉（Cangjie）植入式漏洞 — 未支持语言的优雅降级

other2026-06-25

Eval: cli/cli#13705 — Pin reusable triage workflows to a commit SHA

recall2026-06-25

召回(revert)：labstack/echo#1718 — 还原安全修复以重新引入漏洞

recall2026-06-25

召回(revert)：gradio-app/gradio#13437 — 还原安全修复以重新引入漏洞

other2026-06-25

Eval: junegunn/fzf#4739 — enhancement: move server definition into go func to allocate it in stack and reduce heap allocation

other2026-06-25

Eval: junegunn/fzf#4803 — Export FZF_CURRENT_ITEM to child processes

language2026-06-25

全语言覆盖 sweep（round 1，2026-06-25）

other2026-06-25

Eval: psf/requests#7539 — Inline pre-commit linting

recall2026-06-25

真实 CVE 召回测试（revert 法）

recall2026-06-25

Eval: 召回测试（植入式 bug）

other2026-06-25

Round 2：跨漏洞类型召回（2026-06-25）

other2026-06-25

Eval: sindresorhus/got#2454 — Fix `searchParams` setter dropping the value when a URL is set

recall2026-06-25

召回(revert)：servo/rust-smallvec#254 — 还原安全修复以重新引入漏洞

other2026-06-25

SSRF 召回改进验证（prompt 强化前后）

language2026-06-25

冷门语言覆盖（Round 3，2026-06-25）

other2026-06-25

Eval: yt-dlp/yt-dlp#16991 — [ie/niconico] Fix error detection