auto-test-code
当用户明确要求"测试代码"、"运行代码审查"或"进行代码自检"时使用。通过多轮 A 轮批判性代码审查 + B 轮代码质量原则检查,系统化发现、记录、修复程序代码中的问题,并将计划/过程/结果统一沉淀到目标代码根目录的 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/` 隔离工作区。⚠️ 不适用:用户只是想优化功能(应直接修改)、只是询问代码问题(应直接回答)、没有明确"测试代码"意图。
#code-review
Install
npx skills add https://github.com/huangwb8/skills/tree/main/skills/alpha/auto-test-code
claude plugin marketplace add https://llmmart.ai/marketplace.json && claude plugin install huangwb8-skills@llmmart
git clone https://github.com/huangwb8/skills.git
The skills CLI installs just this skill, for any of its supported agents. Claude Code installs the whole huangwb8/skills collection as a plugin from our marketplace. Git is the plain clone.
README
auto-test-code
本 README 面向使用者:如何触发并正确使用 auto-test-code skill。
执行指令与硬性规范在 SKILL.md;默认参数在 config.yaml。
用法
最推荐用法
用 auto-test-code 测试 /path/to/project,进行 2 轮 A 轮审查 + B 轮质量检查
其他常见场景
单轮快速审查
用 auto-test-code 测试 /path/to/project,只做 1 轮 A 轮审查
指定代码语言
用 auto-test-code 测试 /path/to/project,重点审查 Python 和 JavaScript 代码
指定深挖维度(全覆盖 + 重点深挖)
用 auto-test-code 测试 /path/to/project,本轮深挖并发安全和资源管理问题
设计理念
auto-test-code 是一个批判性思维驱动的代码自审查技能,核心价值在于:
- 独立评估模式:每轮审查都基于当前代码状态独立分析,避免确认偏差
- 批判性思维驱动:强制使用"刁钻角度"思考,发现深层系统性问题
- 可追溯文档:所有问题、修复、验证都固化为文档,可复现可复盘
与普通代码审查的区别:
| 维度 | 普通代码审查 | auto-test-code |
|---|---|---|
| 目标 | 发现表面问题(风格、规范) | 发现系统性问题(算法/边界/并发/安全/设计) |
| 方法 | 人工检查 + 主观判断 | 批判性思维框架 + 静态分析 + 动态推理 |
| 输出 | 口头建议 | 可追溯的文档 + 修复计划 + 验证报告 |
| 质量 | 无明确标准 | 强制数量要求(≥10 个问题)和质量门槛(P0+P1 ≥ 60%) |
功能概述
| 特性 | 说明 |
|---|---|
| 多轮 A 轮迭代 | 静态分析 → 动态推理 → 计划 → 优化 → 轻量测试(可重复 N 次) |
| 独立评估模式 | 每轮基于当前代码状态独立审查,不查看历史记录 |
| 批判性思维驱动 | 强制使用刁钻角度(空输入/超大输入/竞态条件/资源耗尽) |
| 强制质量要求 | 每轮至少 10 个问题,P0+P1 占比 ≥ 60%,系统性问题 ≥ 3 个 |
| B 轮质量检查 | 9 大维度代码质量原则检查(算法复杂度、边界覆盖、安全漏洞分类审查、设计质量等) |
| 可追溯文档 | 统一沉淀到 .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/ 隔离工作区(REVIEW/PLAN/RUN/REPORT + artifacts),可复现可复盘 |
提示词示例
示例 1:完整审查流程(推荐)
你:用 auto-test-code 测试 /path/to/project,进行 3 轮 A 轮审查 + B 轮质量检查
技能:开始执行完整审查流程...
[A 轮 #1] 发现 15 个问题(P0: 3, P1: 8, P2: 4)
[A 轮 #2] 发现 12 个问题(P0: 2, P1: 7, P2: 3)
[A 轮 #3] 发现 10 个问题(P0: 1, P1: 6, P2: 3)
[B 轮] 完成 9 维度质量检查
产出:.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/v*/(含 REVIEW/PLAN/RUN/REPORT)+ .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-v*/
示例 2:单轮快速检查
你:用 auto-test-code 测试当前目录的代码,只做 1 轮审查
技能:执行单轮 A 轮审查...
发现 18 个问题(P0: 4, P1: 10, P2: 4)
产出:.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/
示例 3:指定深挖维度(全覆盖 + 重点深挖)
你:用 auto-test-code 测试 /path/to/project,深挖并发安全和资源管理问题
技能:本轮深挖维度:并发安全性、资源管理(其余维度仍全覆盖)
刁钻角度(用于深挖):竞态条件、死锁、文件描述符泄漏、内存泄漏
发现 15 个相关问题(P0: 5, P1: 7, P2: 3)
示例 4:结合特定代码语言
你:用 auto-test-code 测试 /path/to/project,重点审查 Python 代码
技能:扫描 *.py 文件...
发现 16 个问题(P0: 3, P1: 9, P2: 4)
聚焦:Python 特有问题(GIL、动态类型、资源管理)
隔离工作区
- 每次 skill 执行都会在目标项目根目录创建
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/作为当次隔离工作区。 - 所有计划、报告、日志、辅助脚本和中间产物都只写入该工作区,避免把 skill 文件泄露到源项目其他位置。
- 运行可能产生缓存或临时文件的命令时,优先将工作目录、
TMPDIR、XDG_CACHE_HOME、PYTHONPYCACHEPREFIX等重定向到当前工作区。 - 除了用户明确要求的源码修复外,
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/之外不应新增任何 auto-test-code 相关文件。
输出文件
技能执行后会在目标代码目录下的隔离工作区生成以下文件:
{项目根目录}/
└── tmp/
└── 2026-03-10-15-30/ # 本次技能执行的隔离工作区(示例)
├── .auto-test-code-run.json # 运行清单(记录 code_root / run_id / tests_dir)
└── tests/ # 会话目录(计划/过程/结果都在同一处)
├── v202602161028/ # A 轮会话(示例)
│ ├── REVIEW.md # 批判性审查(问题清单 + 改进计划)
│ ├── TEST_PLAN.md # 测试计划
│ ├── TEST_RUN.md # 测试过程(命令、关键输出摘录、决策)
│ ├── TEST_REPORT.md # 测试结果与证据
│ ├── _artifacts/ # 中间产物
│ └── _scripts/ # 会话内辅助脚本(可选)
└── b-v202602161028/ # B 轮会话(质量检查 + 验证)
└── ...
文件说明
| 文件 | 说明 |
|---|---|
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/v*/REVIEW.md |
A 轮批判性审查(问题清单 + 改进计划) |
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-v*/REVIEW.md |
B 轮代码质量检查报告(9 大维度评估) |
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/*/TEST_PLAN.md |
测试计划,列出本轮验证的修复点 |
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/*/TEST_RUN.md |
测试过程记录(命令、关键输出摘录、关键决策) |
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/*/TEST_REPORT.md |
测试报告,包含验证结果和证据 |
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/*/_artifacts/ |
中间产物(命令输出、日志、截图等) |
配置选项
在 config.yaml 中可调整以下参数:
轮次控制
| 参数 | 默认值 | 说明 |
|---|---|---|
test_rounds.default_a_rounds |
1 | 默认 A 轮次数 |
test_rounds.max_a_rounds |
10 | 最大 A 轮次数 |
test_rounds.min_suggestions_per_round |
10 | 每轮最少问题数 |
test_rounds.target_suggestions_range |
[15, 20] | 目标问题数范围 |
test_rounds.min_p0_p1_ratio |
60 | P0+P1 最小占比(%) |
A 轮审查范围
| 参数 | 默认值 | 说明 |
|---|---|---|
a_round_check.independent_review.enabled |
true | 独立评估模式开关 |
a_round_check.independent_review.scan_patterns |
["/*.py", "/*.js", ...] | 扫描文件模式 |
a_round_check.independent_review.exclude_patterns |
["tmp/", "node_modules/", ...] | 排除目录 |
B 轮检查维度
| 参数 | 默认值 | 说明 |
|---|---|---|
b_round_check.mandatory |
true | B 轮是否强制执行 |
b_round_check.min_suggestions |
10 | B 轮最少建议数 |
b_round_check.dimensions |
[9 大维度] | 检查维度列表 |
修改方式:编辑你的安装目录下的配置(Codex: ~/.codex/skills/auto-test-code/config.yaml;Claude Code: ~/.claude/skills/auto-test-code/config.yaml)。如需对单个项目做覆盖,可在目标项目根目录创建 .auto-test-code/config.yaml(仅覆盖 directories.tmp、directories.tests 与 templates.*,脚本会做路径安全校验)。
配套脚本(可选)
技能提供辅助脚本用于创建和验证测试会话:
创建测试会话
# 在目标代码根目录内执行
RUN_ID=2026-03-10-15-30
python3 ~/.codex/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind a --id v202602161028
# 或
RUN_ID=2026-03-10-15-30
python3 ~/.claude/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind a --id v202602161028
作用:自动创建 .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/ 会话目录骨架(REVIEW/PLAN/RUN/REPORT + _artifacts/_scripts),并写入运行清单 .auto-test-code-run.json
验证测试会话
python3 ~/.codex/skills/auto-test-code/scripts/verify_session.py --require-review .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/2026-03-10-15-30/output/tests/v202602161028
# 或
python3 ~/.claude/skills/auto-test-code/scripts/verify_session.py --require-review .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/2026-03-10-15-30/output/tests/v202602161028
作用:检查会话完整性(REVIEW/PLAN/RUN/REPORT + 引用一致性);如需强制检查模板占位符是否全部替换,可加 --strict
常见问题
Q:技能没有被触发怎么办?
A:尝试用更明确的描述:
- ✅ "用 auto-test-code 测试 XXX"
- ✅ "运行 auto-test-code 对 XXX 进行代码审查"
- ❌ "帮我测试一下代码"(太模糊)
Q:A 轮和 B 轮有什么区别?
A:
- A 轮:批判性代码审查,发现具体问题(P0/P1/P2),要求每轮 ≥ 10 个问题
- B 轮:代码质量原则检查,从 9 大维度评估代码质量(算法复杂度、边界覆盖、安全漏洞分类审查、设计质量等)
Q:问题优先级 P0/P1/P2 是什么意思?
A:
| 优先级 | 含义 | 典型场景 |
|---|---|---|
| P0 | 必须修复 | 崩溃风险、安全漏洞、数据损坏、资源泄漏 |
| P1 | 强烈建议 | 性能问题、边界条件缺陷、逻辑错误 |
| P2 | 建议优化 | 代码风格、可读性、冗余代码 |
Q:如何选择 A 轮次数?
A:
| 场景 | 推荐轮次 | 理由 |
|---|---|---|
| 初次审查/代码质量较差 | 3-5 轮 | 多轮逐步发现深层问题 |
| 日常审查/代码质量较好 | 1-2 轮 | 快速检查主要问题 |
| 关键项目/上线前 | 5-10 轮 | 确保代码质量达到高标准 |
Q:什么是"独立评估模式"?
A:每轮 A 轮都基于代码的当前状态独立分析,不查看历史 .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/ 工作区中的审查文件。好处是让"多轮"带来"多角度",而非"重复确认"。
Q:如何理解"批判性思维"?
A:使用"刁钻角度"思考代码可能的问题:
- 空输入、超大输入、恶意输入会怎样?
- 并发访问时会有竞态条件吗?
- 资源耗尽时会发生什么?
- 异常抛出时资源会正确释放吗?
详见 references/CRITICAL_THINKING_FOR_CODE.md
WHICHMODEL - 模型选择最佳实践
最后更新:2026-01-25
披露信息
- 覆盖厂商:Anthropic, OpenAI(2/6 = 33%)
- 来源构成:社区 65%, 学术 20%, 官方 10%, 技术博客 5%
- 数据时效:2024-06 至 2026-01
- 局限性:未覆盖国产模型,未独立测试代码审查准确率
场景化建议
场景 1:标准代码审查(最常见)
触发条件:日常代码审查,需要发现系统性问题(算法/边界/并发/安全)
| 项目 | 建议 |
|---|---|
| 推荐模型 | Claude Sonnet 4.5 |
| 推理强度 | medium-high |
| 预期成本 | ~$0.10-0.50/轮 |
理由:
- Sonnet 在代码审查任务中表现出色,SWE-bench 得分 72.7%(接近 Opus)
- 速度更快,成本更低(4-5 倍于 Haiku,显著快于 Opus)
- 社区测试 显示 Sonnet 在多数代码任务中与 Opus 质量相当
- 内部测试 显示 Sonnet 解决 64% 编程问题 vs Opus 38%
避免:无需升级到 Opus,除非遇到极端复杂的算法分析
来源:90 天对比测试 + 官方内部数据
场景 2:复杂算法与安全审查
触发条件:
- 需要深度推理的复杂算法(如分布式系统、加密算法)
- 安全漏洞深度分析(如竞态条件、内存安全)
- 需要多步骤抽象推理的场景
| 项目 | 建议 |
|---|---|
| 推荐模型 | Claude Opus 4.5 |
| 推理强度 | high |
| 预期成本 | ~$0.30-1.50/轮 |
理由:
- Opus 在复杂推理任务中表现更优,社区反馈 称其为"复杂推理的巨大飞跃"
- 用户报告 显示 Opus 在"规划、分析和创建上下文定义"方面更强
- 90 天测试 显示 Opus 在中等投入下成本与 Sonnet 相当
避免:简单代码审查不需要 Opus,用 Sonnet 即可
来源:Reddit 社区讨论 + 90 天对比测试
场景 3:快速批量检查
触发条件:
- 需要快速审查多个文件/模块
- 成本敏感,需要高性价比
- 不需要深度推理,主要发现明显问题
| 项目 | 建议 |
|---|---|
| 推荐模型 | Claude Haiku 4.5 或 Sonnet 4.5 |
| 推理强度 | low-medium |
| 预期成本 | ~$0.02-0.20/轮 |
理由:
- Haiku 成本最低,适合快速批量检查
- 但对于批判性思维驱动的代码审查,Haiku 可能无法发现深层系统性问题
- 社区反馈 显示 Haiku 在复杂任务中可能力不从心
- 推荐:快速检查用 Haiku,但质量要求高时用 Sonnet
避免:需要发现系统性问题(算法/边界/并发)时,不要只用 Haiku
来源:社区反馈 + 官方文档
对比总结
| 模型 | 最适合 | 最不适合 | 相对成本 | 相对速度 | 推荐度 |
|---|---|---|---|---|---|
| Sonnet 4.5 | 标准代码审查(95% 场景) | 极端复杂的算法推理 | $$$ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| Opus 4.5 | 复杂算法/安全深度分析 | 简单代码审查(浪费) | \($\) | ⭐⭐ | ⭐⭐⭐ |
| Haiku 4.5 | 快速批量检查 | 批判性思维审查(深层问题) | $ | ⭐⭐⭐⭐⭐ | ⭐⭐ |
说明:
- Sonnet 覆盖 95% 的代码审查场景:大多数情况下 Sonnet 性价比最高
- Opus 用于极端复杂场景:分布式系统、加密算法、深层安全分析
- Haiku 用于快速检查:但不推荐用于需要批判性思维的系统性问题发现
通用原则
- 默认从 Sonnet 开始:95% 的代码审查任务 Sonnet 足够,无需 Opus
- 批判性思维需要强推理:auto-test-code 的核心是发现系统性问题(算法/边界/并发/安全),需要比简单工具调用更强的推理能力
- 成本敏感但质量优先:代码审查是质量问题,不能只追求低成本而牺牲审查深度
- 多轮迭代优化成本:如果需要进行多轮 A 轮审查,可考虑第 1-2 轮用 Sonnet,发现问题后用 Opus 深度分析关键问题
- Haiku 的局限性:虽然 Haiku 速度快、成本低,但 社区反馈 显示它在完成基本任务时可能遇到困难
⚠️ 争议点
Sonnet vs Opus:代码审查应该用哪个?
| 观点 | 支持者 | 理由 |
|---|---|---|
| Sonnet 够用 | 社区多数意见 | Sonnet 在代码审查中表现接近 Opus,但速度快、成本低 |
| Opus 必要 | 部分开发者 | Opus 在复杂推理和深层问题发现上仍有优势 |
数据支持:
- 90 天对比测试:Opus 在中等投入下成本与 Sonnet 相当
- 官方内部测试:Sonnet 解决 64% 编程问题 vs Opus 38%(实际场景)
- SWE-bench 得分:Sonnet 72.7%,接近 Opus 水平
建议:
- 默认使用 Sonnet:性价比最高,覆盖 95% 代码审查场景
- 仅在以下情况升级 Opus:
- 需要分析复杂算法(如分布式系统、加密算法)
- 需要深度安全分析(如竞态条件、内存安全)
- Sonnet 无法发现的深层系统性问题
- 关键项目上线前的最终审查
更新记录
- 2026-01-25:首次调研,覆盖 Anthropic/OpenAI
- 建议:2026-07 重新调研(6 个月后)
来源链接
官方文档:
社区讨论:
- Claude Opus 4.5 is insane (Reddit)
- Opus or nothing for 90% of tasks (Reddit)
- Tested GPT-5.1, Gemini 3, and Claude Opus 4.5 (Reddit)
对比测试:
- 90-Day Claude Code Decision Framework
- Claude Sonnet 4 Vs Opus 4.1: Which Model To Use For Coding
- Claude 3.5 Sonnet vs. Opus: the fastest sprinter or the deepest thinker?
学术研究:
- Enhancing Software Code Vulnerability Detection Using GPT-4o and Claude-3.5 Sonnet
- Assessing the Quality and Security of AI-Generated Code
更多文档
SKILL.md— 技能执行指令与硬性规范config.yaml— 可配置参数references/— 详细策略与参考文档CRITICAL_THINKING_FOR_CODE.md— 批判性思维框架(核心)A_ROUND_REVIEW_TEMPLATE.md— A 轮审查报告结构CODE_SMELLS.md— 代码异味识别指南SECURITY_PATTERNS.md— 安全漏洞模式库SECURITY_TAXONOMY.md— 安全漏洞分类审查体系BOUNDARY_CHECKLIST.md— 边界条件检查清单
Skill manifest
auto-test-code(批判性思维驱动的代码自审查技能)
目标
当用户明确要求"测试代码"、"运行代码审查"或"进行代码自检"时使用。通过多轮 A 轮批判性代码审查 + B 轮代码质量原则检查,系统化发现、记录、修复程序代码中的问题,并将计划/过程/结果统一沉淀到目标代码根目录的 .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/ 隔离工作区。⚠️ 不适用:用户只是想优化功能(应直接修改)、只是询问代码问题(应直接回答)、没有明确"测试代码"意图。
流程
输入
输入为待审查的代码项目根目录;可选输入包括用户指定的 A 轮次数、运行 ID、测试/审查参数、配置文件和排除目录。必须覆盖核心源代码、配置/构建脚本及测试代码,并排除 tmp/、依赖和缓存目录;触发与不适用边界以本 Skill 的 ## 目标 为准。
执行步骤
工作流程
隔离工作区硬规则
- 每次 skill 执行开始时,必须先在目标项目根目录创建当次专用工作区:
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/。 - 所有由 skill 生成的计划、报告、日志、辅助脚本与中间产物,只能写入当前
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/工作区内。 - 运行可能产生缓存或临时文件的命令时,优先将工作目录、
TMPDIR、XDG_CACHE_HOME、PYTHONPYCACHEPREFIX等重定向到当前.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/工作区。 - 除了用户明确要求的源码修复外,不得把 skill 相关文件写到
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/之外的位置,以免污染源软件项目。
概览
用户输入(目标代码路径)
↓
[A轮 × N]:静态分析 → 动态推理 → 安全分类审查 → 计划 → 优化 → 轻量测试
↓
B轮:代码质量原则检查 → 针对性优化 → 轻量验证
↓
完成(文档齐全 + 问题闭环)
A 轮代码审查(可重复 N 次)
A.1 初始化会话(生成测试 ID + 目录)
目标:创建本轮的 .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/ 会话骨架(计划/过程/结果都在同一目录)。
推荐使用确定性脚本:
# 在目标代码根目录内执行(选择你实际的安装路径)
RUN_ID=YYYY-MM-DD-HH-MM
python3 ~/.codex/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind a --id vYYYYMMDDHHMM
# 或
RUN_ID=YYYY-MM-DD-HH-MM
python3 ~/.claude/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind a --id vYYYYMMDDHHMM
最低要求:
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/存在.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/REVIEW.md、TEST_PLAN.md、TEST_RUN.md、TEST_REPORT.md和_artifacts/存在
A.2 批判性分析与计划生成(写入 `.bensz-api/task-
目标:使用批判性思维发现代码中的系统性问题,写成可执行计划,按 P0/P1/P2 排序。
输出:.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/REVIEW.md
⚠️ 批判性思维是核心要求:
- 必须使用「刁钻角度」思考(详见
references/CRITICAL_THINKING_FOR_CODE.md) - 必须发现至少 3 个系统性问题(算法设计/边界条件/并发安全/内存安全/安全漏洞/设计质量)
- 禁止列出"不痛不痒"的表面问题(如"缺少注释"等 P2 级别问题不应占多数)
质量要求(强制):
- 每轮至少发现 10 个问题(P0 + P1 + P2 总和)
- 鼓励达到 15-20 个问题
- P0 + P1 占比必须 ≥ 60%
- 系统性问题 ≥ 3 个(算法/边界/并发/内存/安全/架构/设计)
核心要求:
- 独立评估原则(强制):
- 每轮 A 轮必须基于目标代码的当前工作状态独立分析
- 不查看历史
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/工作区中的审查文件 - 每轮都是一次完整的、无偏见的系统性审查
- 审查范围(强制):
- 必须审查:核心源代码文件(以
config.yaml:a_round_check.independent_review.scan_patterns为准) - 必须审查:配置文件、构建脚本、测试代码
- 必须审查:核心源代码文件(以
- 排除范围:
tmp/等 skill 产物目录,以及node_modules/、venv/、__pycache__/等依赖/缓存目录;目标项目的测试代码仍属于必须审查范围 - 全维度覆盖(强制):每轮必须覆盖所有审查维度(以
config.yaml:a_round_check.dimensions为准);不得以“本轮不聚焦”为由跳过任何维度 - 深挖维度(可选):可在全覆盖基础上额外指定 1-2 个深挖维度,对该维度使用刁钻角度做更细致分析;多轮时建议轮换深挖点
- 刁钻角度:在深挖维度上必须使用至少一个刁钻角度(空输入/超大输入/恶意输入/竞态条件/资源耗尽/权限绕过/供应链污染)
- 优先级依据:P0/P1/P2 必须有明确的判定标准
- P0: 崩溃风险、可利用安全漏洞、未授权访问、敏感信息泄露、数据损坏、死锁/活锁、内存泄漏
- P1: 性能问题、边界条件缺陷、逻辑错误、资源泄漏、需要前置条件或组合利用的安全风险
- P2: 代码风格、可读性、冗余代码
- 可追溯性:每个问题必须包含位置、现象、影响、修复建议、验证方法
批判性思维框架(必读):
references/CRITICAL_THINKING_FOR_CODE.md⚠️ 核心文档,必须使用- 框架 1: 静态分析视角(算法设计/数据结构/代码复杂度/设计质量)
- 框架 2: 动态推理视角(边界条件/异常处理/资源管理)
- 框架 3: 问题质量标准(黄金公式 + 质量检查清单)
- 框架 4: 设计质量视角(架构/扩展性/API/状态/建模/耦合/模式)
- 框架 5: 安全漏洞分类视角(CWE/OWASP/STRIDE/七大王国/CVSS)
references/A_ROUND_REVIEW_TEMPLATE.md⚠️ 代码审查计划模板references/CODE_SMELLS.md代码异味识别指南references/SECURITY_PATTERNS.md安全漏洞模式库references/SECURITY_TAXONOMY.md安全漏洞分类审查体系(必须用于安全维度)references/DESIGN_ANTI_PATTERNS.md设计反模式识别指南
A.3 执行优化与轻量测试(写入 `.bensz-api/task-
目标:按计划逐项修复,并用轻量测试验证。
输出:
- 过程:
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/TEST_RUN.md - 结果:
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/TEST_REPORT.md
轻量测试原则:
- 只验证"核心路径"与"本轮变更点"
- 每条结论必须有可复现证据(命令输出、日志、对比结果)
- 中间产物放入
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/_artifacts/
可选增强:
python3 ~/.codex/skills/auto-test-code/scripts/verify_session.py --require-review .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM
# 或
python3 ~/.claude/skills/auto-test-code/scripts/verify_session.py --require-review .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM
说明:verify_session.py --strict 仅用于你已将会话文档中的模板占位符全部替换后的最终自检;新建骨架默认会失败(属于预期行为)。
A.4 是否进入下一轮
⚠️ 强制检查:
- 本轮已提出至少 10 个问题(P0 + P1 + P2 总和)
进入下一轮 A 轮的条件:
- 用户指定的轮次数未完成
- 本轮问题(P0/P1/P2)已全部闭环
重要:A 轮结束后,必须进入 B 轮代码质量检查。
B 轮代码质量检查
⚠️ 强制执行:B 轮代码质量检查是自动测试流程的强制性环节。
B.1 产出质量检查报告(写入 `.bensz-api/task-
目标:对 A 轮后的最新代码做系统性质量检查。
输出:.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-vYYYYMMDDHHMM/REVIEW.md
推荐使用确定性脚本创建 B 轮会话目录:
# 在目标代码根目录内执行(选择你实际的安装路径)
RUN_ID=YYYY-MM-DD-HH-MM
python3 ~/.codex/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind b --id vYYYYMMDDHHMM --a-test-id vYYYYMMDDHHMM
# 或
RUN_ID=YYYY-MM-DD-HH-MM
python3 ~/.claude/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind b --id vYYYYMMDDHHMM --a-test-id vYYYYMMDDHHMM
检查维度(以 config.yaml 的 b_round_check.dimensions 为准):
- 算法复杂度分析
- 边界条件覆盖
- 异常处理完整性
- 资源管理(内存/文件/连接)
- 并发安全性
- 安全漏洞分类审查(CWE/OWASP/STRIDE/七大王国/CVSS)
- 代码可读性与可维护性
- 测试覆盖充分性
- 设计质量(可扩展性/架构/API/状态/建模/耦合/模式)
模板:templates/B_ROUND_CODE_QUALITY_TEMPLATE.md
B.2 B 轮优化与验证(写入 `.bensz-api/task-
⚠️ 强制修复要求:
- B 轮发现的 所有 P0-P2 问题都必须处理
- P0 问题必须修复
- P1 问题必须修复(除非有合理理由)
- 每个修复必须有验证证据
完成条件:
- P0 问题修复率 = 100%
- P1 问题修复率 ≥ 80%
- 所有修复都有可复现证据
可复用资源
- 配置:
config.yaml - 模板:
templates/- A 轮审查:
templates/CODE_REVIEW_TEMPLATE.md - B 轮质量检查:
templates/B_ROUND_CODE_QUALITY_TEMPLATE.md - 测试计划:
templates/SESSION_TEST_PLAN_TEMPLATE.md - 测试过程:
templates/SESSION_TEST_RUN_TEMPLATE.md - 测试报告:
templates/SESSION_TEST_REPORT_TEMPLATE.md
- A 轮审查:
- 参考:
references/- 批判性思维指南:
references/CRITICAL_THINKING_FOR_CODE.md⚠️ - A 轮审查结构:
references/A_ROUND_REVIEW_TEMPLATE.md⚠️ - 代码异味识别:
references/CODE_SMELLS.md - 安全漏洞模式:
references/SECURITY_PATTERNS.md - 安全漏洞分类审查体系:
references/SECURITY_TAXONOMY.md⚠️ - 边界条件检查清单:
references/BOUNDARY_CHECKLIST.md - 设计反模式识别:
references/DESIGN_ANTI_PATTERNS.md
- 批判性思维指南:
- 辅助脚本:
scripts/create_session.py - 辅助脚本:
scripts/verify_session.py
输出
交付物
本技能的审查结论和验证证据必须落盘到目标代码项目的隔离工作区中,形成可追溯、可复核、后续可接续的会话文件。
默认交付根目录为 .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/;实际目录以 config.yaml 中的 directories.tmp 和 directories.tests 为准。
每个 A 轮或 B 轮会话目录都必须包含同一组文件:
REVIEW.md:审查报告。A 轮记录批判性代码审查的问题清单与改进计划;B 轮记录代码质量原则检查结果。TEST_PLAN.md:测试计划,说明本轮要验证的修复点、核心路径和预期证据。TEST_RUN.md:测试过程记录,包含实际执行的命令、关键输出摘录和关键决策。TEST_REPORT.md:测试结果报告,包含结论、证据、遗留问题和后续建议。_artifacts/:中间产物目录,用于保存命令输出、日志、截图、对比结果等证据。
输出管理
BenszAPI 任务工作区
目录与命名规范
- 运行工作区:
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/,同一次技能执行的所有 A/B 轮必须复用同一个run_id。 - 会话 ID:
vYYYYMMDDHHMM,使用分钟级时间戳。 - A 轮会话目录:
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/。 - B 轮会话目录:
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-vYYYYMMDDHHMM/,即在同类会话 ID 前增加b-前缀。 - 兼容旧目录:
verify_session.py可识别历史目录名tests/B轮-vYYYYMMDDHHMM/;新建目录必须使用.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-vYYYYMMDDHHMM/。 - 废弃目录:
reviews/不再创建、不再写入;如目标项目中存在旧的reviews/,只视为历史遗留并在审查时排除。
校验
完成条件(验收)
- 用户指定的 A 轮次数已完成
- B 轮代码质量检查已完成
- 每轮 A 轮平均问题数量 ≥ 10 个
- 每轮 P0 + P1 占比 ≥ 60%
- 每轮系统性问题 ≥ 3 个(算法/边界/并发/内存/安全/设计)
- 关键问题(P0/P1)已闭环
-
.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/会话结构完整且可追溯(每轮都有REVIEW.md、TEST_PLAN.md、TEST_RUN.md、TEST_REPORT.md和_artifacts/)
失败与恢复
会话脚本、测试命令或依赖失败时,保留 TEST_RUN.md、日志和 _artifacts/ 中的命令输出,标记当前轮次未完成并报告可复现命令;修复后可在同一 run_id 的会话目录重试。目标路径越界、输入缺失或无法安全判断时停止,不把失败或不确定结果写成通过。
约束
公共硬约束
本块由 docs/templates/skill-common-constraints.md 统一维护;每个 SKILL.md 的 ## 约束 必须逐字同步本块,不得在副本中改写公共规则。
- 任务需要落盘时,使用唯一的
./.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/根目录;共享材料放入shared/,Skill 专属材料放入该 Skill 的input/、output/、log/。 - 正式交付物、源代码和正式计划按项目约定保存,不写入任务工作区;未经授权不覆盖、删除、迁移或远程写入。
- 项目维护变更检查 BAC 可用性并记录需求、AI 产出、工具结果、文件改动和验证摘要;BAC 只做过程审计,不替代署名、责任或合规判断。
- 不记录 API Key、访问令牌、密码、Cookie、环境/凭据文件、私有 Prompt、身份信息、本地用户名、主机名或不必要的大体积原始数据。
- 文件路径必须规范化并限制在授权项目范围内;外部 URL、子进程和网络访问遵循最小权限,防止路径遍历、SSRF 和命令注入。
- Skill 版本唯一记录在自身
config.yaml:skill_info.version;公开 API、协议、目录或配置变更同步文档与CHANGELOG.md。 bensz-collect-bugs是一个 Agent Skill;仅将 Bensz Agent Skill 或 Bensz 基础设施本身的设计缺陷交给它。先脱敏写入~/.bensz-skills/bugs/,当前任务不中断,只有用户明确要求才公开上报,禁止直接修改用户已安装的 Skill 源码。
Files (skills)
-
references
-
A_ROUND_REVIEW_TEMPLATE.md 4.4 KB
Loading… -
BOUNDARY_CHECKLIST.md 6.1 KB
Loading… -
CODE_SMELLS.md 5.5 KB
Loading… -
CRITICAL_THINKING_FOR_CODE.md 15.8 KB
Loading… -
DESIGN_ANTI_PATTERNS.md 11 KB
Loading… -
SECURITY_PATTERNS.md 6.1 KB
Loading… -
SECURITY_TAXONOMY.md 9.4 KB
Loading…
-
-
scripts
-
create_session.py 18.6 KB
Loading… -
verify_session.py 13.4 KB
Loading…
-
-
templates
-
B_ROUND_CODE_QUALITY_TEMPLATE.md 12.1 KB
Loading… -
CODE_REVIEW_TEMPLATE.md 3 KB
Loading… -
SESSION_TEST_PLAN_TEMPLATE.md 955 B
Loading… -
SESSION_TEST_REPORT_TEMPLATE.md 1.1 KB
Loading… -
SESSION_TEST_RUN_TEMPLATE.md 667 B
Loading…
-
-
CHANGELOG.md 4.2 KB
Loading… -
config.yaml 6.7 KB
Loading… -
README.md 19.5 KB
# auto-test-code 本 README 面向**使用者**:如何触发并正确使用 `auto-test-code` skill。 执行指令与硬性规范在 `SKILL.md`;默认参数在 `config.yaml`。 --- ## 用法 ### 最推荐用法 ``` 用 auto-test-code 测试 /path/to/project,进行 2 轮 A 轮审查 + B 轮质量检查 ``` ### 其他常见场景 #### 单轮快速审查 ``` 用 auto-test-code 测试 /path/to/project,只做 1 轮 A 轮审查 ``` #### 指定代码语言 ``` 用 auto-test-code 测试 /path/to/project,重点审查 Python 和 JavaScript 代码 ``` #### 指定深挖维度(全覆盖 + 重点深挖) ``` 用 auto-test-code 测试 /path/to/project,本轮深挖并发安全和资源管理问题 ``` --- ## 设计理念 `auto-test-code` 是一个**批判性思维驱动的代码自审查技能**,核心价值在于: - **独立评估模式**:每轮审查都基于当前代码状态独立分析,避免确认偏差 - **批判性思维驱动**:强制使用"刁钻角度"思考,发现深层系统性问题 - **可追溯文档**:所有问题、修复、验证都固化为文档,可复现可复盘 **与普通代码审查的区别**: | 维度 | 普通代码审查 | auto-test-code | |------|-------------|----------------| | 目标 | 发现表面问题(风格、规范) | 发现系统性问题(算法/边界/并发/安全/设计) | | 方法 | 人工检查 + 主观判断 | 批判性思维框架 + 静态分析 + 动态推理 | | 输出 | 口头建议 | 可追溯的文档 + 修复计划 + 验证报告 | | 质量 | 无明确标准 | 强制数量要求(≥10 个问题)和质量门槛(P0+P1 ≥ 60%) | --- ## 功能概述 | 特性 | 说明 | |------|------| | **多轮 A 轮迭代** | 静态分析 → 动态推理 → 计划 → 优化 → 轻量测试(可重复 N 次) | | **独立评估模式** | 每轮基于当前代码状态独立审查,不查看历史记录 | | **批判性思维驱动** | 强制使用刁钻角度(空输入/超大输入/竞态条件/资源耗尽) | | **强制质量要求** | 每轮至少 10 个问题,P0+P1 占比 ≥ 60%,系统性问题 ≥ 3 个 | | **B 轮质量检查** | 9 大维度代码质量原则检查(算法复杂度、边界覆盖、安全漏洞分类审查、设计质量等) | | **可追溯文档** | 统一沉淀到 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/` 隔离工作区(REVIEW/PLAN/RUN/REPORT + artifacts),可复现可复盘 | --- ## 提示词示例 ### 示例 1:完整审查流程(推荐) ``` 你:用 auto-test-code 测试 /path/to/project,进行 3 轮 A 轮审查 + B 轮质量检查 技能:开始执行完整审查流程... [A 轮 #1] 发现 15 个问题(P0: 3, P1: 8, P2: 4) [A 轮 #2] 发现 12 个问题(P0: 2, P1: 7, P2: 3) [A 轮 #3] 发现 10 个问题(P0: 1, P1: 6, P2: 3) [B 轮] 完成 9 维度质量检查 产出:.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/v*/(含 REVIEW/PLAN/RUN/REPORT)+ .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-v*/ ``` ### 示例 2:单轮快速检查 ``` 你:用 auto-test-code 测试当前目录的代码,只做 1 轮审查 技能:执行单轮 A 轮审查... 发现 18 个问题(P0: 4, P1: 10, P2: 4) 产出:.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/ ``` ### 示例 3:指定深挖维度(全覆盖 + 重点深挖) ``` 你:用 auto-test-code 测试 /path/to/project,深挖并发安全和资源管理问题 技能:本轮深挖维度:并发安全性、资源管理(其余维度仍全覆盖) 刁钻角度(用于深挖):竞态条件、死锁、文件描述符泄漏、内存泄漏 发现 15 个相关问题(P0: 5, P1: 7, P2: 3) ``` ### 示例 4:结合特定代码语言 ``` 你:用 auto-test-code 测试 /path/to/project,重点审查 Python 代码 技能:扫描 *.py 文件... 发现 16 个问题(P0: 3, P1: 9, P2: 4) 聚焦:Python 特有问题(GIL、动态类型、资源管理) ``` --- ## 隔离工作区 - 每次 skill 执行都会在目标项目根目录创建 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/` 作为当次隔离工作区。 - 所有计划、报告、日志、辅助脚本和中间产物都只写入该工作区,避免把 skill 文件泄露到源项目其他位置。 - 运行可能产生缓存或临时文件的命令时,优先将工作目录、`TMPDIR`、`XDG_CACHE_HOME`、`PYTHONPYCACHEPREFIX` 等重定向到当前工作区。 - 除了用户明确要求的源码修复外,`.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/` 之外不应新增任何 auto-test-code 相关文件。 --- ## 输出文件 技能执行后会在目标代码目录下的隔离工作区生成以下文件: ``` {项目根目录}/ └── tmp/ └── 2026-03-10-15-30/ # 本次技能执行的隔离工作区(示例) ├── .auto-test-code-run.json # 运行清单(记录 code_root / run_id / tests_dir) └── tests/ # 会话目录(计划/过程/结果都在同一处) ├── v202602161028/ # A 轮会话(示例) │ ├── REVIEW.md # 批判性审查(问题清单 + 改进计划) │ ├── TEST_PLAN.md # 测试计划 │ ├── TEST_RUN.md # 测试过程(命令、关键输出摘录、决策) │ ├── TEST_REPORT.md # 测试结果与证据 │ ├── _artifacts/ # 中间产物 │ └── _scripts/ # 会话内辅助脚本(可选) └── b-v202602161028/ # B 轮会话(质量检查 + 验证) └── ... ``` ### 文件说明 | 文件 | 说明 | |------|------| | `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/v*/REVIEW.md` | A 轮批判性审查(问题清单 + 改进计划) | | `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-v*/REVIEW.md` | B 轮代码质量检查报告(9 大维度评估) | | `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/*/TEST_PLAN.md` | 测试计划,列出本轮验证的修复点 | | `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/*/TEST_RUN.md` | 测试过程记录(命令、关键输出摘录、关键决策) | | `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/*/TEST_REPORT.md` | 测试报告,包含验证结果和证据 | | `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/*/_artifacts/` | 中间产物(命令输出、日志、截图等) | --- ## 配置选项 在 `config.yaml` 中可调整以下参数: ### 轮次控制 | 参数 | 默认值 | 说明 | |------|--------|------| | `test_rounds.default_a_rounds` | 1 | 默认 A 轮次数 | | `test_rounds.max_a_rounds` | 10 | 最大 A 轮次数 | | `test_rounds.min_suggestions_per_round` | 10 | 每轮最少问题数 | | `test_rounds.target_suggestions_range` | [15, 20] | 目标问题数范围 | | `test_rounds.min_p0_p1_ratio` | 60 | P0+P1 最小占比(%) | ### A 轮审查范围 | 参数 | 默认值 | 说明 | |------|--------|------| | `a_round_check.independent_review.enabled` | true | 独立评估模式开关 | | `a_round_check.independent_review.scan_patterns` | ["**/*.py", "**/*.js", ...] | 扫描文件模式 | | `a_round_check.independent_review.exclude_patterns` | ["tmp/**", "node_modules/**", ...] | 排除目录 | ### B 轮检查维度 | 参数 | 默认值 | 说明 | |------|--------|------| | `b_round_check.mandatory` | true | B 轮是否强制执行 | | `b_round_check.min_suggestions` | 10 | B 轮最少建议数 | | `b_round_check.dimensions` | [9 大维度] | 检查维度列表 | **修改方式**:编辑你的安装目录下的配置(Codex: `~/.codex/skills/auto-test-code/config.yaml`;Claude Code: `~/.claude/skills/auto-test-code/config.yaml`)。如需对单个项目做覆盖,可在目标项目根目录创建 `.auto-test-code/config.yaml`(仅覆盖 `directories.tmp`、`directories.tests` 与 `templates.*`,脚本会做路径安全校验)。 --- ## 配套脚本(可选) 技能提供辅助脚本用于创建和验证测试会话: ### 创建测试会话 ```bash # 在目标代码根目录内执行 RUN_ID=2026-03-10-15-30 python3 ~/.codex/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind a --id v202602161028 # 或 RUN_ID=2026-03-10-15-30 python3 ~/.claude/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind a --id v202602161028 ``` **作用**:自动创建 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/` 会话目录骨架(REVIEW/PLAN/RUN/REPORT + _artifacts/_scripts),并写入运行清单 `.auto-test-code-run.json` ### 验证测试会话 ```bash python3 ~/.codex/skills/auto-test-code/scripts/verify_session.py --require-review .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/2026-03-10-15-30/output/tests/v202602161028 # 或 python3 ~/.claude/skills/auto-test-code/scripts/verify_session.py --require-review .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/2026-03-10-15-30/output/tests/v202602161028 ``` **作用**:检查会话完整性(REVIEW/PLAN/RUN/REPORT + 引用一致性);如需强制检查模板占位符是否全部替换,可加 `--strict` --- ## 常见问题 ### Q:技能没有被触发怎么办? A:尝试用更明确的描述: - ✅ "用 auto-test-code 测试 XXX" - ✅ "运行 auto-test-code 对 XXX 进行代码审查" - ❌ "帮我测试一下代码"(太模糊) ### Q:A 轮和 B 轮有什么区别? A: - **A 轮**:批判性代码审查,发现具体问题(P0/P1/P2),要求每轮 ≥ 10 个问题 - **B 轮**:代码质量原则检查,从 9 大维度评估代码质量(算法复杂度、边界覆盖、安全漏洞分类审查、设计质量等) ### Q:问题优先级 P0/P1/P2 是什么意思? A: | 优先级 | 含义 | 典型场景 | |--------|------|----------| | **P0** | 必须修复 | 崩溃风险、安全漏洞、数据损坏、资源泄漏 | | **P1** | 强烈建议 | 性能问题、边界条件缺陷、逻辑错误 | | **P2** | 建议优化 | 代码风格、可读性、冗余代码 | ### Q:如何选择 A 轮次数? A: | 场景 | 推荐轮次 | 理由 | |------|---------|------| | 初次审查/代码质量较差 | 3-5 轮 | 多轮逐步发现深层问题 | | 日常审查/代码质量较好 | 1-2 轮 | 快速检查主要问题 | | 关键项目/上线前 | 5-10 轮 | 确保代码质量达到高标准 | ### Q:什么是"独立评估模式"? A:每轮 A 轮都基于代码的**当前状态**独立分析,不查看历史 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/` 工作区中的审查文件。好处是让"多轮"带来"多角度",而非"重复确认"。 ### Q:如何理解"批判性思维"? A:使用"刁钻角度"思考代码可能的问题: - 空输入、超大输入、恶意输入会怎样? - 并发访问时会有竞态条件吗? - 资源耗尽时会发生什么? - 异常抛出时资源会正确释放吗? 详见 `references/CRITICAL_THINKING_FOR_CODE.md` --- ## WHICHMODEL - 模型选择最佳实践 **最后更新**:2026-01-25 ### 披露信息 - **覆盖厂商**:Anthropic, OpenAI(2/6 = 33%) - **来源构成**:社区 65%, 学术 20%, 官方 10%, 技术博客 5% - **数据时效**:2024-06 至 2026-01 - **局限性**:未覆盖国产模型,未独立测试代码审查准确率 --- ### 场景化建议 #### 场景 1:标准代码审查(最常见) **触发条件**:日常代码审查,需要发现系统性问题(算法/边界/并发/安全) | 项目 | 建议 | |------|------| | **推荐模型** | Claude Sonnet 4.5 | | **推理强度** | medium-high | | **预期成本** | ~$0.10-0.50/轮 | **理由**: - Sonnet 在代码审查任务中表现出色,SWE-bench 得分 72.7%(接近 Opus) - 速度更快,成本更低(4-5 倍于 Haiku,显著快于 Opus) - [社区测试](https://alirezarezvani.medium.com/claude-opus-4-5-vs-sonnet-i-tested-both-for-90-days-in-claude-code-bb4976923e3a) 显示 Sonnet 在多数代码任务中与 Opus 质量相当 - [内部测试](https://spartner.software/blog/claude-sonnet-vs-opus-which-one-do-you-choose) 显示 Sonnet 解决 64% 编程问题 vs Opus 38% **避免**:无需升级到 Opus,除非遇到极端复杂的算法分析 **来源**:90 天对比测试 + 官方内部数据 --- #### 场景 2:复杂算法与安全审查 **触发条件**: - 需要深度推理的复杂算法(如分布式系统、加密算法) - 安全漏洞深度分析(如竞态条件、内存安全) - 需要多步骤抽象推理的场景 | 项目 | 建议 | |------|------| | **推荐模型** | Claude Opus 4.5 | | **推理强度** | high | | **预期成本** | ~$0.30-1.50/轮 | **理由**: - Opus 在复杂推理任务中表现更优,[社区反馈](https://www.reddit.com/r/ClaudeAI/comments/1por062/claude_opus_45_is_insane_and_it_ruined_other/) 称其为"复杂推理的巨大飞跃" - [用户报告](https://www.reddit.com/r/ClaudeAI/comments/1lqnqn6/anyone_else_in_the_mindset_of_its_opus_or_nothing/) 显示 Opus 在"规划、分析和创建上下文定义"方面更强 - [90 天测试](https://alirezarezvani.medium.com/claude-opus-4-5-vs-sonnet-i-tested-both-for-90-days-in-claude-code-bb4976923e3a) 显示 Opus 在中等投入下成本与 Sonnet 相当 **避免**:简单代码审查不需要 Opus,用 Sonnet 即可 **来源**:Reddit 社区讨论 + 90 天对比测试 --- #### 场景 3:快速批量检查 **触发条件**: - 需要快速审查多个文件/模块 - 成本敏感,需要高性价比 - 不需要深度推理,主要发现明显问题 | 项目 | 建议 | |------|------| | **推荐模型** | Claude Haiku 4.5 或 Sonnet 4.5 | | **推理强度** | low-medium | | **预期成本** | ~$0.02-0.20/轮 | **理由**: - Haiku 成本最低,适合快速批量检查 - 但对于批判性思维驱动的代码审查,Haiku 可能无法发现深层系统性问题 - [社区反馈](https://www.reddit.com/r/ClaudeAI/comments/1o856eb/tested_haiku_45_it_is_fast_but_cant_complete/) 显示 Haiku 在复杂任务中可能力不从心 - **推荐**:快速检查用 Haiku,但质量要求高时用 Sonnet **避免**:需要发现系统性问题(算法/边界/并发)时,不要只用 Haiku **来源**:社区反馈 + 官方文档 --- ### 对比总结 | 模型 | 最适合 | 最不适合 | 相对成本 | 相对速度 | 推荐度 | |------|-------|---------|---------|---------|-------| | **Sonnet 4.5** | 标准代码审查(95% 场景) | 极端复杂的算法推理 | $$$ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | | **Opus 4.5** | 复杂算法/安全深度分析 | 简单代码审查(浪费) | $$$$$ | ⭐⭐ | ⭐⭐⭐ | | **Haiku 4.5** | 快速批量检查 | 批判性思维审查(深层问题) | $ | ⭐⭐⭐⭐⭐ | ⭐⭐ | **说明**: - **Sonnet 覆盖 95% 的代码审查场景**:大多数情况下 Sonnet 性价比最高 - **Opus 用于极端复杂场景**:分布式系统、加密算法、深层安全分析 - **Haiku 用于快速检查**:但不推荐用于需要批判性思维的系统性问题发现 --- ### 通用原则 1. **默认从 Sonnet 开始**:95% 的代码审查任务 Sonnet 足够,无需 Opus 2. **批判性思维需要强推理**:auto-test-code 的核心是发现系统性问题(算法/边界/并发/安全),需要比简单工具调用更强的推理能力 3. **成本敏感但质量优先**:代码审查是质量问题,不能只追求低成本而牺牲审查深度 4. **多轮迭代优化成本**:如果需要进行多轮 A 轮审查,可考虑第 1-2 轮用 Sonnet,发现问题后用 Opus 深度分析关键问题 5. **Haiku 的局限性**:虽然 Haiku 速度快、成本低,但 [社区反馈](https://www.reddit.com/r/ClaudeAI/comments/1o856eb/tested_haiku_45_it_is_fast-but-cant-complete/) 显示它在完成基本任务时可能遇到困难 --- ### ⚠️ 争议点 #### Sonnet vs Opus:代码审查应该用哪个? | 观点 | 支持者 | 理由 | |------|-------|------| | **Sonnet 够用** | 社区多数意见 | Sonnet 在代码审查中表现接近 Opus,但速度快、成本低 | | **Opus 必要** | 部分开发者 | Opus 在复杂推理和深层问题发现上仍有优势 | **数据支持**: - [90 天对比测试](https://alirezarezvani.medium.com/claude-opus-4-5-vs-sonnet-i-tested-both-for-90-days-in-claude-code-bb4976923e3a):Opus 在中等投入下成本与 Sonnet 相当 - [官方内部测试](https://spartner.software/blog/claude-sonnet-vs-opus-which-one-do-you-choose):Sonnet 解决 64% 编程问题 vs Opus 38%(实际场景) - [SWE-bench 得分](https://labs.adaline.ai/p/claude-4):Sonnet 72.7%,接近 Opus 水平 **建议**: - **默认使用 Sonnet**:性价比最高,覆盖 95% 代码审查场景 - **仅在以下情况升级 Opus**: - 需要分析复杂算法(如分布式系统、加密算法) - 需要深度安全分析(如竞态条件、内存安全) - Sonnet 无法发现的深层系统性问题 - 关键项目上线前的最终审查 --- ### 更新记录 - 2026-01-25:首次调研,覆盖 Anthropic/OpenAI - 建议:2026-07 重新调研(6 个月后) --- ### 来源链接 **官方文档**: - [Choosing the right model](https://platform.claude.com/docs/en/about-claude/models/choosing-a-model) - [Claude Opus 4.5 vs Sonnet 4.5: Full Report](https://www.datastudios.org/post/claude-opus-4-5-vs-claude-sonnet-4-5-full-report-and-comparison-of-features-performance-pricing-a) **社区讨论**: - [Claude Opus 4.5 is insane (Reddit)](https://www.reddit.com/r/ClaudeAI/comments/1por062/claude_opus_45_is_insane_and_it_ruined_other/) - [Opus or nothing for 90% of tasks (Reddit)](https://www.reddit.com/r/ClaudeAI/comments/1lqnqn6/anyone_else_in_the_mindset_of_its_opus_or_nothing/) - [Tested GPT-5.1, Gemini 3, and Claude Opus 4.5 (Reddit)](https://www.reddit.com/r/ClaudeAI/comments/1pd83la/tested_gpt51_gemini_3_and_claude_opus_45_on/) **对比测试**: - [90-Day Claude Code Decision Framework](https://alirezarezvani.medium.com/claude-opus-4-5-vs-sonnet-i-tested-both-for-90-days-in-claude-code-bb4976923e3a) - [Claude Sonnet 4 Vs Opus 4.1: Which Model To Use For Coding](https://labs.adaline.ai/p/claude-4) - [Claude 3.5 Sonnet vs. Opus: the fastest sprinter or the deepest thinker?](https://spartner.software/blog/claude-sonnet-vs-opus-which-one-do-you-choose) **学术研究**: - [Enhancing Software Code Vulnerability Detection Using GPT-4o and Claude-3.5 Sonnet](https://www.mdpi.com/2079-9292/13/13/2657) - [Assessing the Quality and Security of AI-Generated Code](https://arxiv.org/html/2508.14727v1) --- ## 更多文档 - `SKILL.md` — 技能执行指令与硬性规范 - `config.yaml` — 可配置参数 - `references/` — 详细策略与参考文档 - `CRITICAL_THINKING_FOR_CODE.md` — 批判性思维框架(核心) - `A_ROUND_REVIEW_TEMPLATE.md` — A 轮审查报告结构 - `CODE_SMELLS.md` — 代码异味识别指南 - `SECURITY_PATTERNS.md` — 安全漏洞模式库 - `SECURITY_TAXONOMY.md` — 安全漏洞分类审查体系 - `BOUNDARY_CHECKLIST.md` — 边界条件检查清单 -
SKILL.md 16.5 KB
--- name: auto-test-code category: normal description: 当用户明确要求测试代码、代码审查或代码自检时使用。系统化发现并验证代码问题。⚠️ 不适用:用户只是想实现或优化功能、询问代码问题,或没有明确测试意图。 metadata: author: Bensz Conan short-description: 批判性思维驱动的代码自审查与优化流水线(多轮 A 轮静态/动态/安全分析 + B 轮代码质量原则检查) keywords: - auto-test-code - 代码审查 - code review - 静态分析 - 安全漏洞审查 - 代码自检 --- # auto-test-code(批判性思维驱动的代码自审查技能) ## 目标 当用户明确要求"测试代码"、"运行代码审查"或"进行代码自检"时使用。通过多轮 A 轮批判性代码审查 + B 轮代码质量原则检查,系统化发现、记录、修复程序代码中的问题,并将计划/过程/结果统一沉淀到目标代码根目录的 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/` 隔离工作区。⚠️ 不适用:用户只是想优化功能(应直接修改)、只是询问代码问题(应直接回答)、没有明确"测试代码"意图。 ## 流程 ### 输入 输入为待审查的代码项目根目录;可选输入包括用户指定的 A 轮次数、运行 ID、测试/审查参数、配置文件和排除目录。必须覆盖核心源代码、配置/构建脚本及测试代码,并排除 `tmp/`、依赖和缓存目录;触发与不适用边界以本 Skill 的 `## 目标` 为准。 ### 执行步骤 #### 工作流程 ##### 隔离工作区硬规则 - 每次 skill 执行开始时,必须先在目标项目根目录创建当次专用工作区:`.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/`。 - 所有由 skill 生成的计划、报告、日志、辅助脚本与中间产物,**只能**写入当前 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/` 工作区内。 - 运行可能产生缓存或临时文件的命令时,优先将工作目录、`TMPDIR`、`XDG_CACHE_HOME`、`PYTHONPYCACHEPREFIX` 等重定向到当前 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/` 工作区。 - 除了用户明确要求的源码修复外,不得把 skill 相关文件写到 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/` 之外的位置,以免污染源软件项目。 ##### 概览 ``` 用户输入(目标代码路径) ↓ [A轮 × N]:静态分析 → 动态推理 → 安全分类审查 → 计划 → 优化 → 轻量测试 ↓ B轮:代码质量原则检查 → 针对性优化 → 轻量验证 ↓ 完成(文档齐全 + 问题闭环) ``` ##### A 轮代码审查(可重复 N 次) ###### A.1 初始化会话(生成测试 ID + 目录) 目标:创建本轮的 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/` 会话骨架(计划/过程/结果都在同一目录)。 推荐使用确定性脚本: ```bash # 在目标代码根目录内执行(选择你实际的安装路径) RUN_ID=YYYY-MM-DD-HH-MM python3 ~/.codex/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind a --id vYYYYMMDDHHMM # 或 RUN_ID=YYYY-MM-DD-HH-MM python3 ~/.claude/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind a --id vYYYYMMDDHHMM ``` 最低要求: - `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/` 存在 - `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/REVIEW.md`、`TEST_PLAN.md`、`TEST_RUN.md`、`TEST_REPORT.md` 和 `_artifacts/` 存在 ###### A.2 批判性分析与计划生成(写入 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/` 会话目录) 目标:使用**批判性思维**发现代码中的系统性问题,写成可执行计划,按 P0/P1/P2 排序。 输出:`.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/REVIEW.md` ⚠️ **批判性思维是核心要求**: - **必须使用「刁钻角度」思考**(详见 `references/CRITICAL_THINKING_FOR_CODE.md`) - **必须发现至少 3 个系统性问题**(算法设计/边界条件/并发安全/内存安全/安全漏洞/设计质量) - **禁止列出"不痛不痒"的表面问题**(如"缺少注释"等 P2 级别问题不应占多数) **质量要求**(强制): - 每轮至少发现 10 个问题(P0 + P1 + P2 总和) - 鼓励达到 15-20 个问题 - **P0 + P1 占比必须 ≥ 60%** - **系统性问题 ≥ 3 个**(算法/边界/并发/内存/安全/架构/设计) **核心要求**: - **独立评估原则**(强制): - 每轮 A 轮必须基于目标代码的**当前工作状态**独立分析 - **不查看**历史 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/` 工作区中的审查文件 - 每轮都是一次完整的、无偏见的系统性审查 - **审查范围**(强制): - 必须审查:核心源代码文件(以 `config.yaml:a_round_check.independent_review.scan_patterns` 为准) - 必须审查:配置文件、构建脚本、测试代码 - 排除范围:`tmp/` 等 skill 产物目录,以及 `node_modules/`、`venv/`、`__pycache__/` 等依赖/缓存目录;目标项目的测试代码仍属于必须审查范围 - **全维度覆盖**(强制):每轮必须覆盖所有审查维度(以 `config.yaml:a_round_check.dimensions` 为准);不得以“本轮不聚焦”为由跳过任何维度 - **深挖维度**(可选):可在全覆盖基础上额外指定 1-2 个**深挖维度**,对该维度使用刁钻角度做更细致分析;多轮时建议轮换深挖点 - **刁钻角度**:在深挖维度上必须使用至少一个刁钻角度(空输入/超大输入/恶意输入/竞态条件/资源耗尽/权限绕过/供应链污染) - **优先级依据**:P0/P1/P2 必须有明确的判定标准 - P0: 崩溃风险、可利用安全漏洞、未授权访问、敏感信息泄露、数据损坏、死锁/活锁、内存泄漏 - P1: 性能问题、边界条件缺陷、逻辑错误、资源泄漏、需要前置条件或组合利用的安全风险 - P2: 代码风格、可读性、冗余代码 - **可追溯性**:每个问题必须包含位置、现象、影响、修复建议、验证方法 **批判性思维框架**(必读): - `references/CRITICAL_THINKING_FOR_CODE.md` ⚠️ **核心文档,必须使用** - 框架 1: 静态分析视角(算法设计/数据结构/代码复杂度/设计质量) - 框架 2: 动态推理视角(边界条件/异常处理/资源管理) - 框架 3: 问题质量标准(黄金公式 + 质量检查清单) - 框架 4: 设计质量视角(架构/扩展性/API/状态/建模/耦合/模式) - 框架 5: 安全漏洞分类视角(CWE/OWASP/STRIDE/七大王国/CVSS) - `references/A_ROUND_REVIEW_TEMPLATE.md` ⚠️ 代码审查计划模板 - `references/CODE_SMELLS.md` 代码异味识别指南 - `references/SECURITY_PATTERNS.md` 安全漏洞模式库 - `references/SECURITY_TAXONOMY.md` 安全漏洞分类审查体系(必须用于安全维度) - `references/DESIGN_ANTI_PATTERNS.md` 设计反模式识别指南 ###### A.3 执行优化与轻量测试(写入 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/`) 目标:按计划逐项修复,并用轻量测试验证。 输出: - 过程:`.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/TEST_RUN.md` - 结果:`.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/TEST_REPORT.md` 轻量测试原则: - 只验证"核心路径"与"本轮变更点" - 每条结论必须有可复现证据(命令输出、日志、对比结果) - 中间产物放入 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/_artifacts/` 可选增强: ```bash python3 ~/.codex/skills/auto-test-code/scripts/verify_session.py --require-review .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM # 或 python3 ~/.claude/skills/auto-test-code/scripts/verify_session.py --require-review .bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM ``` 说明:`verify_session.py --strict` 仅用于你已将会话文档中的模板占位符全部替换后的最终自检;新建骨架默认会失败(属于预期行为)。 ###### A.4 是否进入下一轮 ⚠️ **强制检查**: - [ ] 本轮已提出至少 10 个问题(P0 + P1 + P2 总和) **进入下一轮 A 轮的条件**: - [ ] 用户指定的轮次数未完成 - [ ] 本轮问题(P0/P1/P2)已全部闭环 **重要**:A 轮结束后,必须进入 B 轮代码质量检查。 ##### B 轮代码质量检查 ⚠️ **强制执行**:B 轮代码质量检查是自动测试流程的强制性环节。 ###### B.1 产出质量检查报告(写入 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/` 会话目录) 目标:对 A 轮后的最新代码做系统性质量检查。 输出:`.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-vYYYYMMDDHHMM/REVIEW.md` 推荐使用确定性脚本创建 B 轮会话目录: ```bash # 在目标代码根目录内执行(选择你实际的安装路径) RUN_ID=YYYY-MM-DD-HH-MM python3 ~/.codex/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind b --id vYYYYMMDDHHMM --a-test-id vYYYYMMDDHHMM # 或 RUN_ID=YYYY-MM-DD-HH-MM python3 ~/.claude/skills/auto-test-code/scripts/create_session.py --code-root . --run-id "$RUN_ID" --kind b --id vYYYYMMDDHHMM --a-test-id vYYYYMMDDHHMM ``` 检查维度(以 `config.yaml` 的 `b_round_check.dimensions` 为准): - 算法复杂度分析 - 边界条件覆盖 - 异常处理完整性 - 资源管理(内存/文件/连接) - 并发安全性 - 安全漏洞分类审查(CWE/OWASP/STRIDE/七大王国/CVSS) - 代码可读性与可维护性 - 测试覆盖充分性 - 设计质量(可扩展性/架构/API/状态/建模/耦合/模式) 模板:`templates/B_ROUND_CODE_QUALITY_TEMPLATE.md` ###### B.2 B 轮优化与验证(写入 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/`) ⚠️ **强制修复要求**: - B 轮发现的 **所有 P0-P2 问题都必须处理** - P0 问题必须修复 - P1 问题必须修复(除非有合理理由) - 每个修复必须有验证证据 **完成条件**: - [ ] P0 问题修复率 = 100% - [ ] P1 问题修复率 ≥ 80% - [ ] 所有修复都有可复现证据 #### 可复用资源 - 配置:`config.yaml` - 模板:`templates/` - A 轮审查:`templates/CODE_REVIEW_TEMPLATE.md` - B 轮质量检查:`templates/B_ROUND_CODE_QUALITY_TEMPLATE.md` - 测试计划:`templates/SESSION_TEST_PLAN_TEMPLATE.md` - 测试过程:`templates/SESSION_TEST_RUN_TEMPLATE.md` - 测试报告:`templates/SESSION_TEST_REPORT_TEMPLATE.md` - 参考:`references/` - **批判性思维指南**:`references/CRITICAL_THINKING_FOR_CODE.md` ⚠️ - A 轮审查结构:`references/A_ROUND_REVIEW_TEMPLATE.md` ⚠️ - 代码异味识别:`references/CODE_SMELLS.md` - 安全漏洞模式:`references/SECURITY_PATTERNS.md` - 安全漏洞分类审查体系:`references/SECURITY_TAXONOMY.md` ⚠️ - 边界条件检查清单:`references/BOUNDARY_CHECKLIST.md` - 设计反模式识别:`references/DESIGN_ANTI_PATTERNS.md` - 辅助脚本:`scripts/create_session.py` - 辅助脚本:`scripts/verify_session.py` ### 输出 #### 交付物 本技能的审查结论和验证证据必须落盘到目标代码项目的隔离工作区中,形成可追溯、可复核、后续可接续的会话文件。 默认交付根目录为 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/`;实际目录以 `config.yaml` 中的 `directories.tmp` 和 `directories.tests` 为准。 每个 A 轮或 B 轮会话目录都必须包含同一组文件: - `REVIEW.md`:审查报告。A 轮记录批判性代码审查的问题清单与改进计划;B 轮记录代码质量原则检查结果。 - `TEST_PLAN.md`:测试计划,说明本轮要验证的修复点、核心路径和预期证据。 - `TEST_RUN.md`:测试过程记录,包含实际执行的命令、关键输出摘录和关键决策。 - `TEST_REPORT.md`:测试结果报告,包含结论、证据、遗留问题和后续建议。 - `_artifacts/`:中间产物目录,用于保存命令输出、日志、截图、对比结果等证据。 ### 输出管理 #### BenszAPI 任务工作区 #### 目录与命名规范 - 运行工作区:`.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/`,同一次技能执行的所有 A/B 轮必须复用同一个 `run_id`。 - 会话 ID:`vYYYYMMDDHHMM`,使用分钟级时间戳。 - A 轮会话目录:`.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/vYYYYMMDDHHMM/`。 - B 轮会话目录:`.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-vYYYYMMDDHHMM/`,即在同类会话 ID 前增加 `b-` 前缀。 - 兼容旧目录:`verify_session.py` 可识别历史目录名 `tests/B轮-vYYYYMMDDHHMM/`;新建目录必须使用 `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/b-vYYYYMMDDHHMM/`。 - 废弃目录:`reviews/` 不再创建、不再写入;如目标项目中存在旧的 `reviews/`,只视为历史遗留并在审查时排除。 ### 校验 #### 完成条件(验收) - [ ] 用户指定的 A 轮次数已完成 - [ ] B 轮代码质量检查已完成 - [ ] 每轮 A 轮平均问题数量 ≥ 10 个 - [ ] **每轮 P0 + P1 占比 ≥ 60%** - [ ] **每轮系统性问题 ≥ 3 个**(算法/边界/并发/内存/安全/设计) - [ ] 关键问题(P0/P1)已闭环 - [ ] `.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/auto-test-code/{yyyy-mm-dd-hh-mm}/output/tests/` 会话结构完整且可追溯(每轮都有 `REVIEW.md`、`TEST_PLAN.md`、`TEST_RUN.md`、`TEST_REPORT.md` 和 `_artifacts/`) ### 失败与恢复 会话脚本、测试命令或依赖失败时,保留 `TEST_RUN.md`、日志和 `_artifacts/` 中的命令输出,标记当前轮次未完成并报告可复现命令;修复后可在同一 `run_id` 的会话目录重试。目标路径越界、输入缺失或无法安全判断时停止,不把失败或不确定结果写成通过。 ## 约束 <!-- BEGIN COMMON CONSTRAINTS --> <!-- Source-Hash: sha256:15120201e9e0c7569517261d57ecefb63ac279c26ed13876f8e95b6dc35854d3 --> <!-- Template-ID: skill-common-constraints; Template-Version: 1; Sync-Policy: exact-block --> ### 公共硬约束 本块由 `docs/templates/skill-common-constraints.md` 统一维护;每个 `SKILL.md` 的 `## 约束` 必须逐字同步本块,不得在副本中改写公共规则。 - 任务需要落盘时,使用唯一的 `./.bensz-api/task-{yyyymmdd-hhmm}-{简短描述}/` 根目录;共享材料放入 `shared/`,Skill 专属材料放入该 Skill 的 `input/`、`output/`、`log/`。 - 正式交付物、源代码和正式计划按项目约定保存,不写入任务工作区;未经授权不覆盖、删除、迁移或远程写入。 - 项目维护变更检查 BAC 可用性并记录需求、AI 产出、工具结果、文件改动和验证摘要;BAC 只做过程审计,不替代署名、责任或合规判断。 - 不记录 API Key、访问令牌、密码、Cookie、环境/凭据文件、私有 Prompt、身份信息、本地用户名、主机名或不必要的大体积原始数据。 - 文件路径必须规范化并限制在授权项目范围内;外部 URL、子进程和网络访问遵循最小权限,防止路径遍历、SSRF 和命令注入。 - Skill 版本唯一记录在自身 `config.yaml:skill_info.version`;公开 API、协议、目录或配置变更同步文档与 `CHANGELOG.md`。 - `bensz-collect-bugs` 是一个 Agent Skill;仅将 Bensz Agent Skill 或 Bensz 基础设施本身的设计缺陷交给它。先脱敏写入 `~/.bensz-skills/bugs/`,当前任务不中断,只有用户明确要求才公开上报,禁止直接修改用户已安装的 Skill 源码。 <!-- End of canonical common constraints. --> <!-- END COMMON CONSTRAINTS -->
Comments (0)
Sign in to join the conversation.
Reviews (0)
No reviews yet.
No comments yet.