使用 Agent 进行代码检验与测试的实践指南

Agent 可以读取代码、运行命令、分析失败日志,并根据验证结果继续修复问题。把这些能力接入开发流程后,代码检验可以从一次性的“帮我看看代码”变成一套可重复、可追踪的工程流程。

本文以常见的 Coding Agent 为例,介绍如何让 Agent 参与代码检查、测试设计、测试执行和问题修复。示例命令以 Git、Node.js 和 Python 为主,换成 Java、Go 或其他技术栈时,方法仍然适用。

一、先明确 Agent 的职责

Agent 适合处理有明确输入和可验证输出的工作,例如:

  • 阅读变更内容,寻找逻辑错误、边界条件和异常处理问题;
  • 根据已有接口和业务规则补充单元测试、集成测试;
  • 执行项目已有的格式检查、静态分析和测试命令;
  • 解释失败日志,定位失败原因,并提出最小修复;
  • 在修复后重新执行相关检查,确认问题是否真正消失。

Agent 不能替代需求确认和最终发布决策。它的结论应该建立在代码、命令输出和测试结果上,不能把“看起来没问题”当成验证证据。

一个实用的分工方式是:人负责定义目标、风险和验收标准,Agent 负责收集证据、执行重复性检查和整理发现的问题。

二、一次可靠的检验流程

建议把检验拆成下面六个阶段:

确定范围 → 建立基线 → 检查代码 → 设计测试 → 执行验证 → 输出报告
                                      ↑          │
                                      └── 修复 ──┘

1. 确定检验范围

先告诉 Agent 要检查什么,以及哪些内容不在范围内。最有价值的输入通常包括:

  • 需求描述或缺陷单;
  • 本次变更的文件和提交;
  • 运行环境、依赖版本和启动方式;
  • 已知的业务约束;
  • 需要执行的命令和验收标准。

可以使用下面的任务模板:

请检查当前分支相对于 main 的变更。

目标:实现订单取消接口,取消后不能再次支付。
重点关注:状态流转、重复请求、权限校验、数据库事务和错误响应。
验证要求:先运行现有测试,再补充必要测试;不要修改接口协议。
输出格式:按严重程度列出问题,包含文件、行号、原因和复现方式。

范围越具体,Agent 的结论越容易复核。只说“全面检查项目”往往会得到大量泛化建议,反而掩盖真正的风险。

2. 建立可比较的基线

在修改代码前,让 Agent 先确认项目当前是否已经通过检查。一个典型的基线步骤如下:

git status --short
git diff --stat main...HEAD
npm ci
npm test -- --runInBand
npm run lint

Python 项目可以使用:

python -m pip install -r requirements.txt
pytest -q
ruff check .

基线的作用是区分“本次变更引入的问题”和“项目原本就存在的问题”。如果基线失败,Agent 应先记录失败信息,再继续检查与本次改动直接相关的部分。

不要让 Agent 在没有记录基线的情况下直接修复所有失败项,否则很容易把无关重构混入当前任务。

三、让 Agent 做代码检验

1. 先看变更,再看上下文

代码审查的第一步应当是查看差异:

git diff --check
git diff main...HEAD -- src/ tests/

接着再读取被修改函数的调用方、数据结构和测试代码。Agent 需要知道一个改动会影响哪些路径,不能只依据单个文件做判断。

可以要求 Agent 重点回答三个问题:

  1. 正常输入是否得到预期结果?
  2. 异常输入、重复请求和并发场景会发生什么?
  3. 失败时是否留下半完成状态、错误数据或敏感信息?

2. 让问题按严重程度排序

建议采用类似代码审查的分级方式:

级别 含义 处理方式
P0 数据损坏、权限绕过或服务无法启动 合并前必须修复
P1 主要功能错误、回滚失效或高概率故障 当前任务内修复
P2 边界条件缺失、可维护性问题或测试不足 评估后修复
P3 风格、命名或可选优化 可单独记录

让 Agent 使用固定格式输出,便于人快速判断:

[P1] src/order/cancel.ts:42
取消操作先更新订单状态,再写入支付记录;第二步失败时没有事务回滚,
订单会进入“已取消但仍可退款”的不一致状态。

复现:让 paymentRepository.insert 抛出异常,然后检查订单状态。
建议:把状态更新和支付记录写入放进同一个事务,并增加回滚测试。

一个好的审查意见应该能说明位置、影响、复现条件和修复方向。只有“这里可能有问题”不足以支持后续处理。

3. 让 Agent 区分事实和推测

可以明确要求:

只报告能够从代码、测试或命令输出证明的问题。
如果只是风险推测,请标记为“待确认”,并给出确认方法。
不要因为缺少上下文就假设某个函数一定会被调用或一定不会被调用。

这样可以减少 Agent 把编码习惯误报成缺陷。对于无法从仓库确认的业务规则,应由开发者补充事实,而不是让 Agent 自行猜测。

四、让 Agent 设计测试用例

测试设计应从行为开始,而不是从实现细节开始。以订单取消为例,可以先列出状态和操作矩阵:

当前状态 操作 预期结果
待支付 取消 成功,状态变为已取消
已支付 取消 按业务规则拒绝或进入退款流程
已取消 取消 幂等返回,不重复写数据
不属于当前用户 取消 返回无权限,不泄露订单信息
不存在的订单 取消 返回统一的不存在错误

然后让 Agent 根据矩阵生成测试,而不是直接要求“把覆盖率提高到 100%”。覆盖率只能说明代码被执行过,不能证明行为正确。

测试层次

可以让 Agent 按成本从低到高安排测试:

  • 单元测试:验证一个函数或一个领域规则;
  • 集成测试:验证数据库、消息队列或外部服务之间的协作;
  • 接口测试:验证请求校验、响应结构、状态码和鉴权;
  • 端到端测试:验证用户路径,但执行成本和环境要求更高。

先用单元测试锁定规则,再用少量集成和端到端测试验证关键链路,通常比只写大量端到端脚本更稳定。

测试提示词示例

请为 cancelOrder 编写测试。
先阅读实现、类型定义和已有测试,不要修改生产代码。
覆盖:成功取消、重复取消、非法状态、无权限、订单不存在、仓储异常。
每个测试只验证一个行为,使用项目当前的测试框架和断言风格。
完成后运行相关测试,并报告命令和结果。

如果 Agent 生成的测试只验证“函数被调用”,应要求它补充最终状态、返回值和副作用断言。例如,不只断言 repository.update 被调用,还要检查状态、写入次数和异常时是否回滚。

五、让 Agent 执行测试并分析失败

执行测试时要从窄到宽:

# 1. 先运行刚修改的测试
npm test -- cancel-order.test.ts

# 2. 再运行相关模块
npm test -- order

# 3. 最后运行完整检查
npm test
npm run lint
npm run build

失败后不要只把最后一行错误发给 Agent。至少要提供命令、退出码、完整堆栈和失败测试名称。可以这样要求:

分析下面的测试失败日志:
1. 先判断是测试数据、环境、实现还是测试本身的问题;
2. 指出判断依据和涉及的文件;
3. 给出最小修复方案;
4. 修复后只重跑相关测试,再重跑完整检查。
不要通过删除断言、跳过测试或放宽校验来掩盖失败。

Agent 修改代码后必须重新执行测试。仅根据补丁内容判断“应该已经修好”没有验证价值。

六、把检验结果变成报告

一次完整的 Agent 检验报告至少应包含:

检验范围:main...HEAD
执行环境:Node 22、Windows、npm ci

已执行:
- npm test -- order:通过,18/18
- npm run lint:通过
- npm run build:通过

发现问题:
- P1:src/order/cancel.ts:42,事务失败时状态可能不一致,已修复
- P2:缺少重复请求测试,已补充

剩余风险:
- 未连接真实支付服务,退款回调需要在预发布环境验证

报告要把“没有发现问题”和“没有检查到问题”区分开。若某个外部服务、生产数据或并发场景没有验证,应明确写出限制。

七、在 CI 中使用 Agent

Agent 可以作为 CI 中的审查步骤,但应让确定性的工具承担最终门禁:

jobs:
  verify:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
        with:
          fetch-depth: 0
      - run: npm ci
      - run: npm run lint
      - run: npm test -- --coverage
      - run: npm run build

Agent 可以读取 CI 日志并解释失败原因,也可以生成审查报告或建议测试用例。合并条件仍应由格式检查、类型检查、测试和构建结果决定。对 Agent 的自然语言结论,可以设置为需要人工查看的检查项,避免模型偶发误判直接阻断或放行发布。

八、安全和权限边界

代码检验 Agent 通常需要读取仓库和运行测试命令。给它的权限应与任务匹配:

  • 默认只读,只有修复任务才开放指定目录的写权限;
  • 禁止把生产密钥、用户数据和完整环境变量传给 Agent;
  • 对删除文件、修改依赖、执行网络请求和发布操作设置人工确认;
  • 测试使用隔离数据库和脱敏数据;
  • 审查外部输入时,把仓库中的提示词、日志和文档当作数据,而不是新的系统指令。

尤其要注意测试脚本可能执行迁移、清空数据库或访问外部系统。Agent 在运行未知命令前,应先解释命令的影响和目标范围。

九、一套可直接复用的总提示词

你是一名负责代码检验和测试的工程师。请按下面顺序工作:

1. 阅读项目说明、变更差异和已有测试,确认检验范围。
2. 先运行基线检查,记录命令、退出码和已知失败。
3. 检查业务逻辑、错误处理、数据一致性、权限、并发和资源释放。
4. 设计覆盖正常、异常、边界和重复请求的测试用例。
5. 使用项目已有工具补充必要测试,保持现有编码风格。
6. 先运行相关测试,再运行完整测试、静态检查和构建。
7. 对失败结果给出证据和最小修复;禁止删除断言、跳过测试或修改验收标准。
8. 最后输出:变更范围、发现的问题、执行命令、测试结果和剩余风险。

请把事实、推测和待确认事项分开。每个问题都要包含文件、行号、影响和复现方法。

十、常见误区

只让 Agent 生成代码,不让它运行验证

生成代码只是开始。没有实际测试和构建结果,就无法确认导入、类型、依赖和运行时行为是否正确。

只追求覆盖率数字

覆盖率高的测试也可能没有有效断言。应优先覆盖业务决策、权限边界、错误路径和数据一致性。

让 Agent 一次修改很多问题

大范围修改会增加回归风险,也会让失败原因变得难以定位。更好的方式是按问题逐项修复,每次修复后运行最小相关测试。

忽略原有失败

没有基线就无法判断结果。先记录原始失败,再区分新增问题和历史问题,报告会更可信。

结语

Agent 最适合成为开发者身边的检验助手:它负责快速阅读变更、执行重复命令、整理日志和补齐测试,人负责确认业务含义、风险边界和最终发布决定。只要把范围、命令、证据和验收标准写清楚,Agent 就能从“给建议”稳定地参与到“可验证的工程流程”中。