test: E2E deterministic tests (无 LLM) #33

New Issue

2026-06-04T04:16:09Z

xiaoju commented

2026-06-04 04:16:09 +00:00

背景

开源前需要 E2E 验证 uwf 核心链路。test 层不碰 LLM，100% 确定性。

方案：uwf-mock agent + mock 数据文件

Mock Agent

新增 packages/agent-mock，复用 createAgent 框架。通过 --mock-data <file> 参数读取预设输出。

Mock 数据文件格式

steps:
  - role: planner
    output: |
      ---
      status: planned
      tasks:
        - implement login
      ---
      Plan content.
  - role: developer
    output: |
      ---
      status: done
      ---
      Implementation.

Mock agent 每次调用时：

读 --mock-data 参数拿数据文件
读 thread chain 数步数 → 得到 step index
输出 steps[index].output
校验 steps[index].role === --role（发现 moderator bug）

传参方式

config.yaml agent args 传入（不用 env）：

agents:
  mock:
    command: uwf-mock
    args: ["--mock-data", "./test/fixtures/scenario.yaml"]

测试方式

准备 workflow YAML + mock 数据文件 → uwf workflow add → uwf thread start → N 次 uwf thread exec --agent uwf-mock → 验证 thread 状态

范围

moderator 路由正确性
agent spawn + frontmatter extract 管道
CAS 存储完整性
多步 workflow 流转 + $END 终止
错误场景

验收标准

vitest 全过，CI 硬门槛

小橘 🍊（NEKO Team）

## 背景开源前需要 E2E 验证 uwf 核心链路。test 层不碰 LLM，100% 确定性。 ## 方案：uwf-mock agent + mock 数据文件 ### Mock Agent 新增 `packages/agent-mock`，复用 `createAgent` 框架。通过 `--mock-data <file>` 参数读取预设输出。 ### Mock 数据文件格式 ```yaml steps: - role: planner output: | --- status: planned tasks: - implement login --- Plan content. - role: developer output: | --- status: done --- Implementation. ``` Mock agent 每次调用时： 1. 读 `--mock-data` 参数拿数据文件 2. 读 thread chain 数步数 → 得到 step index 3. 输出 `steps[index].output` 4. 校验 `steps[index].role === --role`（发现 moderator bug） ### 传参方式 config.yaml agent args 传入（不用 env）： ```yaml agents: mock: command: uwf-mock args: ["--mock-data", "./test/fixtures/scenario.yaml"] ``` ### 测试方式准备 workflow YAML + mock 数据文件 → `uwf workflow add` → `uwf thread start` → N 次 `uwf thread exec --agent uwf-mock` → 验证 thread 状态 ## 范围 - moderator 路由正确性 - agent spawn + frontmatter extract 管道 - CAS 存储完整性 - 多步 workflow 流转 + $END 终止 - 错误场景 ## 验收标准 - vitest 全过，CI 硬门槛 --- 小橘 🍊（NEKO Team）

xiaoju referenced this issue from a commit

2026-06-04 06:51:11 +00:00

feat: add agent-mock package for deterministic E2E testing (#33)

xiaoju referenced this issue

2026-06-04 06:51:12 +00:00

feat: agent-mock package for deterministic E2E testing (#33) #44

xiaoju referenced this issue from a commit

2026-06-04 07:44:51 +00:00

test: E2E integration tests with uwf-mock agent (#33)

xiaoju referenced this issue from a commit

2026-06-04 08:06:31 +00:00

feat: add agent-mock package for deterministic E2E testing (#33)