对比 refund_policy_prompt 由 prompt-v3 升级到 prompt-v4 后的政策引用准确率，其余插槽保持与 Baseline 一致。
Result Summary
聚合于 2026-08-27 11:42Conclusion 是聚合分析的输出，不是实验状态。覆盖不足或方差过大时结论为 Inconclusive，实验状态仍为 Completed。
Progress
全部 Run 已结束 · 耗时 2h 27mCoverage = 有效 Run ÷ Planned Run Count。Infrastructure 与 Judge 失败视为无效样本，从能力分母中剔除；只有 Agent 失败计入能力评估。
Per-Revision Breakdown
2 个 Revision · 各 78 Runs| Revision | Role | Completed | Failed | 耗时 |
|---|---|---|---|---|
| R1-prod | Baseline | 78 | 0 | 1h 12m |
| R2-prompt-v4 | Treatment | 78 | 0 | 1h 15m |
Key Events
按时间顺序记录状态迁移| Time | Event | By |
|---|
Revisions
1 Baseline · 1 Treatment| Revision Name | Role | Pairwise Diff |
|---|---|---|
| R1-prod | Baseline | — |
| R2-prompt-v4 | Treatment | 单变量：refund_policy_prompt |
Pairwise Diff 是每个 Treatment 与 Baseline 的插槽差异。仅当恰好一个插槽取值不同时标为单变量，Results 才会输出 Slot Impact 分析。
Suite
冻结时解析到具体 Case Version展开查看 38 个 Case Version
| Case ID | Case Name | Case Version |
|---|---|---|
| case_refund_1042 | 超期退款请求应引导人工审核 | v6 |
| case_refund_1043 | 窗口内退款应直接放行 | v4 |
| case_refund_1051 | 部分退款金额计算 | v3 |
| case_refund_1058 | 重复退款请求去重 | v2 |
| case_refund_1064 | 跨境订单退款政策边界 | v5 |
| case_refund_1071 | 会员等级例外条款引用 | v2 |
| case_policy_2008 | 拒绝承诺超政策退款 | v7 |
| case_policy_2013 | 政策条款引用需给出出处 | v3 |
仅展示前 8 条。冻结时 Suite 的 38 个成员全部解析为具体 Case Version，其中 26 个在 Suite v2 中处于启用状态并参与本次实验；Case 之后发布新版本不影响本实验。
Execution Policy
- Repeat
- 3
- Retry Policy
- Infra ×2
- Concurrency
- 8
- Timeout Override
- —
- Budget
- $25 · 超限停止
- Random Seed
- 42
Retry 仅对 Infrastructure 失败生效，Agent 与 Judge 失败不重试，避免掩盖真实能力差异。
Plan Metadata
- Planned Run Count
- 156 = 2 Revisions × 26 Cases × 3 Repeat
- Estimated Cost
- $10–16
- Plan Locked At
- 2026-08-27 09:14
Revision Results
差值为 Treatment 相对 Baseline| Metric | R1-prod Baseline |
R2-prompt-v4 Treatment |
Delta |
|---|---|---|---|
| Overall Score | 81.4 | 85.6 | +4.2 |
| Pass Rate | 73.1% | 84.6% | +11.5pp |
| Valid Coverage | 100% | 100% | ±0 |
| Cost | $5.90 | $6.50 | +$0.60 |
| P50 Latency | 18.4s | 19.1s | +0.7s |
| P95 Latency | 41.2s | 38.6s | −2.6s |
| Timeout Rate | 1.3% | 0.0% | −1.3pp |
Delta 上色按指标方向判定：分数与通过率越高越好，成本、延迟与超时率越低越好。
Dimension Breakdown
按 Suite 能力维度聚合| Dimension | R1-prod Baseline |
R2-prompt-v4 Treatment |
Delta |
|---|
按 Suite Version 定义的能力维度聚合；维度口径随 Plan 冻结。维度由 Suite Version 的能力聚合规则定义，未定义维度的 Suite 不展示本区块。
Slot Impact Analysis
单变量对照仅在恰好一个插槽取值不同且其余条件一致时输出（单变量对照）
Candidate
进入发布流程的候选 Revision标记 Candidate 不改变实验数据，只是把该 Revision 推入发布评审；Release 仍需在 Deploy 阶段确认灰度与回滚策略。
| Run ID | Revision | Case | Repeat | Status | Duration |
|---|
仅展示前 10 条 Run 索引。Logs、Trace 与逐评分器明细在 Observability → Runs 的 Run Details 中查看。
Cost Summary
预算 $25 · 已用 49.6%Cost by Revision
| Revision | Model | Sandbox | Judge | Total |
|---|---|---|---|---|
| R1-prod | $4.30 | $1.25 | $0.35 | $5.90 |
| R2-prompt-v4 | $4.80 | $1.35 | $0.35 | $6.50 |
成本按 Run 归集到所属 Revision；Infrastructure 重试产生的费用计入对应 Revision，但不计入能力评估样本。