EVALUATE / EXPERIMENTS / EXP-0025
EXP-0025 · 退款拒绝话术回归验收
计划 Run
240
有效 Run
232
环境失败
6
Judge 失败
2
实验目的
Completed验证 prompt v3 → v4 是否能提升退款拒绝场景的合规表达，同时不牺牲客服语气一致性。
Agent · customer-supportBaseline · R1Treatment · R2Suite · suite_af_v3
Decision 摘要
Candidate ready推荐 R2 为 Candidate。 综合能力 +6.8pp，重复方差更小，成本增加 9% 仍在预算内；2 个退化 Case 集中在话术层，建议纳入下一轮 Prompt 迭代。
实验概览
- Agent
- customer-support
- Revisions
- R1 / R2
- Suite
- suite_af_v3 · 24 Cases
- 成本
- $52.34
- 耗时
- 43 min
- 结论
- R2 → Candidate
| Revision | 综合通过率 | 合规 | 一致性 | 成本 / 有效 Case | P50 延迟 | Repeat 方差 | 角色 |
|---|---|---|---|---|---|---|---|
| R1 prompt v3 · tool v1 | 81.4% | 88% | 79% | $0.21 | 1.24 s | 0.11 | Baseline |
| R2 prompt v4 · tool v1 | 88.2% · +6.8pp | 91% · +3pp | 86% · +7pp | $0.23 · +9% | 1.31 s | 0.07 | Treatment |
单变量分析
中高证据Diff = 1，Agent Base / Contract / 其余插槽一致。以下差异可归因于该 Prompt 插槽取值变化。
合规表达+3pp
语气一致性+7pp
平均成本+9%
Decision
Baseline / Treatment / Candidate 只是 Experiment 内标记，不是新的 Revision 类型。
Candidate 标记已保存，Release 创建请求已记录。
| Case | 结果 | R1 Baseline | R2 Treatment | Evidence | |
|---|---|---|---|---|---|
| refund-017 退款拒绝 · 解释替代方案 | Improved | 3 / 5 pass | 5 / 5 pass | Judge 一致 | 展开 |
| refund-021 退款拒绝 · 高风险账户 | Regressed | 5 / 5 pass | 2 / 5 pass | 2 个 Repeat 话术越界 | — |
| refund-009 多语言拒绝 · 日语 | Conflicted | 4 / 5 pass | 3 / 5 pass | Repeat 结果不一致 | — |
| refund-023 退款接口异常 · 重试路径 | Environment Failed | — | — | Sandbox service timeout | — |
| Run ID | Revision | Case | Repeat | Sandbox | 状态 | 延迟 | 成本 | |
|---|---|---|---|---|---|---|---|---|
| RUN-01482 | R2 | refund-017 | 1 / 5 | sbx-9012 | Running | — | $0.00 | |
| RUN-01481 | R1 | refund-017 | 5 / 5 | sbx-9008 | Completed | 1.18 s | $0.21 | |
| RUN-01480 | R2 | refund-021 | 4 / 5 | sbx-9005 | Judge Failed | 1.47 s | $0.24 | |
| RUN-01479 | R1 | refund-023 | 2 / 5 | sbx-9001 | Environment Failed | 600 s | $0.08 |
提交时固化的配置
Read only- Agent
- customer-support
- Agent Revision
- R1 · Baseline
R2 · Treatment - Suite Version
- suite_af_v3 · 售后全流程 v3
- Repeat
- 5 次 / Case
- 并发
- 24 · Workspace 配额 32
- Run Timeout
- 继承 Case 定义 · ≤ 600 s
- 预算
- $80
Case Version 解析摘要
Derived, not configurable here以下内容由已固化的 Case Version 解析得到；它们不是 Experiment 的配置入口，也不会把 Sandbox 提升为 Experiment 层级的对象。
- Case Version
- 24 pinned versions
- Template Revision
- support-refund-v3
- Judge 版本
- judge-policy-v2 · per Case
- Sandbox 需求
- 按 Run 的 Case Version 定义，执行时按需创建并保留追溯记录。