EVALUATE / EXPERIMENTS
创建 Experiment
一次有目的的 Agent 评测或对照实验。先明确目标与参与者，再固化 Suite Version 和执行策略。
关系说明：Case 是单题，Suite 是一套考卷，Agent Revision 是考生；Experiment 记录谁参加哪套评测以及结果结论，Run 是一次执行，Sandbox 只是 Run 的执行环境与追溯入口。
1基础信息
2选择 Suite
3执行策略
4预检与提交
定义这次实验
写清楚希望验证的变化，以及什么结果会支持或否定假设。
选择 Agent 与 Agent Revision
已加载 2 个 Revision参与 Revision
选择 1 个 Revision：用于基线评测或回归验收。
选择多个 Revision：用于对照比较；Baseline / Treatment / Candidate 只是本次 Experiment 内的标记，不会改变 Revision 本身。
选择多个 Revision：用于对照比较；Baseline / Treatment / Candidate 只是本次 Experiment 内的标记，不会改变 Revision 本身。
选择明确的 Suite Version
只能选择已发布的 Suite Version。提交后，本次 Experiment 使用的 Case Version 会按该版本固定。
24 个 Case Version4 个能力维度已发布 · Aug 15, 2026
Case Version 解析摘要
只读Template、initial_state、Required Judge 不在 Experiment 中选择；它们随每个 Case Version 固定，并在提交时解析为本次执行的摘要。
Case Version
24 × pinned
Template Revision
support-refund-v3
Judge
judge-policy-v2 · per Case
环境需求
按 Case 定义，执行时为需要隔离的 Run 创建 Sandbox。
执行策略
Repeat 是计划性采样；基础设施 Retry 不计入有效样本。
排队不计运行费，也不计入 Run Timeout。
只能收紧，不能放宽 Case 的安全边界。
预计成本 $46–58；达到 80% 时提示。
评测矩阵
预计 240 Runs2 Revisions × 24 Cases × 5 Repeats = 240 Runs
2参与 Revision
24Case Version
240计划 Run
需要隔离环境的 Run 会在执行时创建 Sandbox；Sandbox 不属于 Experiment 配置项。
预检与确认
Experiment
退款拒绝话术回归验收
Agent / Revisions
customer-support · R1 / R2
Suite Version
suite_af_v3 · 24 Cases
执行策略
5 Repeat · 并发 24 · Timeout ≤ 600 s · $80
提交前预检
Ready2 个 Revision 均为 Ready
Suite / Case Version 全部 Ready
Agent 权限与 Secret 可用
并发配额本周使用率高，可能排队
预计成本在预算范围内
提交后固化本次 Experiment 配置；如需调整，请克隆后重新运行。
Suite Version、参与 Revision 与执行策略会作为本次 Experiment 的只读记录保留。
Suite Version、参与 Revision 与执行策略会作为本次 Experiment 的只读记录保留。