Evaluators
Reusable, versioned scoring logic bound to Cases at evaluation time.
| Evaluator ID | Evaluator Name | Description | Type | Current Version | Created By | Updated At | Actions |
|---|---|---|---|---|---|---|---|
| eval_policy_rubric | 政策遵循评审 | 对照参考答案与退款政策条款，评审 Agent 回答的政策引用是否准确、边界说明是否完整，输出 0–1 归一化分。 | LLM Judge | v3 | 陈砚舟 | 08-24 09:42 | |
| eval_object_assertion | 对象状态断言 | 运行断言代码，逐字段比对沙箱结束状态里的业务对象与预期对象，输出通过字段占比作为分数。 | Code | v2 | 林晚晴 | 08-23 17:20 | |
| eval_refund_shell_check | 退款流程脚本校验 | 在沙箱内执行校验脚本，检查退款工单文件是否生成、状态字段是否推进到人工审核，输出通过项计数。 | Shell | v4 | 陈砚舟 | 08-22 14:05 | |
| eval_latency_budget | 响应时延预算 | 按规则条件直接判定运行时延是否在预算内：3 秒内视为通过，超出即失败，不产生中间分。 | Rule | v1 | 许照临 | 08-21 11:30 | |
| eval_answer_similarity | 参考答案相似度 | 让评审模型对照参考答案衡量语义一致性：要点覆盖、事实一致与结论一致，输出 0–1 相似度分。 | LLM Judge | v2 | 林晚晴 | 08-19 16:44 | |
| eval_draco_rubric | DRACO Rubric Judge | 面向 Deep Research Agent 的通用 Rubric 评测器。接收研究报告与任务专属 Rubric，逐条判定 MET / UNMET 并按权重聚合为 0–100 分；同一版本服务全部 DRACO Case。 | LLM Judge | v1 | 陈砚舟 | 08-28 14:30 |
No matching evaluatorsAdjust your search or clear the type filter.