Evaluators/政策遵循评审
返回列表

政策遵循评审

对照参考答案与退款政策条款，评审 Agent 回答的政策引用是否准确、边界说明是否完整，输出 0–1 归一化分。

Type
LLM Judge claude-sonnet-5
Created By
陈砚舟
Created At
2026-07-30 10:12 CST
Updated At
2026-08-24 09:42 CST

01Input · Evaluator Inputs

评分需要读取的内容，分为标量参数与实体资源两类；两者均为槽位声明，具体取值在 Case 的 Evaluator Binding 中绑定。

Value Inputs

标量参数，由 Binding 提供具体取值

Resource Inputs

目录或文件，由 Binding 指向 Code Mount 或受保护资源

02Logic · Evaluation Logic

评测如何执行：脚本或提示词、启动方式、评分专用资源，以及如何取回原始结果。


              

            


            

            

              
Entry Command

              

                

              

            


            

              
Result Capture
仅 Shell / Code

              
从哪里读取原始结果（Result Source）、按什么格式解析（Result Format）、如何解读进程结局（Failure Detection）。LLM Judge 与 Rule 无需配置。

              

                

              

            

          


          

            
03Output · Evaluator Output

            
原始结果代表什么：输出类型、取值范围与通过条件。结果缺失、解析失败或超出 Score Range 一律记为 Evaluation Failed，不自动记为零分，也不计入分数聚合。