Benchmark

`get_data`

签名

@app.tool(output="benchmark->q_ls,gt_ls")
def get_data(benchmark: Dict[str, Any]) -> Dict[str, List[Any]]

功能

输出格式（JSON）

{
  "q_ls": ["Question 1", "Question 2"],
  "gt_ls": [["Answer A1", "Answer A2"], ["Answer B"]]
}

servers/benchmark/parameter.yaml

benchmark:
  name: nq
  path: data/sample_nq_10.jsonl
  key_map:
    q_ls: question
    gt_ls: golden_answers
  shuffle: false
  seed: 42
  limit: -1

参数说明：

参数	类型	说明
`name`	str	评测集名称，仅用于日志与标识（示例：`nq`）
`path`	str	数据文件路径，支持 `.jsonl`、`.json`、`.parquet`
`key_map`	dict	字段映射表，将原始字段映射为工具输出键
`key_map.q_ls`	str	问题字段名（如 `question`）
`key_map.gt_ls`	str	标准答案字段名（如 `golden_answers`，允许列表）
`shuffle`	bool	是否打乱样本顺序（默认 `false`）
`seed`	int	随机种子（`shuffle=true` 时生效）
`limit`	int	采样上限，`-1` 表示全部，正整数表示前 `limit` 条