Benchmark

​

get_data

@app.tool(output="benchmark->q_ls,gt_ls")
def get_data(benchmark: Dict[str, Any]) -> Dict[str, List[Any]]

• 多格式加载：支持从本地加载 .jsonl、.json 或 .parquet 格式的评测数据集。
• 动态字段映射：利用 key_map 将原始数据中的不同列名（如 question, answer）统一映射为标准化输出键（通常为 q_ls 和 gt_ls）。
• 数据预处理：内置支持随机打乱（shuffle）与数量截断（limit）。
• Demo 里用来接收用户输入，将其视作一条数据（q_ls）。

{
  "q_ls": ["Question 1", "Question 2"],
  "gt_ls": [["Answer A1", "Answer A2"], ["Answer B"]]
}

​

参数配置

servers/benchmark/parameter.yaml

benchmark:
  name: nq
  path: data/sample_nq_10.jsonl
  key_map:
    q_ls: question
    gt_ls: golden_answers
  shuffle: false
  seed: 42
  limit: -1