跳转到主要内容

​
reranker_init

签名 
async def reranker_init(
    model_name_or_path: str,
    backend_configs: Dict[str, Any],
    batch_size: int,
    gpu_ids: Optional[object] = None,
    backend: str = "infinity",
) -> None
功能
  • 初始化重排后端与模型

​
reranker_rerank

签名 
async def reranker_rerank(
    query_list: List[str],
    passages_list: List[List[str]],
    top_k: int = 5,
    query_instruction: str = "",
) -> Dict[str, List[Any]]
功能
  • 对候选段落进行重排：
输出格式（JSON） 
{
  "rerank_psg": [
    ["best passage for q0", "..."],
    ["best passage for q1", "..."]
  ]
}

​
参数配置

/images/yaml.svgservers/reranker/parameter.yaml
model_name_or_path: openbmb/MiniCPM-Reranker-Light
backend: sentence_transformers # options: infinity, sentence_transformers, openai
backend_configs:
  infinity:
    bettertransformer: false
    pooling_method: auto
    device: cuda
    model_warmup: false
    trust_remote_code: true
  sentence_transformers:
    device: cuda
    trust_remote_code: true
  openai:
    model_name: text-embedding-3-small
    base_url: "https://api.openai.com/v1"
    api_key: ""

gpu_ids: 0
top_k: 5
batch_size: 16
query_instruction: ""
参数说明：
参数类型说明
model_name_or_pathstr模型路径或名称（本地或 HuggingFace 仓库）
backendstr选择后端类型：infinity、sentence_transformers 或 openai
backend_configsdict各后端的专属参数设置
gpu_idsstr/int指定 GPU ID（可多卡，如 "0,1"）
top_kint返回的重排结果数
batch_sizeint每批处理的样本数量
query_instructionstr查询前缀提示，用于 prompt 工程或 query 修饰
backend_configs 详细说明：
后端参数说明
infinitydevice设备类型（cuda / cpu）
bettertransformer是否启用加速推理
pooling_method向量池化策略
model_warmup是否预热模型
trust_remote_code是否信任远程代码（HuggingFace 模型必需）
sentence_transformersdevice设备类型（cuda / cpu）
trust_remote_code是否信任远程代码
openaimodel_nameAPI 模型名称
base_urlAPI 访问地址
api_keyOpenAI API 密钥
⌘I