功能简介
我们基于 Flask 实现了 Retriever 的在线服务部署,支持异步请求与远程访问,可与本地或分布式环境下的 pipeline 协同工作。部署在线retriever服务
部署流程与普通 pipeline 类似,只需执行一个专用于服务部署的 YAML 配置:retriever_url
:服务监听地址,格式为http://<host>:<port>
。- 本地部署推荐:
127.0.0.1:5112
- 远程部署推荐:
0.0.0.0:<port>
(以支持跨主机访问)
- 本地部署推荐:
后台方式
运行服务:
调用在线 retriever 服务
调用在线服务仅需在 pipeline 中使用retriever.retriever_deploy_search
工具(不再需要初始化 retriever):