Commit Graph
2 Commits
Author SHA1 Message Date
qihua d4d187bd8c refactor(llm): 重构 VLLM 推理方式
- 新增基于队列和线程的异步推理机制
- 优化同步推理接口,使用新机制实现
2025-03-07 23:53:50 +08:00
qihua 90b666ea20 初步合并vllm支持,异步推理的通道处理还存在bug 2025-03-07 20:26:19 +08:00