qihua d4d187bd8c refactor(llm): 重构 VLLM 推理方式 ...

- 新增基于队列和线程的异步推理机制
- 优化同步推理接口，使用新机制实现

2025-03-07 23:53:50 +08:00

..

llm_vllm.py

refactor(llm): 重构 VLLM 推理方式

2025-03-07 23:53:50 +08:00

llm.py

fix bistream extra token

2025-01-23 19:08:18 +08:00

vllm_use_cosyvoice2_model.py

初步合并vllm支持，异步推理的通道处理还存在bug

2025-03-07 20:26:19 +08:00