qihua ab5b8eb160 refactor(llm): 重构 vLLM 推理任务处理方式，支持多任务处理 ...

- 移除任务队列和单任务处理限制
- 使用 asyncio.run_coroutine_threadsafe() 在后台线程中运行推理任务

2025-03-08 10:41:49 +08:00

..

llm_vllm.py

refactor(llm): 重构 vLLM 推理任务处理方式，支持多任务处理

2025-03-08 10:41:49 +08:00

llm.py

fix bistream extra token

2025-01-23 19:08:18 +08:00

vllm_use_cosyvoice2_model.py

初步合并vllm支持，异步推理的通道处理还存在bug

2025-03-07 20:26:19 +08:00