qihua 2fbeba50ae refactor(llm): 移除未使用的异步推理方法 ...

- 删除了 LLM 类中的 async_llm_inference 方法
- 该方法尚未使用，且再在loop_thread之外运行后会导致 vllm 崩溃，因此将其移除

2025-03-08 00:04:01 +08:00

..

llm_vllm.py

refactor(llm): 移除未使用的异步推理方法

2025-03-08 00:04:01 +08:00

llm.py

fix bistream extra token

2025-01-23 19:08:18 +08:00

vllm_use_cosyvoice2_model.py

初步合并vllm支持，异步推理的通道处理还存在bug

2025-03-07 20:26:19 +08:00