5 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
qihua	b4fe05d466	docs: 添加speed_test.ipynb文件 ... - 新增 speed_test.ipynb 文件，用于测试 CosyVoice2模型的性能 - 包含测试环境配置、默认情况下的使用示例、使用 vllm 加速 LLM 推理的步骤	2025-03-08 00:41:34 +08:00
qihua	a1314e573a	chore: 新增 requirements_vllm.txt 文件，指定VLLM 模型所需的依赖	2025-03-08 00:40:17 +08:00
qihua	2fbeba50ae	refactor(llm): 移除未使用的异步推理方法 ... - 删除了 LLM 类中的 async_llm_inference 方法 - 该方法尚未使用，且再在loop_thread之外运行后会导致 vllm 崩溃，因此将其移除	2025-03-08 00:04:01 +08:00
qihua	d4d187bd8c	refactor(llm): 重构 VLLM 推理方式 ... - 新增基于队列和线程的异步推理机制 - 优化同步推理接口，使用新机制实现	2025-03-07 23:53:50 +08:00
qihua	90b666ea20	初步合并vllm支持，异步推理的通道处理还存在bug	2025-03-07 20:26:19 +08:00