23 Commits

Author	SHA1	Message	Date
雾聪	96950745a6	Revert "mv AsyncLLMEngine init to CosyVoice2" ... This reverts commit 9b3f351496.	2025-03-21 16:17:35 +08:00
雾聪	9b3f351496	mv AsyncLLMEngine init to CosyVoice2	2025-03-21 10:24:04 +08:00
qihua	c0f6a474f3	fix(async_cosyvoice): 恢复原本文本令牌处理逻辑 ... - 在 Frontend 中，恢复原本逐个生成文本令牌 - 在 Model 类中，移除了不必要的日志信息和断言，简化了文本令牌的处理流程	2025-03-08 16:03:35 +08:00
qihua	ab5b8eb160	refactor(llm): 重构 vLLM 推理任务处理方式，支持多任务处理 ... - 移除任务队列和单任务处理限制 - 使用 asyncio.run_coroutine_threadsafe() 在后台线程中运行推理任务	2025-03-08 10:41:49 +08:00
qihua	a1314e573a	chore: 新增 requirements_vllm.txt 文件，指定VLLM 模型所需的依赖	2025-03-08 00:40:17 +08:00
qihua	2fbeba50ae	refactor(llm): 移除未使用的异步推理方法 ... - 删除了 LLM 类中的 async_llm_inference 方法 - 该方法尚未使用，且再在loop_thread之外运行后会导致 vllm 崩溃，因此将其移除	2025-03-08 00:04:01 +08:00
qihua	d4d187bd8c	refactor(llm): 重构 VLLM 推理方式 ... - 新增基于队列和线程的异步推理机制 - 优化同步推理接口，使用新机制实现	2025-03-07 23:53:50 +08:00
qihua	90b666ea20	初步合并vllm支持，异步推理的通道处理还存在bug	2025-03-07 20:26:19 +08:00
huzetao.hzt	69518b2bde	fix bistream extra token	2025-01-23 19:08:18 +08:00
lyuxiang.lx	07e477519b	add llm bistream	2025-01-23 10:12:06 +08:00
lyuxiang.lx	77d8cf13a3	update	2025-01-02 10:55:59 +08:00
lyuxiang.lx	d3b1a8e352	update	2024-12-30 17:40:39 +08:00
lyuxiang.lx	3581caec76	fix lint	2024-12-16 10:37:10 +08:00
lyuxiang.lx	cde3cec6fa	add qwen lm	2024-12-10 14:50:20 +08:00
lyuxiang.lx	16d66dc6a6	fix short tts_text bug	2024-10-22 12:56:29 +08:00
lyuxiang.lx	ffa28e3bbd	update token args	2024-09-29 10:35:10 +08:00
lyuxiang.lx	49015f63e6	add vc code	2024-09-26 10:49:22 +08:00
lyuxiang.lx	90433f5373	fix lint	2024-09-05 16:15:34 +08:00
lyuxiang.lx	f4e70e222c	update stream code	2024-08-07 17:09:23 +08:00
lyuxiang.lx	02f941d348	update model inference	2024-07-24 19:18:09 +08:00
lyuxiang.lx	a13411c561	add stream code	2024-07-23 00:02:30 +08:00
lyuxiang.lx	0fd15bb12b	use spk_embedding when sft	2024-07-10 17:49:32 +08:00
lyuxiang.lx	076829ab84	add cosyvoice code	2024-07-04 21:15:12 +08:00