Commit Graph

5 Commits

Author SHA1 Message Date
qihua
ab5b8eb160 refactor(llm): 重构 vLLM 推理任务处理方式,支持多任务处理
- 移除任务队列和单任务处理限制
- 使用 asyncio.run_coroutine_threadsafe() 在后台线程中运行推理任务
2025-03-08 10:41:49 +08:00
qihua
a1314e573a chore: 新增 requirements_vllm.txt 文件,指定VLLM 模型所需的依赖 2025-03-08 00:40:17 +08:00
qihua
2fbeba50ae refactor(llm): 移除未使用的异步推理方法
- 删除了 LLM 类中的 async_llm_inference 方法
- 该方法尚未使用,且再在loop_thread之外运行后会导致 vllm 崩溃,因此将其移除
2025-03-08 00:04:01 +08:00
qihua
d4d187bd8c refactor(llm): 重构 VLLM 推理方式
- 新增基于队列和线程的异步推理机制
- 优化同步推理接口,使用新机制实现
2025-03-07 23:53:50 +08:00
qihua
90b666ea20 初步合并vllm支持,异步推理的通道处理还存在bug 2025-03-07 20:26:19 +08:00