Update README

This commit is contained in:
yiranyyu
2025-01-19 12:29:01 +08:00
parent 4a011f46d1
commit 03d2412085
3 changed files with 5 additions and 8 deletions

View File

@@ -90,7 +90,6 @@
- [多模态流式交互](#多模态流式交互)
- [多卡推理](#多卡推理)
- [Mac 推理](#mac-推理)
- [手机端部署](#手机端部署)
- [基于 llama.cpp、ollama、vLLM 的高效推理](#基于-llamacppollamavllm-的高效推理)
- [微调](#微调)
- [FAQs](#faqs)
@@ -2353,10 +2352,6 @@ PYTORCH_ENABLE_MPS_FALLBACK=1 python test.py
</details>
### 手机端部署
MiniCPM-V 2.0 可运行在Android手机上点击[MiniCPM-V 2.0](https://github.com/OpenBMB/mlc-MiniCPM)安装apk使用;
### 基于 llama.cpp、ollama、vLLM 的高效推理
llama.cpp 用法请参考[我们的fork llama.cpp](https://github.com/OpenBMB/llama.cpp/tree/minicpmv-main/examples/llava/README-minicpmv2.6.md) 在iPad上可以支持 16~18 token/s 的流畅推理测试环境iPad Pro + M4