From 22e80fc2756d2a255475c6e17bc59afdb673d9cc Mon Sep 17 00:00:00 2001 From: yiranyyu <2606375857@qq.com> Date: Fri, 2 Feb 2024 13:51:06 +0800 Subject: [PATCH 1/2] update readme zh --- README_zh.md | 12 ++++++------ 1 file changed, 6 insertions(+), 6 deletions(-) diff --git a/README_zh.md b/README_zh.md index 423404c..1d60164 100644 --- a/README_zh.md +++ b/README_zh.md @@ -192,15 +192,15 @@ - ⚡️ **高效率。** - OmniLMM-3B 可以**高效地部署在大多数 GPU 和个人电脑上**,甚至**是移动手机等终端设备**。在视觉编码方面,我们通过感知器重采样器将图像表示压缩为 64 个 token,远远少于基于 MLP 架构的其他 LMMs(通常大于 512 个 token)。这使得 OmniLMM-3B 在推理期间**内存成本更低且速度更快**。 + OmniLMM-3B 可以**高效地部署在大多数 GPU 和个人电脑上**,甚至**是移动手机等终端设备**。在视觉编码方面,我们通过感知器重采样器将图像表示压缩为 64 个 token,远远少于基于 MLP 架构的其他 LMMs(通常大于 512 个 token)。这使得 OmniLMM-3B 在推理期间**内存开销更低且速度更快**。 - 🔥 **优秀的性能。** OmniLMM-3B 在多个基准测试中实现了与相似大小模型相比**最先进的性能**,超过了基于 Phi-2 构建的LMMs。它甚至**实现了与9.6B Qwen-VL-Chat 相媲美或更好的性能**。 -- 🙌 **双语支持。** +- 🙌 **中英双语。** - 借助于我们在 ICLR 2024 [spotlight 论文](https://arxiv.org/abs/2308.12038) 中提出的跨语言多模态能力泛化技术, OmniLMM-3B 是**第一个支持英语和中文双语多模态交互的终端可部署 LMM**。 + 得益于我们在 ICLR 2024 [spotlight 论文](https://arxiv.org/abs/2308.12038) 中提出的跨语言多模态能力泛化技术, OmniLMM-3B 是**第一个支持中英双语多模态交互的终端可部署 LMM**。 ### 性能评估 @@ -292,21 +292,21 @@ ## 安装 -1. Clone this repository and navigate to the source folder +1. 克隆我们的仓库并跳转到相应目录 ```bash git clone https://github.com/OpenBMB/OmniLMM.git cd OmniLMM ``` -2. Create conda environment +1. 创建 conda 环境 ```Shell conda create -n OmniLMM python=3.10 -y conda activate OmniLMM ``` -3. Install dependencies +3. 安装依赖 ```shell pip install -r requirements.txt From 2de49ccef42ed8ce2f9ae5f05994ff2e4299020f Mon Sep 17 00:00:00 2001 From: yiranyyu <2606375857@qq.com> Date: Fri, 2 Feb 2024 13:53:06 +0800 Subject: [PATCH 2/2] update readme (fix toc link) --- README.md | 8 ++++---- README_zh.md | 8 ++++---- 2 files changed, 8 insertions(+), 8 deletions(-) diff --git a/README.md b/README.md index 7a90035..f1785bb 100644 --- a/README.md +++ b/README.md @@ -35,10 +35,10 @@ - [Inference](#inference) - [Model Zoo](#model-zoo) - [Multi-turn Conversation](#multi-turn-conversation) -- [✅ TODO](#-todo) +- [TODO](#todo) - [Model License](#model-license) - [Statement](#statement) -- [🏫 Institutions](#-institutions) +- [Institutions](#institutions) ## OmniLMM-12B **OmniLMM-12B** is the most capable version. The model is built based on EVA02-5B and Zephyr-7B-β, connected with a perceiver resampler layer, and trained on multimodal data in a curriculum fashion. The model has three notable features: @@ -358,7 +358,7 @@ We can obtain the following results: ``` -## ✅ TODO +## TODO - [ ] Fine-tuning support - [ ] Local Web-UI deployment @@ -382,7 +382,7 @@ As LMMs, OmniLMMs generate contents by learning a large mount of multimodal corp We will not be liable for any problems arising from the use of OmniLMM open source models, including but not limited to data security issues, risk of public opinion, or any risks and problems arising from the misdirection, misuse, dissemination or misuse of the model. -## 🏫 Institutions +## Institutions This project is developed by the following institutions: diff --git a/README_zh.md b/README_zh.md index 1d60164..ee28740 100644 --- a/README_zh.md +++ b/README_zh.md @@ -36,10 +36,10 @@ - [推理](#推理) - [模型库](#模型库) - [多轮对话](#多轮对话) -- [✅ 未来计划](#-未来计划) +- [未来计划](#未来计划) - [模型协议](#模型协议) - [声明](#声明) -- [🏫 机构](#-机构) +- [机构](#机构) @@ -363,7 +363,7 @@ print(answer) ``` -## ✅ 未来计划 +## 未来计划 - [ ] 支持模型微调 - [ ] 本地可视化部署 @@ -389,7 +389,7 @@ OmniLMMs 模型权重对学术研究完全开放。 因此用户在使用 OmniLMMs 生成的内容时,应自行负责对其进行评估和验证。如果由于使用 OmniLMMs 开源模型而导致的任何问题,包括但不限于数据安全问题、公共舆论风险,或模型被误导、滥用、传播或不当利用所带来的任何风险和问题,我们将不承担任何责任。 -## 🏫 机构 +## 机构 本项目由以下机构共同开发: