卷卷卷！新的开源多模态大模型王者来啦，从量化到部署用 lmdeploy 把它运行起来吧

这是视频 卷卷卷！新的开源多模态大模型王者来啦，从量化到部署用 lmdeploy 把它运行起来吧 的笔记，请结合视频观看。

大纲

1. 安装 modelscope 下载 internvl2 8b 的模型
2. 安装最新的 lmdeploy
3. 部署原始模型
4. 模型量化
5. 部署量化后的模型
6. 测试 lmdeploy 的效果
7. 使用 openai api 的方式部署并进行推理

安装 modelscope 下载 internvl2 8b 的模型

pip install modelscope

from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('OpenGVLab/InternVL2-8B', cache_dir='autodl-tmp', revision='master')

安装最新的 lmdeploy

pip install lmdeploy[all] timm
pip install transformers==4.37.2

如果想要支持 flash attention 则需要安装 flash-attn

pip install packaging
pip uninstall -y ninja && pip install ninja
pip install flash-attn --no-build-isolation

注意这里不要直接使用 pip install flash-attn 来安装，否则会非常非常的慢。

使用 lmdeploy 部署原始模型

目前 lmdeploy 还没来得及更新对 internvl2 的支持，不过在未来的 0.5.1 应该就会支持。看了目前主分支上的代码，我草率