个人搭建qwen2大模型过程笔记

依赖项：

        AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL

配置：4090，24G显存，windterm远程，vscode等基于软件就不说了

qwen2需求情况一览表：

显存占用大小（可以通过改浮点位调整占用显存大小）：

内存占用量：

第一步：申请资源，创建python环境(autodl自带conda环境)

conda create -n myllm python==3.8.18

第二步：依赖包

哼...，pip install vllm不行，使用下面结束！

pip install vllm==0.4.0.post1
pip install modelscope==1.11.0
pip install openai==1.17.1
pip install tqdm==4.64.1
pip install transformers==4.39.3
MAX_JOBS=8 pip install flash-attn --no-build-isolation