vllm框架大模型部署笔记

举例：

export CUDA_VISIBLE_DEVICES=0,1
nohup python3 -m vllm.entrypoints.openai.api_server --served-model-name deepseek-v2-lite --model /mnt/data2/melan/model/DeepSeek-V2-Lite-Chat --host 10.4.118.205 --port 8301 --tensor-parallel-size 2 --gpu-memory-utilization 0.9 --enable-prefix-caching --trust-remote-code > logs/run_deepseek_v2_lite.log 2>&1 &
echo $! > pids/run_deepseek_v2_lite.pid

 详解：

export CUDA_VISIBLE_DEVICES=0,1

• 解释：这行命令设置环境变量 CUDA_VISIBLE_DEVICES，将其值设为 0,1。
• 作用：指定程序只能使用编号为 0 和 1 的 GPU。这对于多 GPU 系统非常有用，可以控制程序使用哪些 GPU。

nohup python3 -m vllm.entrypoints.openai.api_server --served-model-name deepseek-v2-lite --model /mnt/data2/melan/model/DeepSeek-V2-Lite-Chat --host 10.4.118.205 --port 8301 --tensor-parallel-size 2 --