cu118 安装vllm 极简教程 & 踩坑笔记

        近期安装cuda 11.8对应的vllm，折腾了好几天，踩坑不少，终于成功了，特此记录分享，希望大家可以顺利使用vllm。文章前大半为踩坑笔记，不需要的同学可直达文章底部看安装部分。

本机环境

        系统: Linux version 3.10.0-1160.114.2.el7.x86_64

        GPU: RTX A4000, CUDA Version: 12.0

        系统CUDA：11.3

踩坑

坑位说明：

        1 python 版本

        2 cuda 版本

        3 torch 版本

        4 vllm-nccl

        5 pip 命令

python 版本问题

        vllm 官方说  3.8 <= python <= 3.12, 我试过 3.8，3.9 和 3.10，只有3.10成功了，不排除3.8 和3.9 也能成功，容易踩坑不推荐。遇到的典型错误如下：

      Cargo, the Rust package manager, is not installed or is not on PATH.
      This package requires Rust and Cargo to compile extensions. Install it through
      the system's package manager or via https://rustup.rs/

        查了一些资料，有人说将他的32-bit 版本python 换成64-bit版本就解决，我是将py3.8换成py3.10.0解决的，统一称为python版本问题吧。

cuda 版本问题

        vllm 官方主要支持 cuda 11.8 和 cuda 12.1两个版本，分别代表代表两个版本所能支持的最高cuda。这个cuda 版本不能超过自己GPU对应的cuda version，如我的gpu 12.0，已安装系统cuda 11.3，理论上我可以升级至cuda 12.0 再使用vllm - cuda-12.1，未尝试。目前已经证实，11.3 的系统cuda 可以使用vllm -cu118。

torch 版本问题

        很多教程都会强调vllm 对 python 和 cuda的要求，但是不强调torch 版本，这是不行的，因为： 1）具体的vllm 包是在明确的torch 版本下编译的 ；2）torch 也受cuda 制约，太低或太高的torch 不一定能使用cuda 11.8。经过我