vllm部署大模型出现NameError: name ‘vllm_ops‘ is not defined问题

vllm分支部署DeepSeek-V2-Lite-Chat

本文介绍了如何安装最新稳定版vLLM及其CUDA 13.1依赖。首先激活conda环境，然后通过清华镜像源安装最新版vLLM，并指定CUDA 13.1的额外索引URL。安装完成后，可通过Python命令验证vLLM版本，预期输出为vLLM版本：0.18.0。整个过程包括环境准备、软件安装和版本验证三个步骤。

参考：https://github.com/vllm-project/vllm/issues/5804。可能是vllm版本和现在的torch+cuda不匹配，但是这次我遇到的不是因为这个原因。重新创建conda环境 vllm，使用python3.11。python版本过高，目前最高支持3.11。

LLaMA-Factory相关问题

是一个常见的Python错误，但只要我们理解了其产生的原因并掌握了相应的解决办法，就能够有效地避免和解决它。通过检查拼写、理解作用域、正确导入模块和库、检查变量定义位置、使用IDE或文本编辑器的自动补全和错误检查功能、编写清晰的代码以及进行调试和测试，我们可以编写出更加健壮和可靠的Python程序。同时，如果需要在多个地方访问同一个变量，最好将其定义在函数或类的外部，以确保其全局可见性。在使用模块或库中的变量时，确保已经正确导入了该模块或库，并且使用了正确的名称来引用该变量。发生的确切位置和原因。

NameError: name ‘xxx’ is not defined

修改子目录下的vllm文件夹名字，分析原因可能是由于导包的问题，导致无法引入正确的vllm环境。尝试众多解决方法之后，包括重新安装。

最近在使用python写实验遇到这个问题： NameError: name ‘xxx’ is not defined 在学习python或者在使用python的过程中这个问题大家肯定都遇到过，在这里我就这个问题总结以下几种情况： 错误NameError: name ‘xxx’ is not defined总结 情况一：要加双引号（" "）或者（’ '）而没加 情况二：字符缩进格式的问题 情况三：if __name__=='__main__' : 没有和class类进行对齐 情况四：NameError: na

Failed to import from vllm._C with ImportError('/ssdwork/.local/lib/python3.10/site-packages/vllm/_C.abi3.so: undefined symbol: _ZN5torch3jit11parseSchemaERKSs')问题解决

【Python 亲测已解决】NameError: name 'xxx' is not defined错误的深入解析

​​NameError: name 'x' is not defined​​ 是 Python 中常见的错误之一，通常表示你尝试访问一个尚未定义的变量或函数。特别是全局名称未定义时，意味着你在使用某个全局变量或函数时，Python 在当前命名空间中找不到该名称。

另外，vLLM的CPU版本，依赖Intel的oneAPI工具，下载安装工具地址：https://www.intel.com/content/www/us/en/developer/tools/oneapi/base-toolkit-download.html。但是部署过程中，提示下面的错误即。

我没找到好的解决办法，issue里说的情况都是在用源码安装后遇到的，我直接在干净环境ubuntu20.24 cuda12.2下面pip安装，仍然遇到了问题。而且问题指向是torch里的class缺少属性，因此我猜测是torch的问题，vllm的每个版本又强制要求某个torch版本，因此我只能选择之前的vllm版本。vllm0.5.2最近一周出了个不好搞的新issue，会遇到torch.ops._C没有rms_norm，或者没有reshape_and_cache_flash这两个属性的问题。

在这个例子中，编译后的输出文件是/data/caiyueliang/vllm/build/temp.linux-x86_64-cpython-310/csrc/cuda_utils_kernels.o。-DTORCH_API_INCLUDE_EXTENSION_H、-DTORCH_EXTENSION_NAME=_ext、-D_GLIBCXX_USE_CXX11_ABI=0: 这些是针对PyTorch扩展的特定宏定义。在上述代码中我们终于看到了vllm._C，该名字正是新定义的扩展的名字。

使用vllm启动大模型出现的错误。原因：xformers版本和torch、cuda不匹配。我机器的cuda版本只支持到11.8，而 pip install xformers 默认安装的版本需要cuda12.1。

pip install vllm 安装。将vllm版本降至0.2.0即可。后来发现是 cuda版本太低。但发现 安装到一半走不动了。

使用docker+vllm部署大模型时出现无法找到device的错误

modulenotfounderror: No module named 'vllm._C"