指定python使用的GPU序号

vLLM是一个快速且易于使用的LLM推理和服务库。最先进的服务吞吐量使用PagedNote有效管理注意力键和值内存传入请求的连续批处理使用CUDA/HIP图快速执行模型量化：GPTQ、AWQ、SqueezeLLM、FP8 KV缓存优化的CUDA内核与流行的拥抱脸模型无缝集成高吞吐量服务于各种解码算法，包括并行采样、波束搜索等分布式推理的张量并行性支持流式输出与OpenAI兼容的API服务器支持NVIDIA GPU和AMD GPU（实验性）前缀缓存支持。

注意：张量并行计算的并行度通常需要与指定的 GPU 数量保持一致。这是因为张量并行计算的核心思想是将模型的张量（如权重矩阵）分割成多个部分，并将这些部分分布到多个 GPU 上进行并行计算。：通过存储进程 ID，可以方便地管理和终止后台运行的程序。

如果想要指定vllm serve 运行的1号gpu，不能仅仅在前面加CUDA_VISIBLE_DEVICES=1；还需要在参数里指定device = cuda,因为不指定的话默认device是auto。

vLLM如何指定GPU单卡/多卡离线推理

直接上结论： 指定的GPU序号和真实的序号并不是一一对应。 代码中指定优先级高于shell指定 Pycharm全局搜索代码有没有其他地方有指定GPU CTRL+SHIFT+F (Windows) Command+Shift+F (Mac) 炼丹过程中，尝试了两种方式在代码中指定GPU，发现都没有正确指定，佛了。。全局搜索项目代码，其他没有任何地方指定了GPU。 方式1 – 终端： CUDA_VISIBLE_DEVICES=0 python code.py 方式2 – 代码内部指定： import

只需要添加如下两行代码：import os os.environ[“CUDA_VISIBLE_DEVICES”] = “1”注意，服务器看到的GPU序号和手动在Linux上查看的序号是相反的，比如 那么我们指定os.environ[“CUDA_VISIBLE_DEVICES”] = “0”的话，你会发现在watch nvidia-smi指令下，2号GPU正在满负荷的运行！

（1）nvidia-smi 命令GPU：GPU 编号；Fan：风扇转速，从0到100%之间变动；Name：GPU 型号；Temp：温度，单位是摄氏度；Perf：性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能（即 GPU 未工作时为P0，达到最大工作限度时为P12）。Persistence-M：持续模式的状态。持续模式虽然耗能大，但是在新的GPU应用启动时，花费的时间更少，这里显...

参考网址：http://blog.csdn.net/u014381600/article/details/72911262 1 终端执行程序时设置使用的GPU（linux终端） CUDA_VISIBLE_DEVICES=1 python my_script.py 2 python代码中设置使用的GPU（ipython或pycharm调试时） import os  os.envir

PyTorch默认使用从0开始的GPU，如果GPU0正在运行程序，需要指定其他GPU。 有如下两种方法来指定需要使用的GPU。 1. 类似tensorflow指定GPU的方式，使用CUDA_VISIBLE_DEVICES。 1.1 直接终端中设定： CUDA_VISIBLE_DEVICES=1 python my_script.py 1.2 python代码中设定： import os os.environ["CUDA_VISIBLE_DEVICES"] = "2" 见网址：（原）

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法PagedAttention，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。

多卡推理，设置tensor_parallel_size=2，服务：Flask + gunicorn。多卡推理结果, 推理耗时11s。为什么多卡推理耗时更长了😵‍💫。环境：2* A100 40G。模型：qwen2-7B。

运行python文件时，在前面加上 CUDA_VISIBLE_DEVICES=xxx，xxx是你要指定的gpu序号。如`CUDA_VISIBLE_DEVICES=0,2 python extract_masks.py`表示指定了0、2号两个gpu。注意，序号是从0开始排的，所以如果你只有一个gpu，那么就是`CUDA_VISIBLE_DEVICES=0 python extract_masks.py`

大模型 LLM 推理框架的 vLLM 应用

当本地（或服务器）有个多个GPU时，需要指定程序在指定GPU上运行，需要做以下设置。

单/多卡GPU使用设置

Persistence-M：持续模式的状态开关，该模式耗能大，但是启动新GPU应用时比较快，这里是off。1、首先查看哪些GPU空闲，nvidia-smi显示当前GPU使用情况。Perf：性能状态，从P0到P12，P0性能最大，P12最小。GPU-Util：GPU利用率，第一个是74%，第二个未用。Fan：风扇转速，在0到100%之间变动，第一个是29%Name：显卡名，这里两块都是GeForce。Temp：显卡温度，第一个是60摄氏度。GPU：编号，这里是0和1。Bus-Id：GPU总线。

vLLM 是一个快速且易于使用的 LLM（大型语言模型）推理和服务库。vLLM 之所以快速，是因为：最先进的服务吞吐量通过高效管理注意力键和值内存连续批处理传入请求使用 CUDA/HIP 图快速模型执行量化：GPTQ[1]、AWQ[2]、SqueezeLLM[3]、FP8 KV 缓存优化的 CUDA 内核vLLM 灵活且易于使用，因为它：与流行的 HuggingFace 模型无缝集成通过各种解码算法提供高吞吐量服务，包括并行采样、波束搜索等支持分布式推理的张量并行性支持流式输出。

如何指定GPU显卡运行程序

本文在对VLLM进行解析时只关注单卡情况，忽略基于ray做分布式推理的所有代码。先从使用VLLM调用opt-125M模型进行推理的脚本看起： 可以看到这里创建了一个LLM对象，然后调用了LLM对象的函数。这就是vllm的入口点，接下来我们对LLM这个类的generaet过程进行解析。首先看一下LLM类的初始化函数： 可以看到LLM类似于对LLMEngine进行了封装，一个LLM对象对应了一个LLMEngine对象。接下来我们解析一下和，首先来看： 接下来对进行解析： 从的定义可以知道，它做了初始化token