torch.cuda常用指令

每次配置模型环境，无论是在windows，linux，集群服务器上都会在这里卡住，为了未来配置方便，记录下配置注意事项。

本文深入解析了PyTorch/TensorFlow中`.cuda()`调用的底层原理，通过手把手实现CUDA向量加法核函数，揭示GPU加速的奥秘。从线程层次结构到内存访问优化，帮助开发者掌握CUDA编程核心技能，提升深度学习模型性能调优能力。

PyTorch默认使用从0开始的GPU，且默认只使用0号GPU。如果要使用其他编号的GPU或者使用多块GPU，则要设置。 pytorch并行后，假设batchsize设置为64，表示每张并行使用的GPU都使用batchsize=64来计算（单张卡使用时，使用batchsize=64比较合适时，多张卡并行时，batchsize仍为64比较合适，而不是64*并行卡数）。 DataParallel 会自动拆分数据，并将作业订单发送到多个GPU上的多个模型。 在每个模型完成它们的工作之后，DataPar..

近期由于毕设需要需要使用Yolo，于是经过两天捣腾，加上看了CSDN上各位大佬的经验帖后，成功搭建好了Python+Cuda+Cudnn+Torch环境，并能成功使用。进而记录下来，，分享给各位。

1. 基本概念 rank 进程号，在多进程上下文中，我们通常假定rank 0是第一个进程或者主进程，其它进程分别具有1，2，3不同rank号，这样总共具有4个进程 node 物理节点，可以是一个容器也可以是一台机器，节点内部可以有多个GPU；nnodes指物理节点数量， nproc_per_node指每个物理节点上面进程的数量 local_rank 指在一个node上进程的相对序号，local_rank在node之间相互独立 WORLD_SIZE 全局进程总个数，即在一个分布式任务中rank

虚拟环境常用操作、torch版本、cuda版本

记录自己建环境的过程，针对版本匹配问题记录。有安装过程和报错解决以及常用指令列举。

运行大模型的时候，出现错误:Torch not compiled with CUDA enabled原因：并不是电脑安装了nvdia显卡驱动就可以的，还需要安装另外还需要确保安装的python是GPU版本的。通常是CPU版本的。

文章目录torch.cudatorch.cuda.is_available()torch.cuda.set_device(device)class torch.cuda.device(idx)torch.cuda.device_count()torch.cuda.get_device_name(0)torch.cuda.current_device()torch.device('cuda')torch.device('cpu') torch.cuda 该包增加了对CUDA张量类型的支持，实现了与CPU张量

本文介绍了PyTorch中torch.cuda.set_device()函数的使用方法，该函数用于在多GPU环境下设置当前使用的CUDA设备。文章通过代码示例展示了如何在不同设备上创建和移动张量，包括默认使用cuda0设备以及通过设置改变当前设备。同时指出PyTorch官方建议直接显式指定设备编号而非依赖当前设备设置，并提供了相应的代码示例。最后还说明了该函数可以接受带编号的device对象作为参数，但不能接受无编号的当前设备对象。

安装cudnn，下载cudatoolkit，GPU torch安装及常用指令

数据加载 torch.load()

torch.cuda.set_device(device)设定设备。 般不建议使用这个方式设置设备，大多数情况下，最好使用CUDA_VISIBLE_DEVICES环境变量。 其中的参数device是设备，如果是负数，则为未设置

CUDA和cuDNN安装教程！

2. 如果使用torch.cuda.set_device('cuda:0')的方式，则改用。3. 即前者需要采用to()方法，而后者可以使用cuda()方法，而无需传递参数。1. 使用torch.device的方式设置显卡之后，需用使用。的方式将模型和数据放到GPU上。的方式将模型和数据加载到显卡中。

PyTorch 是一个开源的深度学习框架，由Facebook（现 Meta）AI团队开发，广泛用于研究和生产环境中。torch是 PyTorch 的核心库，用于处理张量（Tensor）计算、深度学习模型的定义和训练。是由 NVIDIA 提供的一种并行计算平台和编程模型，专门用于加速 GPU 上的计算任务。使用 CUDA 可以将计算密集型任务（如深度学习、科学计算、图像处理等）从 CPU 转移到 GPU，以显著提升计算速度。

1. 服务器GPU状态查询 1） lspci | grep -i nvidia 可以查询所有nvidia显卡 2） lspci -v -s [显卡编号] 可以查看显卡具体属性 3） nvidia-smi 可以查看显卡的显存利用率 2. torch.cuda主要函数 1) 查看是否有可用GPU:torch.cuda.is_available() 可用GPU数量： gpus = torch.cuda.device_count() logg...