/pytorch/aten/src/ATen/native/cuda/ScatterGatherKernel.cu:115: operator(): block:

原创 已于 2022-05-20 09:09:32 修改 · 4.9k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#pytorch #深度学习 #人工智能
于 2022-05-20 09:08:42 首次发布
本文分享了如何在GPU上有效处理神经网络模型错误，如数组超限问题，通过锚点比例调整和focal loss中gamma参数一致性来举例。同时提及了Cuda错误信息的处理策略，以及参考了博主关于IndexKernel和ScatterGatherKernel的调试经验。

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看

GPU上运行神经网络模型，是使用多线程并行加速的，如果出错，真正的错误信息很容易被cuda的错误信息淹没，所以难以看到错误信息，一般引起问题的原因是数组等超限，定位到具体是anchor_ratios=[0.2, 0.5, 1.0, 2.0, 5.0]修改成默认anchor_ratios=[0.5, 1.0, 2.0]就可以啦。

比如，focalloss中gamma数组个数和数据类别数不一致也会报错：

/pytorch/aten/src/ATen/native/cuda/ScatterGatherKernel.cu:115: operator(): block:

将维度修改成一致即可


参考：

pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:53: lambda [](int)-＞auto::operator()(int)-＞auto: bl_Wanderer001的博客-CSDN博客

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看
yimenren
关注
RuntimeError: CUDA error: device-side assert triggered
weixin_48915167的博客
02-11 1892
环境：两张显卡有两个人在用，都是用的双卡训练，也不知道是否与多人公共显卡有关，因为之前自己用的时候没发生过这种错误。运行了14个epoch之后第15个epoch才报错，看报错像是计算loss的时候数组越界了，没找到问题原因。
nll_loss_forward_reduce_cuda_kernel_2d: Assertion `t ＞= 0 && t ＜ n__classes` failed.
weixin_43900395的博客
12-01 4459
然后在函数里输出inputs和targets的形状，发现维度也没有问题，然后输出标签的值看一下。然后发现target的值==num_class,发现num_class的值写错了。还有一种可能就是你的target的值不是从0开始的，是从1开始的也会报错。
../aten/src/ATen/native/cuda/NLLLoss2d.cu:103: nll_loss2d_forward_kernel: block: [1,0,0], thread: [4
weixin_42748439的博客
10-11 2730
我的信息比较玄学，不满足以上三个问题中的任何一个，斗智斗勇一天，我的目标全都是指向预测值错了，然后一直没调好。
关键点检测实战：人体关键点检测
06-21
从零开始，讲解 数据标注、数据集制作、模型训练、模型测试、模型优化、环境搭建等方面内容，让学习者能够快速学到AI图像领域关键点技术，应用到实际的工作中去。
[CUDA error记录]CUDA error: device-side assert triggered的一种可能
weixin_41625823的博客
04-27 1万+
[Pytorch error记录]CUDA error: device-side assert triggered的一种可能 具体问题描述分析 在运行Pytorch的过程中，对新建张量的语句frame_volume = torch.zeros((bs, ch, self.ch_num, h, w)).to(x)报了如下错误： RuntimeError: CUDA error: device-side assert triggered 并且有大量类似的CUDA的报错： .../ATen/native/cud
[已解决] pytorch scattergatherkernel.cu operator() block [0,0,0] thread assertion `idx_dim ＞= 0 failed
ReaderWithNoEmotion
01-26 2380
由于服务器卡比较少（提交个任务需要等10个小时以上），本地的调试机器又非常卡（调试一次需要10min。）这个问题一天多才解决，还是后来换了其他不卡的调试机才能快速定位。然后我在本地小batch调试时添加了pdb, 定位到了出错的step, 以及出错的行—就是上面截图343行，解决方案：我这个问题中，在加载数据时，将离散化时的bins从。个，这样离散化之后的数据为。，即可继续使用上面的。
CUDA Tensor 越界错误的分析与解决方案 || SoftDiceLoss || y_onehot.scatter_(1, gt, 1)
weixin_45638136的博客
05-29 867
y_onehot.scatter_(1, gt, 1)，由于维度越界导致的bug
之前可跑通的程序在重新配置虚拟环境后报错RuntimeError: CUDA error: device-side assert triggered
sumeil的博客
09-06 2456
之前可跑通的程序在重新配置虚拟环境后报错RuntimeError: CUDA error: device-side assert triggered
二值化图读取后发生存在[0,1,2]多个值
最新发布
低吟浅笑
10-12 429
当图片的保存格式为.jpg，即使完成二值化图像处理，再次读取仍然是[0,1,2]。这是由于，JPEG格式会引入压缩噪声，从而导致读取时出现非二值值。最终定位到loss附近，通过分析得到是GT的问题，存在多个值。当图片的保存格式为png,则再次读取为[0,1]。
RTX3090+cuda11.1配置pytorch踩坑记录(IndexKernel.cu:142: operator(): block: [0,0,0], thread: [64,0,0])
diadestiny的博客
11-28 6392
注意： pytorch1.8.1有坑，训练报错信息如下： /pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:142: operator(): block: [0,0,0], thread: [64,0,0] Assertion index >= -sizes[i] && index < sizes[i] && "index out of bounds" failed. /pytorch/aten/src/ATen/
RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously
李白吃肥牛的博客
07-07 5310
针对深度学习出现的一些bug
mmsegmentation修仙之路-bug篇（1）
stone_tigerLI的博客
02-28 2663
mmsegmentation修仙路之地推怪篇。主要是遇到的报错、bug等解决办法记录
pytorch报错：RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)
wwimhere的博客
03-07 1418
错误信息中的“Assertion `t >= 0 && t < n_classes` failed.”这句提示显示错误可能和number of classes有关。我在跑cifar10类别时，创建网络部分把num_classes设置成了6。这个报错看似是CUDA的问题，其实并不是。检查代码发现，我的代码设置的分类类别错了。
亲测解决../aten/src/ATen/native/cuda/NLLLoss2d.cu:xxx: Assertion `t ＞= 0 && t ＜ n_classes` failed
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
12-26 2254
这个问题关键在于，就是数据的标签必须在0到数据标签总数之间。小虎的数据是因为遇到了-1的label，解决方法是把label范围给限定在提示的范围内。
解决RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors...CUDA_LAUNCH_BLOCKING=1
热门推荐
AI小白炼金术师
04-30 8万+
RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
pytorch训练过程中出现错误：Assertion input_val ＞= zero && input_val ＜= one failed.
qq_42181431的博客
07-23 8292
pytorch训练过程中loss报错，../aten/src/ATen/native/cuda/Loss.cu:118: operator(): block: [307,0,0], thread: [31,0,0] Assertion `input_val >= zero && input_val
【已解决】RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronous
BetrayFree的博客
11-07 4万+
写到这里突然感慨很多，到现在为止，记录自己的bug生涯应该快四个月了，可能是因为太小白的原因，所以看的人并不多，当然也有说技术博客不来csdn的说法，我身边的人几乎没有这上面的会员，相比其他平台的回馈机制，在这里是没有办法得到的，但我还是坚持写了很多并且有几篇优质博客的产生，这是很难得的。但遗憾的是我并不明白这说的是什么意思 ，因为就1234所提到的问题我这边是大概率不会存在的，所以这个内容来说就是肯定是软件的问题，但为什么是cuda内核引起的问题呢？如果硬件故障是可能的原因，考虑检查GPU的健康状态。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值