Transpose转置SRAM(TSRAM)论文阅读简记

原创 已于 2022-04-07 12:37:34 修改 · 1.3k 阅读 · 6
标签
#神经网络 #fpga开发
于 2022-04-07 12:36:13 首次发布
本文探讨了四种先进的集成电路技术，包括超低功耗人脸识别处理器、基于block-circulant加速的统一神经网络处理器、全数字位线转置CIM加速器、6T SRAM的存内计算以及深度学习训练中的转置策略。重点介绍了TSRAM和SRAM的转置结构，以及它们在不同应用场景中的优势和差异。

1、A 0.62mW Ultra-Low-Power Convolutional-NeuralNetwork Face-Recognition Processor and a CIS Integrated with Always-On Haar-Like Face Detector

isscc2017

下图即为TSRAM的具体结构，添加了一个解耦MOS管，其源端、漏断分别连接到图中所示的蓝色与红色线；

与正常SRAM一样采用行读取模式时，这两根线分别为H_RDWL与H_RDBL;

此时进行读取，则H_RDBL与正常位线一样预充电到高电平，根据交叉耦合的反相器中存储的是0还是1来决定这根线是否放电；

猜测此时的H_RDWL为低电平；

进行TSRAM的列读取模式时，则此时交换两根线的角色，分别成为下面括号中的信号；

此时猜测V_RDWL预充电到高电平，V_RDBL仍为低电平，则此时可以根据反向器中存储值在V_RDBL上得到不同的电压差值；

此图中即为正常模式下的行读取与TSRAM下的列读取模式；

2、A 65nm 0.39-to-140.3TOPS/W 1-to-12b Unified NeuralNetwork Processor Using Block-Circulant-

最低0.47元/天 解锁文章
一种新型的双阈值4T SRAM单元的设计
10-15
通过减少晶体管数目来达到减小存储单元面积，从而实现高密度的SRAM设计是一种较为直接的解决方案。在至关重要的SRAM存储单元设计中，不同工作状态表现出的稳定特性是评判SRAM设计的重要指标。比较了55 nm CMOS工艺节点下传统6T和4T SRAM存储单元的数据保持和读写工作时的稳定特性。经过多次蒙特卡洛仿真，仿真结果表明，4T结构SRAM与传统6T结构相比，存储单元面积减小20%，在相同供电电压下，通过在外围电路中增加读辅助电路，读稳定性提升了110%，写能力增强183%。
论文笔记——TransPose
Sciws的博客
09-20 2126
早期的关键点检测方法通常是直接回归关键点的位置，后来变成了主流的通过预测关键点热图去预测，它隐式地学习身体各部位之间的空间依赖关系。然而，大多数之前的研究都将深度CNN作为一个强大的黑盒预测器，并专注于改善网络结构，模型内部到底发生了什么，或者它们如何捕捉身体部位之间的空间关系，目前还不清楚。然而，从科学和实践的角度来看，模型的可解释性可以帮助从业者理解模型如何将结构变量关联起来以达到最终的预测，以及姿态估计器如何处理各种输入图像。它还可以帮助模型开发人员进行调试、决策和进一步改进设计。
论文阅读|TransPose
weixin_45782047的博客
03-07 3840
人体姿态估计|TransPose
存内计算架构在通用视觉模型上的潜力应用
m0_58966968的博客
02-06 1375
新兴的存内计算架构显著优化了现有通用视觉模型的性能。它通过减少处理器和存储器间的数据传输需求，提升了数据处理速度，并显著降低了能源消耗。因此，存内计算架构对于提高通用视觉模型的处理速率和整体效能至关重要，使其能够更加迅速和高效地处理复杂的图像和视频数据，从而在实时应用中发挥更大的作用。
[论文阅读：姿态识别&Transformer] TransPose: Keypoint Localization via Transformer 2021 ICCV
cheerful090的博客
12-11 7191
[论文阅读：姿态识别&Transformer] TransPose: Keypoint Localization via Transformer 2021 ICCV 2021 ICCV 来自东南大学 paper https://arxiv.org/abs/2012.14214 github https://github.com/yangsenius/TransPose Transpose使用卷积进行特征图提取， Transformer编码层通过query-key-value注意力迭代地从序列中捕获
pytorch如何混合进度训练transformer【各种不同方式】
小欧欧的博客
07-22 3550
Hugging Face 的 Transformers 库为我们提供了大量预训练的 Transformer 模型，以及一个易于使用的训练和微调工具——Trainer。在 Trainer 中，我们可以很容易地启用混合精度训练，也称为自动混合精度 (AMP) 训练。要在 Hugging Face 的 Trainer 中启用混合精度训练，只需要在创建 Trainer 时设置fp16=True。
低功耗SRAM单元设计与优化
最新发布
data3的博客
10-25 1183
本文研究了基于180nm CMOS工艺的8T和10T SRAM单元设计，重点采用写驱动电路、电荷回收逻辑和预充电缩放技术来降低功耗。仿真结果表明，10T SRAM在不同温度下具有更低的动态和静态功耗，总功耗相比6T结构最高降低81%，且延迟更小，适用于低功耗应用场景。
FPGA中SRAM的应用与程序开发深入解析
weixin_35019679的博客
05-03 1381
在现代电子系统设计中，现场可编程门阵列（FPGA）与静态随机存取存储器（SRAM）之间的紧密联系是关键的硬件基础。FPGA是一种可以通过编程来配置的集成电路，它可以实现几乎任何数字逻辑功能。相比之下，SRAM是一种易失性存储器，它保持数据直到电源被关闭。在FPGA的上下文中，SRAM扮演着至关重要的角色，它不仅存储配置数据来定义FPGA的逻辑块和互连，还影响着设备的功能性与性能。
论文精读-ViA A Novel Vision-Transformer AcceleratorBased on FPGA
a284365的博客
05-02 3366
自谷歌于2017年提出Transformer以来，它在自然语言处理(NLP)方面取得了重大进展。然而，不断增加的成本是大量的计算和参数。为了有效地处理NLP任务，前人针对FPGA中的变压器模型设计并提出了一些加速器结构。现在，Transformer的发展也对计算机视觉(CV)产生了影响，并在各种图像任务中迅速超越了卷积神经网络(cnn)。CV中使用的图像数据与NLP中的序列数据存在明显差异。这两个领域中包含变压器单元的模型中的细节也有所不同。数据方面的差异带来了局部性的问题。
基于Acclerate的transformers模型分布式训练解决方案
weixin_42264784的博客
11-20 1820
数据并行、流水并行、张量（权重）并行：安装必要的库：transformers==4.36.2 accelerate==0.26.1 evaluate datasets - 阿里源。
机器学习/huggingface笔记：Transformer内存占用刨析 和高效训练
qq_40206371的博客
05-20 2050
参考内容： Model training anatomy (huggingface.co)
转置算子(transpose)的一种实现
tugouxp的专栏
11-07 2882
上代码： /* * =========================================================================================== * * Filename: transpose.c * * Description: transpose operator impl. * * Version: Melis3.0 * Create: 2021-11-07 14:0
ISSCC 2017论文导读 Session 14:A 0.62mW Ultra-Low-Power Convolutional-Neural-Network Face-Recognition Pro...
weixin_30765475的博客
02-19 250
A 0.62mW Ultra-Low-Power Convolutional-Neural-Network Face-Recognition Processor and a CIS Integrated with Always-On Haar-Like Face Detector 单位：KAIST（韩国科学技术院）——ISSCC上大神级的机构··· DNN的加速器，面向不同的...
10,09_维度变换,view、reshape,unsqueeze,Squeeze,expand,repeat,矩阵转置,transpose维度交换,permute,Broadcasting
涂作权的博客
02-01 1048
1.9.Tensor维度变换 1.9.1.view、reshape 1.9.2.unsqueeze 1.9.3.Squeeze 1.9.4.expand 1.9.5.repeat 1.9.6.矩阵转置 1.9.7.transpose维度交换 1.9.8.permute 1.10.Broadcasting 1.9.Tensor维度变换 1.9.1.view、reshape 1.两者功能一样：将数据依次展开后，再变形 2.变形后的数据量与变形前数据量必须相等。即满足维度：ab…f = xy…z 3.reshap
矩阵转置（transpose、T）
Drug discovery
06-22 2万+
1.T T 适用于一、二维数组的转置 transpose 适用于高维数组，需要用到一个由轴编号组成的元组，才能进行转置 In [1]: import numpy as np In [2]: arr = np.arange(20).reshape(4,5)#生成一个4行5列的数组 In [3]: arr Out[3]: array([[ 0, 1, 2, 3, 4], [ 5, 6, 7, 8, 9], [10, 11, 12, 13, 14], .
GPU的矩阵转置优化(transpose)
feng__shuai的博客
03-12 3218
文章目录背景方案传统CPU转置一般GPU代码问题分析结论 背景 在图像处理，深度学习领域，有很多矩阵运算的工作，而伴随矩阵运算就存在大量的矩阵转置，转置不涉及计算，主要的工作都在数据的读取写入方面，所以如何加快数据搬移是一种很重要的优化点。 方案 传统CPU转置 假设都是按行存储。 int row = 1024 int col = 512 void transpose_CPU(vector<int>& in, vector<int>& out) { for (
转置矩阵（Transpose of a matrix）
热门推荐
努力中的老周的专栏
11-24 2万+
定义 给定一个矩阵 A，将矩阵的行列互换得到的新矩阵称为转置矩阵，记为 ，。转置矩阵的行列式不变，即 。转置矩阵由下列动作建立： 将 A 的横行写为 的纵列； 将 A 的纵列写成 的横行。 形式来说，m*n 矩阵 A 的转置矩阵是 n*m 矩阵，即 例子 性质 。转置是自身的逆运算。 。转置是从 m*n 矩阵的向量空间到所有 n*m 矩阵的向量空间的线性映射。 。 。标量的转置是同样的标量。 。矩阵的转置矩阵的行列式等于矩阵的行列式。 特殊转置矩阵 其转置等于自身的方阵称为
内存的工作原理及时序介绍
n567656756765676567的专栏
02-06 8819
内存的工作原理及时序介绍 内存是PC配件中结构最简单的，但在BIOS中却是最难调的，很多玩家超频都卡在内存上。并且，内存的原理、结构与时序多年不会改变，无论将来内存技术如何进步，相信这篇文章的存在价值都不会打折扣。本文亦希望能通过对DRAM基本原理以及时序的介绍，在内存设置以及XMP的制作上有所帮助。 >>>目录 第一部分：工作原理 DRAM基本组成 内存
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Joejwu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值