A 100x 更快的 PyTorch SVD 实现

A 100x 更快的 PyTorch SVD 实现

项目基础介绍

本项目是一个开源项目，旨在为 PyTorch 提供一个 100 倍速度的 SVD（奇异值分解）实现。项目使用 C++ 和 Python 编程语言，其中 C++ 代码占比 56.7%，Python 代码占比 43.3%。该项目基于 CUDA 加速，能够有效提高奇异值分解的速度，适用于需要高速矩阵运算的深度学习领域。

核心功能

项目的主要功能是提供一个针对 PyTorch 的批量 SVD 实现，包括前向和反向传播功能。这种实现方式相比于 PyTorch 原生的 SVD 函数，在处理特定大小的矩阵时，速度上有显著提升。具体性能提升如下：

• 对于大小为 (10000, 9, 9) 的矩阵，本项目实现的 SVD 速度是原生 PyTorch SVD 的约 19 倍。
• 对于大小为 (20000, 9, 9) 的矩阵，本项目实现的 SVD 速度是原生 PyTorch SVD 的约 34 倍。

此外，该实现支持所有 torch.half, torch.float 和 torch.double 类型的张量。

最近更新的功能

最近更新的功能包括：

• 对所有 torch.half 张量的 SVD 操作进行了浮点转换，因为 CuSolver 没有针对 c10::half 的实现。
• 修复了一些与数值精度相关的问题，特别是对于 torch.double 张量，以减少测试中的失败情况。

项目的更新不断优化算法性能和稳定性，以满足不同规模矩阵运算的需求。