矩阵分解ALS-交替最小二乘法

最新推荐文章于 2024-10-10 17:55:15 发布
原创 最新推荐文章于 2024-10-10 17:55:15 发布 · 4.2k 阅读 · 24
交替最小二乘法(ALS)是一种用于解决矩阵分解问题的优化算法，常用于协同过滤推荐系统。通过将用户-商品评分矩阵分解为用户矩阵和商品矩阵，ALS旨在最小化预测评分与实际评分之间的差异。在这个过程中，ALS通过交替更新用户矩阵和商品矩阵来逐步优化模型，直至损失函数（如均方根误差RMSE）收敛。该方法在推荐系统中广泛应用，因为它能够处理大规模稀疏数据并有效捕获用户和商品之间的潜在关系。

ALS（alternating least squares）

ALS是交替最小二乘的简称。在机器学习中，ALS特指使用交替最小二乘求解的一个协同推荐算法。如：将用户（user）对商品（item）的评分矩阵分解成2个矩阵：

在这里插入图片描述
把原来的矩阵拆分成：
在这里插入图片描述
如何从评分矩阵中分解出User矩阵和Item矩阵，

  • 只有左侧的评分矩阵R是已知的
  • User矩阵和Item矩阵是未知
  • 学习出User矩阵和Item矩阵，使得User矩阵*Item矩阵与评分矩阵中已知的评分差异最小 => 最优化问题
我们最终的目的是使求得的打分矩阵loss最小

在这里插入图片描述

这里讲一下算数平均值，我们做实验经常用到算数平均值，其实算数平均值最终的原理也是最小二乘法

为什么算数平均值为实际值
在这里插入图片描述
导数为0的时候为最小值，因此
在这里插入图片描述
也就是：
在这里插入图片描述
所以：
在这里插入图片描述
最小二乘法是一种重要的数据拟合技术
可以应用于线性回归，非线性回归
在这里插入图片描述

之所以叫交替最小二乘法，是因为同时求X和Y两个矩阵，所以需要固定X求Y，再固定Y求X

1、固定Y优化X
在这里插入图片描述
将目标函数转化为矩阵表达形式
在这里插入图片描述
在这里插入图片描述

对目标函数 յ关于 xu 求梯度，并令梯度为零，得
在这里插入图片描述
求解后，得：
在这里插入图片描述
xu=(YuYT+λI)−1YuRu x_u=(Y_uY^T + \lambda I) ^{-1}Y_uR_u xu​=(Y

最低0.47元/天 解锁文章
mcr_als.zip_MCR-ALS原理_mcr-als_mcrALS_mcr–als_多元曲线分辨
07-15
有关多元曲线分辨-最小二乘法的算法 内容很多 多多交流
ALS算法--交替最小二乘算法
Diana的博客
03-08 9607
算法概述： ALS是交替最小二乘（alternating least squares）的简称。在机器学习中，ALS特指使用交替最小二乘求解的一个协同推荐算法。它通过观察到的所有用户给商品的打分，来推断每个用户的喜好并向用户推荐适合的商品。比如下图： 这个矩阵的每一行代表一个用户（u1,u2,u3）、每一列代表一个商品（v1,v2,v3）、用户的打分为1-5分。这个矩阵只显示了观察...
机器学习算法之交替最小二乘法(ALS)
I good vegetable a!
09-30 2894
引入 我们知道很多豆瓣的用户都会对电影进行打分，根据这个评分，我们可能知道这些用户除了自己评过分之外的电影还偏好哪些电影？这是一个推荐问题，解决这类问题的算法被称作推荐算法。 算法原理 协同过滤 ...
ALS算法理解
chenjunheaixuexi的博客
05-16 6519
  ALS算法全称为交替最小二乘法（Alternating Least Squares），是一种基于协同过滤思想的矩阵分解算法。其亮点之一就在于优化参数时使用了交替最小二乘法，而非常规的SGD或者是MBGD，这一点就决定了ALS算法可以进行分布式并行计算，因此其被收录于Spark的Mlib以及ML库中。下面将详细介绍这一算法： 一、隐语义模型 1.基本思想 在当前大数据环境下如果构建 用户-物品 共现矩阵其肯定是十分稀疏的，发生交互的用户和物品一定是少数，因此传统的矩阵分解方法（例如SVD）不再适用。 用
【矩阵分解】优化方法-交替最小二乘ALS
数据与算法架构提升之路专栏
11-21 1102
ALS 算法是实现矩阵分解的一种方法，而矩阵分解是实现协同过滤的一种技术。ALS 通常用于协同过滤推荐系统中，尤其是当数据集很大且矩阵非常稀疏时。通过ALS算法的矩阵分解，可以有效地预测用户未明确表示偏好的物品评分，从而提供个性化推荐
【推荐系统入门到项目实战】（三）：矩阵分解和ALS算法
热门推荐
阿里云专家博主、数据科学领域优质创作者、统计er在读
10-31 2万+
矩阵分解（MF）是一种隐语义模型，它通过隐类别匹配用户和item来做推荐。User矩阵和Item矩阵，User矩阵每一行代表一个用户的向量，Item矩阵的每一列代表一个item的向量。将User矩阵和Item矩阵的维度降低到隐类别个数的维度。根据用户的行为，矩阵分解又可以分为显式矩阵分解和隐式矩阵在显式MF中，用户向量和物品向量的内积拟合的是用户对物品的实际评分在隐式MF中，用户向量和物品向量的内积拟合的是用户对物品的偏好(0或1)，拟合的强度由置信度控制，置信度又由行为的强度决定。
【矩阵分解】优化方法-交替最小二乘ALS(Alternating Least Squares)
凝眸伏笔的博客
05-27 6184
需要清楚，这里的ALS是求解的方法，类似SGD，前面将的SVD、Funk-SVD等方法，是构造了不同的损失函数。那么损失函数怎么求解得到参数解？ALS可以达到这一目的。
基于矩阵分解推荐算法之交替最小二乘法（ALS）--附实现代码
但行好事，莫问前程
10-13 5934
本文假定读者已经对以下内容有基本了解:      1) 协同过滤算法      2)基于模型的协同过滤算法；主要是基于矩阵分解的方法。知道如何将推荐和矩阵分解联系起来。      3)对矩阵分解有基本的认识 本文的目的：      本人的博客一直强调应用，对于任何的算法，会侧重对它的工程应用的介绍。相关的原理，推到演练不会涉及太深。所以本文也不会涉及太多这些方面的内容。
ALS计算CP分解
飞翔的红猪
03-11 1945
Tensor rank 众所周知，CP分解就是将一个张量分解为一系列秩一张量之和。 那么在计算CP分解之前，首先我们会遇到的一个问题就是如何确定张量的秩？也就是应该选择多少个秩一张量来组成原始张量呢？ 不幸的是，确定张量的秩是一个NP-hard问题，目前，已知的只能够确定一个张量秩的上界。 例如，对于一个一般的三维张量而言，χ∈RI×J×K\chi\in R^{I \times J \times K}χ∈RI×J×K, 它的秩遵循如下约束： 对于更多的关于张量秩的讨论不在这篇文章中提及，因此，在下面计算C
一文讲清协同过滤，矩阵分解，spark als,显示反馈与隐式反馈
qq_40450969的博客
08-27 1426
然后针对用户a消费的物品序列b,c,d分别得到对应的topk个相似物品（e,f,g），e的推测得分就为（b1*be+c1*ce+d1*de）/(be+ce+de)(其中b1,c1,d1是用户a针对b,c,d的评分，be,ce,de是b与e,c与e,d与e的物品相似度)。显式反馈：用户明确提供的反馈，例如评分、喜欢或不喜欢、喜欢的程度等。其中，c_ui是用户u对物品i的置信度，p_ui是用户u对物品i的偏好（如果用户u有过对物品i的行为，p_ui=1，否则p_ui=0），其他参数的含义与显式反馈的模型相同。
交替最小二乘与最小二乘法
Shellerine的专栏
10-18 4463
1.ALS是Alternating Least Squares，交替最小二乘。这是一种数值计算的方法。 2.在推荐系统中，我们经常需要计算矩阵分解。比如M是原本的评分矩阵，我们想找到两个矩阵P和Q使得， 或者  因为这里P和Q同时都是变量，计算会比较复杂。一个简单的方法是，固定其中一个，计算另外一个。 3.例如 先随机产生P0，然后固定P0，求解 然后再固定Q1，求解 之后再...
交替最小二乘法（ALS）的工作原理
最新发布
一起来研究langchain和langchain-chatchat
10-10 1709
首先，定义预测矩阵为 ( \hat{R} = UV^T )。我们的目标是最小化这个预测矩阵 ( \hat{R} ) 和实际评分矩阵 ( R ) 之间的误差。误差可以表示为：T)2 ]( E ) 是总的平方误差。( R_{ij} ) 是用户 ( i ) 对物品 ( j ) 的评分。( U_i ) 是用户 ( i ) 的特征向量（大小为 ( 1 \times k )）。( V_j ) 是物品 ( j ) 的特征向量（大小为 ( 1 \times k )）。
ALS 交替最小二乘
韦人人韦
10-11 3897
ALS算法是矩阵分解的一种，用于评分预测。 矩阵分解 假设我们有一批用户数据，其中包含m个User和n个Item, 用户和物品的关系是一个三元组，<user, item, rating>, 即用户对物品的评分，因此我们得到矩阵Rm×nR_{m\times n}Rm×n​, 其中的元素ruir_{ui}rui​表示第u个用户对第i个item的评分。 评分矩阵通常规模很大，并且通常是稀疏...
[协同过滤] : 交替最小二乘法
weixin_33754065的博客
06-08 542
[协同过滤] : 交替最小二乘法 1. 基础回顾 矩阵的奇异值分解 SVD （特别详细的总结，参考http://blog.csdn.net/wangzhiqing3/article/details/7446444） 矩阵与向量相乘的结果与特征值，特征向量有关。 数值小的特征值对矩阵-向量相乘的结果贡献小 1）低秩近似 2）...
【推荐系统】交替最小二乘法ALS和RSVD
Mankind的博客
03-18 2238
文章目录1.ALS算法2.RSVD算法 1.ALS算法   ALS（Alternating Least Square，交替最小二乘法）指使用最小二乘法的一种协同推荐算法。在UserCF和ItemCF中，我们需要计算用户-用户相似性矩阵/商品-商品相似性矩阵，对于大数据量的情况下很难处理好。那我们能否像PCA，word embedding那样，用低维度的向量来表示用户和商品呢？   ALS算法将us...
基于交替最小二乘法（ALS）算法的协同过滤推荐案例实战【Spark MLlib】
不清不慎的博客
05-27 1万+
交替最小二乘法（ALS）是统计分析中最常用的逼近计算的一种算法，其交替计算结果使得最终结果尽可能地逼近真实结果。而ALS的基础是最小二乘法（LS算法），LS算法是一种常用的机器学习算法，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便的求得未知的数据，并使得这些求得的数据与实际数据之间误差的平法和为最小。 最小二乘法 以一个变量为例，在二维空间中最小二乘法的原理图如下...
ALS(alternating least squares)交替最小二乘
云南省高校数据化运营管理工程研究中心的博客
10-10 7260
ALS(alternating least squares)交替最小二乘  ALS算法是2008年以来，用的比较多的协同过滤算法。它已经集成到Spark的Mllib库中，使用起来比较方便。1 矩阵分解  用户对物品的打分行为可以表示成一个评分矩阵A(m*n)，表示m个用户对n各物品的打分情况。如下图所示。 u\v v1 v2 v3 … u1 5 4 3 …
als算法参数_矩阵分解之交替最小二乘ALS
weixin_39583162的博客
01-14 737
ALS(alternating least squares)ALS是交替最小二乘的简称。在机器学习中，ALS特指使用交替最小二乘求解的一个协同推荐算法。如：将用户(user)对商品(item)的评分矩阵分解成2个矩阵：user对item 潜在因素的偏好矩阵(latent factor vector)item潜在因素的偏好矩阵假设有m个user和n个item，所以评分矩阵为R。ALS(alterna...
ALS推荐算法简介
来自Daisy和她的单程车票
04-12 2481
目录ALS(交替最小二乘法)1.1 原理推导2.1.1 ALS2.1.2 ALS-L2正则化2.1.3 Stochastic Gradient ALS2.1.4 隐式反馈(Implicit Feedback )2. 优缺点 ALS(交替最小二乘法) ALS (Alternating Least Squares) 交替最小二乘法。ALS 的核心是：打分矩阵R是近似低秩的。换句话说，一个打分矩阵 R ...
概率矩阵分解及ALS算法实现
longmaohu的博客
03-02 1131
推荐系统中最为主流与经典的技术之一是协同过滤技术（Collaborative Filtering），其中基于模型的协同过滤技术中尤为矩阵分解（Matrix Factorization）技术最为普遍和流行，因为它的可扩展性极好并且易于实现。矩阵分解在协同过滤共现矩阵的基础上，使用更稠密的隐向量表示用户和物品，挖掘用户和物品的隐含兴趣和隐含特征。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值