【文献阅读笔记】Unsupervised Deep Embedding for Clustering Analysis

原创 已于 2024-01-22 09:15:50 修改 · 1.6k 阅读 · 26
标签
#笔记 #embedding #机器学习 #神经网络
于 2024-01-11 13:08:23 首次发布
文章介绍了一种名为DeepEmbeddedClustering(DEC)的无监督学习方法，它利用深度神经网络同时学习特征空间和聚类分配。DEC通过迭代优化基于KL散度的目标函数，自动生成特征表示并改进聚类效果。这种方法在特征空间选择和聚类任务中提供了一种数据驱动的解决方案。

标题（paper）：Unsupervised Deep Embedding for Clustering Analysis

期刊 + 时间 + 有无源代码： Proceedings of the 33 rd International Conference on Machine
Learning + 2016 + 没收集

作者： Junyuan Xie， Ross Girshick， Ali Farhadi

方法名及缩写： Deep Embedded Clustering
(DEC)

算法框架： 使用从当前软聚类分配中派生的辅助目标分布来迭代地改进聚类。这个过程逐步改进了聚类和特征表示。

DEC的工作原理是迭代优化基于KL散度的聚类目标和自训练目标分布。

流程图 ： 在这里插入图片描述

DEC模型分为两个部分：（1）自编码器用于参数初始化；（2）参数优化(即聚类)。

主要创新点： 利用深度神经网络同时学习特征空间和分配聚类。

动机： 特征空间的选择通常作为应用程序特定的细节留给最终用户来决定。然而很明显，特征空间的选择是至关重要的;除了最简单的图像数据集，在原始像素上使用欧几里德距离聚类是完全无效的。在本文中，我们重新审视了聚类分析，并提出了一个问题：我们能否使用数据驱动的方法来共同解决特征空间和聚类隶属关系?

目标函数：

第一部分：自编码器作非线性映射：fθ:X→Zf_{\theta}:X\to Zfθ​:X→Z 其中θ\thetaθ是可以学习的参数，ZZZ潜在特征表示。

DEC：

（1）初始化参数θ\thetaθ和{ μj}j=1k\{\mu_j\}^k_{j=1}{ μj​}j=1k​k个类的类中心点。

（2）利用KL散度进行聚类：

  • 第一步计算软聚类
    qij=(1+∥zi−μj∥2/α)−α+12∑j′(1+∥zi−μj′∥2/α)−α+12, q_{ij}=\frac{(1+\|z_i-\mu_j\|^2/\alpha)^{-\frac{\alpha+1}2}}{\sum_{j^{\prime}}(1+\|z_i-\mu_{j^{\prime}}\|^2/\alpha)^{-\frac{\alpha+1}2}}, qij​=∑j′​(1+∥zi​−μj′​∥2/α)−2α+1​(1+∥zi​−μj​∥2/α)−2α+1​​,
    α\alphaα是Students t 分布的自由度（α=1\alpha=1α=1）

    qijq_{ij}qij​是样本iii被分配到第jjj个类的概率

  • KL 散度最小化
    L=KL(P∥Q)=∑i∑jpijlog⁡pijqij. L=\mathrm{KL}(P\|Q)=\sum_i\sum_jp_{ij}\log\frac{p_{ij}}{q_{ij}}. L=KL(P∥Q)=i∑​j∑​p

最低0.47元/天 解锁文章
Unsupervised Deep Embedding for Clustering Analysis
Christo的博客
10-10 727
聚类是许多数据驱动应用领域的核心，在距离函数和分组算法方面得到了广泛的研究。相对较少的工作集中在学习聚类表示上。在本文中，我们提出了深度嵌入聚类（DEC），这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射，在该空间中迭代优化聚类目标。我们对图像和文本语料库的实验评估显示出比最先进的方法的显着改进。本文提出了一种在联合优化特征空间中对一组数据点进行聚类的算法Deep Embedding Clustering。
【数据聚类|深度聚类】Unsupervised Deep Embedding for Clustering Analysis(DEC)论文研读
快乐江湖的博客
03-01 1293
如何优化。
Unsupervised Deep Embedding for Clustering Analysis(DEC)
weixin_44441131的博客
06-25 3650
0. 写在前面 这篇文章发表在2016年，算是比较早的文章，但很值得去看，算法深度无监督聚类的一个经典文章，本博客从模型、LOSS来讲，实验部分不着重讲。 1. 摘要 摘要部分，作者主要告诉我们DEC模型的聚类不是从数据本身来聚类，而是学习到数据到隐空间的映射，然后设置了聚类优化目标来学习隐空间的聚类，该模型不是生成模型，类似于K-means，选取了聚类中心，然后让数据自动逼近自己所属的聚类中心。 2. 介绍 这部分主要讲明该模型的三大贡献 （a）深度嵌入和聚类的联合优化; （b）通过软分配进行新颖的
【论文笔记】Unsupervised Deep Embedding for Clustering Analysis（DEC）
qq_44055705的博客
04-02 5457
【论文笔记】Unsupervised Deep Embedding for Clustering Analysis（DEC） 文章题目：Unsupervised Deep Embedding for Clustering Analysis 作者：Junyuan Xie，Ross Girshick，Ali Farhadi 关键词： 时间：2016 来源：ICML paper：http://proceedings.mlr.press/v48/xieb16.html , https://arxiv.org/pd
[文献阅读] Unsupervised Deep Embedding for Clustering Analysis （DEC）（pytorch复现）
weixin_53834244的博客
01-26 2809
无监督的深度嵌入式聚类 Unsupervised Deep Embedding for Clustering Analysis http://arxiv.org/abs/1511.06335为了解决使用Kmeans传统聚类的在高维空间失效的问题，该论文首先提出将KL散度用于聚类损失，并使用这一损失调整一个预训练的编码器（堆叠自编码器DAE）。称为深度嵌入聚类（DEC），这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。为了使KL散度更好应用于聚类任务，文章创设性的设置了KL散度中两个分布，
论文笔记：Unsupervised Deep Embedding for Clustering Analysis
qq_44015059的博客
06-10 4185
前言 转载自：https://blog.csdn.net/SCS199411/article/details/90759274 至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。对于所有最简单的图像数据集，使用欧氏距离的聚类完全失效。本文希望找到一种方案，可以联合解决特征空间学习与聚类关系判别。 基于此本文提出了一种深度嵌入聚类方法(Deep embedded clustering) 论文链接：https://arxiv.org/abs/1511.0633
Unsupervised Deep Embedding for Clustering Analysis论文介绍
SCS199411的博客
06-03 6212
Unsupervised Deep Embedding for Clustering Analysis 1.Introduction 聚类在无监督机器学习中由这几个方面进行了研究：如何定义一个类？什么是正确的距离矩阵？如何对数据进行有效聚类？如何验证聚类结果？至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。对于所有最简单的图像数据集，使用欧氏距...
Unsupervised Deep Embedding for Clustering Analysis论文阅读
qq_40746182的博客
05-26 538
Unsupervised Deep Embedding for Clustering Analysis论文阅读   拖更了很长一段时间处理各种个人事情，今天分享一篇论文阅读，利用DNN框架进行聚类的方法的论文。  本篇文章首先的理论思路灵感很大程度上来源于2008年的t-SNE论文——Visualizing Data using t-SNE，所以今天会结合两篇论文一起进行一个分析。后者主要是用于高维数据的降维可视化过程。t-SNE技术方法中的核心思想是，对于高维空间XXX和低维空间YYY当中的两个点X1,X
Python深度学习：从入门到实战
最新发布
weixin_45747731的博客
03-30 305
亲爱的读者，欢迎您翻开这本书。我们即将探索的，是深度学习的宇宙——一个由数据、算法与算力构筑的奇妙世界。它既是严谨的科学，也是创造的艺术，更是一条通往未来智慧的修行之路。本书将带您从最基础的数学原理出发，亲手搭建神经网络，驾驭Transformer等前沿模型，最终将智慧转化为现实世界的价值。请放下畏惧，保持好奇。这不仅是一次知识的学习，更是一场思维的远行。来，随我一起，开启这趟非凡的旅程吧。
DEC：Unsupervised Deep Embedding for Clustering Analysis
GYY8023的博客
02-27 1445
Unsupervised Deep Embedding for Clustering Analysis 摘要 DEC是一个使用深度神经网络同时学习特征表示和聚类分配的方法。它学习从数据空间到低维特征空间的映射，其中迭代地优化聚类目标。 ...
深度聚类（Deep Clustering）及其主要分类
Frankie0910314的博客
05-23 3909
深度聚类（Deep Clustering）: 是指将深度学习技术与传统聚类方法相结合，通过深度神经网络学习数据的高层次表示（特征），然后在这些表示上进行聚类分析。其目标是利用深度学习强大的特征提取和表示能力，改进传统聚类方法在高维、复杂和多模态数据上的表现。
Deep Embedded Clustering with Asymmetric Residual Autoencoder
qq_44944580的博客
10-09 720
出于为了解决AE中的梯度消失，是否可以使用残差网络或者dense net解决的心态，我搜到了这篇文章Deep Embedded Clustering with Asymmetric Residual Autoencoder。 本文的亮点： 使用了一个非对称的、残差的autoencoder来训练样本； 将clustering融合入模型，解决end-to-end问题； 非对称训练得到的AE更加适合clustering； 因为将模型融合，导致AE的训练存在一些constraint（满足clu.
【亲测免费】 Deep Embedded Clustering (DEC) 项目教程
gitblog_00443的博客
10-11 932
Deep Embedded Clustering (DEC) 项目教程 1. 项目介绍 Deep Embedded Clustering (DEC) 是一个基于深度学习的无监督聚类算法，由CSDN公司开发的InsCode AI大模型实现。该项目的主要目标是利用深度嵌入技术来提高聚类分析的准确性和效率。DEC 算法的核心思想是通过训练一个深度神经网络来自动学习数据的特征表示，然后将这些特征用于聚类任...
自监督学习（五）Unsupervised Deep Embedding for Clustering Analysis
weixin_47444348的博客
05-04 4791
Unsupervised Deep Embedding for Clustering Analysis
ICML-2016《Unsupervised Deep Embedding for Clustering Analysis》
Christo的博客
05-03 822
DEC通过深度神经网络联合优化特征表示和聚类分配，提出了一种高效、鲁棒的 unsupervised clustering 方法。其核心目标函数基于 KL 散度，通过迭代软分配和目标分布匹配实现优化。论文的贡献在于方法创新、性能提升和实际应用价值，为后续深度聚类研究奠定了重要基础。
《Unsupervised Deep Embedding for Clustering Analysis》论文学习
Weyoung_的博客
03-01 7255
1. Introduction             聚类在无监督机器学习中由这几个方面进行了研究：如何定义一个类？什么是正确的距离矩阵？如何对数据进行有效聚类？如何验证聚类结果？至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。For all but simplest image datasets,使用欧氏距离的聚类完全失效。本文希望找到一种...
论文笔记-DEC (Deep Embedded Clustering)
weixin_45739483的博客
11-08 2898
论文笔记-DEC (Deep Embedded Clustering）知识点1.将聚类的度量参考T-SNE中的t-分布，将聚类的度量转换成一个概率值（软分配，qij 表示将样本 i 分配给 j 簇的概率）：知识2. 作者定义一个辅助分布 p ，通过KL散度衡量 p 和 q 两个分布构造损失函数L 论文原文：http://proceedings.mlr.press/v48/xieb16.pdf 知识点1.将聚类的度量参考T-SNE中的t-分布，将聚类的度量转换成一个概率值（软分配，qij 表示将样本 i 分配
探索无监督聚类新境界：深度嵌入聚类（Deep Embedding Clustering, DEC）
gitblog_00562的博客
08-24 1340
探索无监督聚类新境界：深度嵌入聚类（Deep Embedding Clustering, DEC） 随着机器学习和深度学习的飞速发展，如何在无需标签数据的情况下高效地进行数据聚类成为一个炙手可热的研究话题。今天，我们为你介绍一个开创性的开源项目——基于Keras实现的Deep Embedding Clustering(DEC)，该技术源自ICML 2016上发表的一篇论文。 项目介绍 DEC是Ju...
【转】Deep Clustering Algorithms
boooiaji的博客
01-02 1594
全文转载自 https://www.cnblogs.com/kailugaji/p/12105939.html 阅读目录(Content)Deep Clustering Algorithms1. Deep Embedded Clustering1.1 Stochastic Neighbor Embedding (SNE)1.2 t-SNE1.3 Deep Embedded Clustering(DEC)2. Improved Deep Embedded Clustering(I
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值