斯坦福大学公开课 ：机器学习课程（Andrew Ng）——10、无监督学习：Mixture of Gaussians and the EM Algorithm

最新推荐文章于 2026-03-25 10:06:36 发布
原创 最新推荐文章于 2026-03-25 10:06:36 发布 · 2k 阅读 · 0
本文深入探讨了使用期望最大化算法（EM）进行密度估计的过程，特别是混合高斯模型的应用。通过问题定义、混合高斯模型构建及EM算法的详细解释，文章揭示了如何将EM算法应用于混合高斯模型以实现参数估计。此外，通过对比与K-means的不同之处，阐述了EM算法在处理隐含随机变量方面的优势。

1）问题定义

2）混合高斯模型

3）EM算法



这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）【即混合高斯模型中的隐含随机变量clip_image016[3]=j的概率clip_image045】。

1）问题定义

    与k-means一样，给定的训练样本是clip_image002，我们将隐含类别标签用clip_image004表示。与k-means的硬指定不同，我们首先认为clip_image004[1]是满足一定的概率分布的，这里我们认为满足多项式分布，clip_image006，其中clip_image008，clip_image004[2]有k个值{1,…,k}可以选取。而且我们认为在给定

最低0.47元/天 解锁文章
斯坦福大学Andrew Ng机器学习个人笔记完整版
07-21
Andrew Ng机器学习总结的很好。欢迎下载
斯坦福大学公开课机器学习课程（Andrew Ng）十特征选择
一路前行
08-26 1709
课程概述： 1.VC维 2.模型选择 3.特征选择 一、VC维   对于一个模型来说，比如 logistic模型，如果有n 个feature，那么该模型会有 d=n+1个参数。虽然理论上说d个参数的取值都有无穷多个，使得模型集合无限大。但实际上，在计算机的表达中，比如每个参数都以64位Double型表示，那么共需要 64d位来表达这个模型集合，考虑到每个位有 0、1 两种
【斯坦福公开课-机器学习】1.机器学习的动机和应用（吴恩达 Andrew Ng）
Wu_Being 的CSDN 博客
05-19 1188
0三个目标 0先修课程要求 基本工具 基本资源 1-网址 2-邮箱 3-本系列课程链接 1机器学习的定义 1-1非正式定义 1-2正式的定义 2监督学习Supervised Learning 2-1回归问题连续拟合线预测房子价格 2-2分类问题离散数据恶性和良性肿瘤 3无监督学习Unsupervised Learing 4强化学习Reinforcement Learning 其他更
吴恩达机器学习上：线性回归、梯度下降（学习率）、多特征（向量化、特征缩放）、多项式回归
最新发布
weixin_54966200的博客
03-25 1251
吴恩达机器学习上：线性回归、梯度下降（学习率）、多特征（向量化、特征缩放）、多项式回归
最值得看的十大机器学习公开课
四纪启悟 · 数据科学
05-20 3971
在当下的机器学习热潮，人才匮乏十分显著。截至目前，国内开设人工智能（AI）专业的高校不多，相当多的开发者是跨界入门，需要自学大量知识并摸索。因而优质的学习资源至关重要。因此，雷锋网搜集了全世界范围内最受欢迎的机器学习课程，整理成这份“机器学习十大入门公开课”盘点，集中呈现给各位。这份推荐榜颇费心血，综合考虑了难易、侧重点、时效性等诸多因素，希望能帮助大家找到最适合自己的学习资源。 　　这些课
开发者入门必读：最值得看的十大机器学习公开课
xiangz_csdn的博客
01-17 3万+
[转] http://www.leiphone.com/news/201701/0milWCyQO4ZbBvuW.html 导语：入门机器学习不知道从哪着手？看这篇就够了。 在当下的机器学习热潮，人才匮乏十分显著。截至目前，国内开设人工智能（AI）专业的高校不多，相当多的开发者是跨界入门，需要自学大量知识并摸索。因而优质的学习资源至关重要。因
斯坦福大学公开课 ：机器学习课程（Andrew Ng）——1、整体看一看
mmc2015的专栏
01-02 4025
============================================================================【课程综述】============================================================================ 第一课时：     机器学习的定义【 The Definition of Ma
Andrew Ng机器学习课程笔记（十三）之无监督学习之EM算法
danerer的专栏
05-11 1778
Preface Jensen’s Inequality Expectation-Maximization Algorithm Preface Jensen’s Inequality（Jensen不等式） Expectation-Maximization Algorithm（EM算法） Jensen’s Inequality Expectation-Maximizati...
非监督学习之混合高斯模型和EM算法——Andrew Ng机器学习笔记（十）
A_cainiao_A
02-01 6050
0、内容提要这篇博文主要介绍： - 混合高斯模型（mixture of Gaussians model） - EM算法（Expectation-Maximization algorithm）1、引入假设给定一个训练集{x(1),...,x(m)}\{x^{(1)},...,x^{(m)}\}，任何一个样本都没有标签，我们的任务是将这些样本分类。我们前面介绍了k-means算法是解决这个问题的一种
EM算法介绍
10-24 334
在Mitchell的书中也提到EM可以用于贝叶斯网络中。 下面主要介绍EM的整个推导过程。 1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。 Jensen不等式表述如下： 如果f是凸函数，X是随机变量，那么 ...
斯坦福大学公开课 ：机器学习课程（Andrew Ng）——11、无监督学习：the derivation of EM Algorithm
mmc2015的专栏
01-06 1689
1）Convex Functions and Jensen’s inequality 2）Derivation of the EM-algorithm 1）Convex Functions and Jensen’s inequality if f is a convex function, X is r.v, then:      。 特别地，当且仅当，也就是说X是
Andrew Ng机器学习课程笔记（十六）之无监督学习之因子分析模型与EM算法
danerer的专栏
05-13 1834
Preface Jensen’s Inequality Expectation-Maximization Algorithm Preface Factor Analysis（因子分析模型） EM Algorithm for Factor Analysis Jensen’s Inequality Expectation-Maximization Algorithm...
【Andrew Ng】EM算法
weixin_42825609的博客
03-22 267
完整课件下载地址： http://page2.dfpan.com/fs/6lcj8221a291c6a7822/ 更多精彩文章请关注微信号：
从最大似然到EM算法浅解
热门推荐
zouxy09的专栏
01-24 41万+
从最大似然到EM算法浅解 zouxy09@qq.com http://blog.csdn.net/zouxy09 机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界
数据缺失的坑，无监督学习这样帮你补了
weixin_34032779的博客
11-07 524
无监督学习（UL）有很多没开发的潜力。它是一门从“未标记”数据中推导一个函数来描述其隐藏结构的艺术。但首先，从数据中找到其结构是什么意思呢？ 让我们来看以下两个例子： 气泡状分布：这个简单。任何人看到这张图都会认为它是由三个不同的簇组成的。如果你对统计学非常熟悉，你可能还会猜想它由三个隐藏的高斯分布构成。对一个新的数据样本，查看它的位置，人们就能推...
机器学习 cs229学习笔记3 (EM alogrithm,Mixture of Gaussians revisited & Factor analysis )
DarkScope从这里开始
11-19 8165
(all is based on the stanford's open-course cs229 lecture 13) 接上次笔记 机器学习 cs229学习笔记2 (k-means,EM & Mixture of Gaussians) 如何确定EM算法converge呢？ 当然是比较前后两次迭代的似然函数的大小，如果相差极小，则可以证明算法已经converge了 假设一次迭代开始时的参
Andrew Ng机器学习课程笔记（十四）之无监督学习之混合高斯模型与EM算法
danerer的专栏
05-11 1215
Preface Gaussian Mixture Model Jensen’s Inequality Expectation-Maximization Algorithm（EM） EM Algorithm for GMM Preface Gaussian Mixture Model（GMM，高斯混合模型） Jensen’s Inequality（Jensen不等式） Exp...
机器学习 cs229学习笔记2 (k-means,EM & Mixture of Gaussians)
DarkScope从这里开始
11-14 5850
（all is based on stanford's opencourse cs229 lecture 12） 首先介绍的是聚类算法中最简单的K-Means算法 ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
机器学习-- >无监督学习-- >EM算法
村头陶员外的博客
08-10 6521
本篇博文将详细总结机器学习里面一个非常重要的算法-EM算法。复习Jensen不等式若f是凸函数 凸函数即割线在函数线的上方。基本Jensen不等式：若，则有上面是针对离散情况，若对于连续情况可以推得：若有 on ，，则可得： 即有 其中E f(x) 表示f(x)在p(x)这样一个分布下的期望。EM算法前面的博文中讲到了K-means聚类算法，能够非常方便的 将未标记的样本分成若干簇，但无法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值