​李宏毅机器学习——对抗生成网络（GAN）

原创 已于 2022-11-28 09:27:20 修改 · 3k 阅读 · 12
标签
#1024程序员节
于 2022-10-24 18:05:32 首次发布
本文详细介绍了对抗生成网络（GAN）的基本概念，包括生成器与鉴别器的运作机制，以及GAN在动画人脸生成、序列生成等方面的应用。文章还探讨了GAN的训练目标、Wasserstein距离、模型评估指标Inception Score和FID，以及训练过程中可能遇到的挑战，如模式塌缩和多样性问题。

代码部分参考：李宏毅机器学习作业6-使用GAN生成动漫人物脸_iwill323的博客-CSDN博客

目录

基本概念介绍

生成器（generator）

什么时候需要输出一个分布

Generative Adversarial Network (GAN)

​discriminator（鉴别器）

GAN的基本思想和算法

应用实例

Anime Face Generation（动画人脸生成）

Progressive GAN——真实人脸生成

The first GAN

BigGAN

设定目标与训练

GAN 的训练目标：让生成器产生的与真实数据之间的分布接近

借助Discriminator 的力量计算 Divergence

从Objective Function到JS divergence

使用其他的divergence

JS divergence存在的问题

PG和Pdata重叠的范围很小

重叠部分少导致的问题

Wasserstein distance

Wasserstein distance概念：另一种计算divergence的方法

Wasserstein distance好处

计算方法和WGAN

GAN is still challenging

GAN for Sequence Generation

Conditional Generation(CGAN) 

cycle GAN

实现方式

More style-transfer GAN

StarGAN

Text Style Transfer

文本摘要

无监督翻译

无监督语音辨识

生成器效能评估

图片质量：对一张图片

图像的多样性：对所有（一批）图片

模型崩溃Mode Collapse

Mode Dropping

Mode Collapse与Mode Dropping的区别

如何衡量生成图片的多样性

量化指标

Inception Score (IS)

Frechet Inception Distance (FID)

We don’t want memory GAN

其他的评估办法

总结

基本概念介绍

生成器（generator）

区别于给定x输出y的神经网络，现在给神经网络的输入添加一个从简单分布（Simple Distribution）中随机采样的变量，生成一个复杂的满足特定分布规律的输出（Complex Distribution）

分布：高斯分布、均一分布

z所选择的不同的distribution之间的差异并没有真的非常大，generator会想办法把这个简单的distribution对应到一个复杂的distribution。所以可以简单地选择“正态分布”

方法：

  • X，Z两个向量直接接起来，变成一个比较长的向量，作为network的input
  • X跟Z正好长度一样，相加以后当做network的input 

什么时候需要输出一个分布

当我们的任务需要一点创造力的时候，一个输入有多种可能的输出，这些不同的输出都是对的，但又只需要输出一个对象，这时就需要使用generator，在网络中加入随机输入，让网络在复杂分布中随机选择一个对象输出（输出有几率的分布）。

Generative Adversarial Network (GAN)

GAN是众多generator中比较有代表性的一个，而GAN的种类也非常多，常常会出现重名的GAN和奇奇怪怪的GAN名字。

以unconditional generation（不考虑x，只考虑z）为例，假设Z是从一个normal distribution里采样出来的向量，通常会是一个low dimensional的向量，维度是你自己决定的，丢到generator裡面，输出一个非常高维的向量，希望是一个二次元人物的脸

discriminator（鉴别器）

Discriminator也是一个神经网络（可以考虑使用CNN、transformer等），可以将generator输出的图像转换成数字，越接近于1，说明图像越真实，品质越高。

GAN的基本思想和算法

generator和discriminator是对抗关系，discriminator通过真实的图像来监督generator的图形生成，两者不断相互进化。

1、随机初始化generator和discriminator。

2、固定generator不变，更新discriminator。

将generator产生的图像和数据库样本比较，让discriminator分辨二者之间的差异，从而把二者区分开。具体地说，就是 real ones 经 0过 D，输出值大（接近 1），generator 产生的数据 (generated ones) 经过 D，输出值小（接近 0）。

该训练可以当作分类的问题来做（把样本当作类别1，Generator產生的图片当作类别2），然后训练一个classifier；也可以当作regression的问题来做（样本对应输出1，generator產生的图形对应输出0）

3、固定discriminator不变，更新generator。

从gaussian distribution采样作為generator输入，產生一个图片，把这个图片丢到Discriminator裡面，Discriminator会给这个图片一个分数，Generator训练的目标是要Discriminator的输出值越大越好，说明它产生的数据可以以假乱真

4、不断循环上述过程，直至产生很好的图像

实际中可以把 generator 和 discriminator 组成一个大的网络结构，如下图所示，前几层为 generator，后几层为 discriminator，中间 hidden Layer 的输出就是 generator 的输出，更新generator的时候就只更改前面几层，而更新discriminator的时候就只更改后面几层。

理解：

Generator 或 Discriminator每次只有一个在训练。训练时，所掌握的是对方上一轮训练的信息。其实这就像是双方每一次交手后，知道对方最新的技术水平，然后回去提升自己。精妙，但是对训练过程提出了更高要求：如果其中一个训练过程中某几步loss上升，就会对另一个的训练会产生负面影响，后者又可能会对前者产生负面影响，恶性循环，导致训练“坏掉”。

应用实例

Anime Face Generation（动画人脸生成）

Progressive GAN——真实人脸生成

生成“没有看过的\连续变化的”人脸。generator输入一个向量 输出一张图片。把输入的向量,做内插interpolation，看到两张图片之间连续的变化。

The first GAN

BigGAN

设定目标与训练

GAN 的训练目标：让生成器产生的与真实数据之间的分布接近

从给定简单的 Normal Distribution 采样数据，经过 Generator，得到的输出分布PG，使其接近目标分布Pdata。于是要计算PG与Pdata这两个分布之间的距离，用Divergence表征，找一个genenrator尽量使Divergence小。

问题在于我们无法知道PG和Pdata的分布。GAN 告诉我们，不需要知道 PG 跟Pdata的分布具体长什麼样子，只要能从 PG 和 Pdata这两个分布中采样，就有办法算 Divergence。

关于采样：从数据库裡面随机采样一些图片出来，就得到 Pdata；从 Normal Distribution 裡面采样向量丢给 Generator，让 Generator 產生一堆图片出来，那这些图片就是从 PG采样出来的结果

借助Discriminator 的力量计算 Divergence

Discriminator训练目标是看到Pdata给一个较高的分数，看到PG给一个比较低的分数。这个 Optimization 的问题如下（要Maximize 的东西叫 Objective Function，如果 Minimize 就叫它 Loss Function）：

之所以写成这个样子，是因为在最开始设计时，希望在训练Discriminator时能够按照分类问题的方式考虑，事实上这个 Objective Function 就是 Cross Entropy 乘一个负号。Discriminator可以当做是一个分类器，它做的事情就是把从 Pdata 采样出来的真实 Image当作 Class 1，把从 PG 采样出来的假 Image当作 Class 2，训练过程等价于训练一个二元分类器。

从Objective Function到JS divergence

经过推导可以发现，𝑉(𝐷,𝐺)的最大值和JS divergence相关，详细的证明请参见 GAN 原始的 Paper。直观上也可以理解：如果Discriminator 很难分辨 PG 和 Pdata，没办法准确打分，那么Objective Function的最大值就比较小，所以小的 Divergence对应小的Max 𝑉(𝐷,𝐺)，反之假如PG 和 Pdata 很不像，divergence大，Discriminator 很容易就把两者分开了，得到的Max 𝑉(𝐷,<

最低0.47元/天 解锁文章
生成对抗网络（GAN) 使用DCGAN或StyleGAN在CelebA数据集上生成人脸图像。
斌擎科技
04-20 1246
生成对抗网络（GAN）是一种强大的深度学习模型，用于生成与训练数据相似但新颖的样本。GAN由两个神经网络组成，一个生成器和一个判别器。生成器的目标是生成与真实数据相似的样本，而判别器的目标是将生成的样本与真实样本区分开来。通过对抗性训练，生成器和判别器逐渐变得更加有效，最终生成的样本与真实数据非常接近。在本篇博客中，我们将介绍如何使用DCGAN或StyleGAN在CelebA数据集上生成人脸图像。
对抗生成网络（Generative Adversarial Network）
MapleStory的博客
12-20 1856
本课程是针对李宏毅教授在Youtube上上传的机器学习课程视频的学习笔记。课程视频地址Introduction Outline Basic Idea of GAN When do we need GANIntroduction某人在Quara上的问题：非监督学习领域最近有没有什么突破性的进展呢？Lecun大神亲自回答：对抗训练可能是有史以来（since sliced bread，有一个好东西出现的意
【李宏毅】-生成对抗式网络（GAN）
m0_51474171的博客
04-10 1309
输入不再是只是x，还有一个simple distribution（样本分布），输出也是一个分布。尤其在任务需要的时候，需要分布。
P11机器学习--李宏毅笔记GAN（对抗生成网络）
u013373155的博客
11-13 1468
GAN的基本概念 GAN的训练方法 训练GAN的目标 Model Collapse Model Dropping 计算多样性 Conditional GAN Condtitional GAN+Supervised learing cycle Gan
台湾大学李宏毅机器学习课程
06-04
李宏毅（（Hung-yi Lee）目前任台湾大学电机工程学系和电机资讯学院的助理教授，他曾于2012年获得台湾大学博士学位，并于2013年赴麻省理工学院（MIT）计算机科学和人工智能实验室做访问学者。他的研究方向主要是语义理解、语音识别、机器学习和深度学习）老师的机器学习课程以机器学习和深度学习的基础知识为主，包含了AI领域的各种最新知识和技术点。课程深入简出，通俗易懂，颇受欢迎，非常适合对AI感兴趣的学习者。本课程已经获得李宏毅老师授权。
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Generative Adversarial Network 生成式对抗网络（GAN）
热门推荐
知不足而奋进，望远山而前行
11-10 2万+
下面是小精灵游戏画面，有很多小精灵在“迷宫”里走动。现给出一个需求，需要通过当前的游戏画面，预测下一帧的画面传统神经网络的做法是，将前面一帧或几帧的画面图片作为特征，当前画面图片作为标签进行训练，目的是使得通过历史画面，输出的画面和当前画面越接近越好。有人按照这样的思路做了，结果出现了一个问题，小精灵在走到岔路口时，会一分为二，分裂成两个小精灵，这是为什么呢？这是因为在岔路口时，即使是同样的历史画面，小精灵也有可能向左走或者向右走，所以在训练集里，很存在这样“矛盾”的标签，即同样的特征，但是输出不同，为了满
B站学习视频资源
小岁月太着急
08-11 1084
ppt下载地址 【李宏毅机器学习2019(国语)】“Machine Learning (Hung-yi Lee, 2019)” by 李宏毅 http://t.cn/Exykrk9 video:http://t.cn/Exykrk【李宏毅深度强化学习(国语)课程(2018)】“Deep Reinforcement Learning, 2018” by 李宏毅 http://t.cn/RBtg...
李宏毅作业十 Generative Adversarial Network生成对抗网络(代码)
闲看庭前雪的博客
11-20 1884
Generative Adversarial Network 生成对抗网络前言一、生成对抗网络1.生成对抗网络是什么2.数学公式二、代码1.下载数据2.数据预处理3.随机种子4.模型5.准备训练6.训练开始7.使用生成器生成图片总结 前言 本篇以代码为主，不过多涉及理论。 平台colab，语言python 一、生成对抗网络 1.生成对抗网络是什么 生成对抗网络中包含了两个模型，一个是生成模型G，另一个是判别模型D，下面通过一个生成图片的例子来解释两个模型的作用： 生成模型G：不断学习训练集中真实数据的概
[2022]李宏毅深度学习与机器学习第六讲（必修）-GAN
weixin_45920982的博客
11-28 907
将产生的东西放到一个分类，如果分布比较集中，那么效果就不错，但是这种方法不一定有用，可能会出现model collapse，可能他产生的图片一直是某几张，Diversity比较小。生成器的目标是，让生成的分布和真是分布尽可能地相近，这里就有很多不同的方法衡量，比如，Js Divergence、KL Divergence，但是要如何计算就成了一个问题，因为我们不知道两个是什么分布。因为两个模型是互动的，一旦一个出现问题，那么train 可能就停下来了，两个模型一定要棋逢对手，这是一个前瞻的技术，有待解决。
李宏毅机器学习笔记：GAN
qq_43711697的博客
08-30 5061
前言 主要记录李宏毅机器学习2021中介绍GAN部分的笔记，从GAN的发展开始到GAN的基本理论再到GAN生成的评价方法最后到介绍流行的GAN方法。 一、GAN的基本介绍 GAN的全名是Generative Adversarial Network生成对抗网络，其主要的目的是为了让训练机器让机器能够自主生成相对应类型的图片，其中生成器generator就是GAN中进行生成相对应类似分布的网络，而鉴别器Discriminator就是判别生成器生成是否为真假的网络，鉴别器通过将输入的图像转换成一个判别值来判断真
李宏毅 Generative Adversarial Network（GAN）生成对抗网络
Karen_Yu_的博客
01-21 1899
machine learning就是去找一个函数，input一个东西，output另一个东西。如果是regression task，就output一个数值，如果是classification task，就是output一个class。如果我们遇到的问题是一个更复杂的问题，不是output一个数值/class，可能是一个sequence、matrix、graph、tree。这个task就是structured learning。
【学习笔记-李宏毅】GAN（生成对抗网络）全系列（一）
iioSnail的博客
07-06 4361
前言 相关链接 1. Introduction 1. 1 Basic Idea of GAN 1.2 GAN as structured learning 1.3 Generator可以自己学吗？ VAE（Variational Auto-encoder） 2. CGAN, Conditional Generation by GAN 2.1 discriminator的架构改进 2.2 Stack GAN 2.3 Image-to-image 2.4 Speech Enhancement（提升语音的质量）
机器学习（26）回顾gan+文献阅读
qq_45800507的博客
03-17 1515
本文主要讨论了生成式对抗神经网络。首先，本文介绍了生成式对抗网络的设计思路。在此基础下，本文阐述了GAN的网络结构以及训练过程。生成器与解释器相互迭代，随着更新，生成器的效果趋近于真实图片。其次，本文展示了题为Generative Adversarial Networks论文的主要内容。这篇论文提出了生成式对抗网络的网络结构以及训练过程，该模型填补了生成任务方面神经网络的空白。此外，这篇论文还从理论角度证明了生成器的数据分布能够达到全局最优以及训练算法的可收敛性。
机器学习（李宏毅）——GAN
最新发布
Dlog的博客
02-13 1375
机器学习（李宏毅）——GAN
生成式对抗网络（GAN）（李宏毅2022）
linyuxi_loretta的博客
10-24 2856
我们。
李宏毅机器学习第十七周周报GAN
weixin_44162879的博客
11-18 429
本文主要讨论了生成式对抗神经网络。首先，本文介绍了生成式对抗网络的设计思路。在此基础下，本文阐述了GAN的网络结构以及训练过程。生成器与解释器相互迭代，随着更新，生成器的效果趋近于真实图片。其次，本文展示了题为Generative Adversarial Networks论文的主要内容。这篇论文提出了生成式对抗网络的网络结构以及训练过程，该模型填补了生成任务方面神经网络的空白。此外，这篇论文还从理论角度证明了生成器的数据分布能够达到全局最优以及训练算法的可收敛性。
李宏毅机器学习作业6-使用GAN生成动漫人物脸
iwill323的博客
11-17 3192
使用GAN生成动漫人物脸
李宏毅机器学习_GAN
m0_68477761的博客
08-05 638
本周学习了关于生成式对抗网络的内容，GAN由一个生成网络和一个判别网络组成，生成网络从随机噪声中生成新的数据实例，判别网络尝试区分生成的数据实例和真实数据实例。生成网络和判别网络之间的竞争促进了生成网络的能力，使其能够制造出越来越逼真的数据。GAN的主要优点在于能够生成高质量、逼真的数据，这使得GAN在许多领域得到广泛应用，包括图像生成、超分辨率、风格迁移和数据增强等。然而，GAN也存在一些局限性，例如训练的稳定性问题，模式崩溃等。
李宏毅机器学习GAN的笔记
XiaoQiXiaoWei_J的博客
01-27 3003
搜索网页以及视频，对GAN的笔记，仅供参考，加入了很多自己的理解
对抗生成网络GAN系列——DCGAN简介及人脸图像生成案例
秃头小苏的博客
10-11 1万+
​  前段时间，我已经写过一篇关于GAN的理论讲解，并且结合理论做了一个手写数字生成的小案例，对GAN原理不清楚的可以点击☞☞☞跳转了解详情。🌱🌱🌱GAN网络即是通过生成器和判别器的不断相互对抗，不断优化，直到判别器难以判断生成器生成图像的真假。​   那么接下来我就要开始讲述DCGAN了喔，读到这里我就默认大家对GAN的原理已经掌握了，开始发车。🚖🚖🚖​   我们先来看一下DCGAN的全称——。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值