李宏毅——一天搞懂深度学习PPT学习笔记

李宏毅一天搞懂机器学习PPT，SildeShare链接：https://www.slideshare.net/tw_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from_search=3
也可以在csdn下载中下载（资源附学习笔记全文）：https://download.csdn.net/download/wozaipermanent/11998637

1 Introduction of Deep Learning

1.1 Three Steps for Deep Learning

• Step1: define a set of function (Neural Network)
• Step2: goodness of function
• Step3: pick the best function

1.2 Step1: Neural Network

1.2.1 Fully Connect Feedforward Network

1.2.2 Output Layer(Option)

• Softmax(归一化指数函数)：它能将一个含任意实数的k维向量Z“压缩”到另一个k维向量$\sigma (Z)$中，使得每一个元素的范围都在(0, 1)之间，并且所有元素的和为1。

1.2.3 Example Application

• Handwriting Digit Recognition
  

1.3 Step2: Goodness of Function

1.3.1 Learning Target

1.3.2 Loss

• Total Loss:

1.4 Step3: Pick the Best Function

1.4.1 Gradient Descent

• RBM(Restricted Boltzmann Machine): 受限玻尔兹曼机，这部分可以参考链接：https://zhuanlan.zhihu.com/p/22794772

• Then Compute $\partial L/\partial w$ , if Negative then Increase w; elif Positive then decrease w

• η \eta