DOC: Deep Open Classification of Text Documents

老师问的问题

  1. 1D CNN 卷积如何做?

  2. 这里 Loss 函数如何做?

    image-20201127105404844

这个 Loss 函数就是把该类作为正类,其他所有的都是负类。 I 是指示函数,p(yj=li)=Sigmoid(dj,i)p(y_{j}=l_{i}) = Sigmoid(d_{j,i})p(yj=li)=Sigmoid(dj,i) 第j 个文档,d的第i维输出。

DOC: Deep Open Classification of Text Documents

这篇文章目标:制造一个 m+1 分类器,保证训练集中 m 类正确划分,还要把 unseen data 分到剩下一类中。

方法:

  • 网络

  • image-20201125125918649

    w2v -> 1D CNN -> Max pooling -> h -> ReLU, FC -> d1:md_{1:m}d1:m -> 1-vs-Rest Layer

  • 1-vs-Rest Layer: 在全连接层后面每个输出,都加上 sigmoid 函数,作为该类的预测概率。然后 loss function 是
     Loss =∑i=1m∑j=1n−I(yj=li)log⁡p(yj=li)−I(yj≠li)log⁡(1−p(yj=li)) \begin{aligned} \text { Loss }=& \sum_{i=1}^{m} \sum_{j=1}^{n}-\mathbb{I}\left(y_{j}=l_{i}\right) \log p\left(y_{j}=l_{i}\right) \\ &-\mathbb{I}\left(y_{j} \neq l_{i}\right) \log \left(1-p\left(y_{j}=l_{i}\right)\right) \end{aligned}  Loss =

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值