Product-based Neural Network(PNN) - 学习笔记

引言

这篇工作的着眼点是在特征交叉方面，提出了一个乘积层(product layer) 来对多个领域(field) 的特征进行充分的特征交叉。其中，product layer包含两种形式，分别是内积形式(inner product)和外积形式(outer product)。

整体的模型结构

上图是PNN的整体模型架构，这里简单介绍一下。

$Input$是经过one-hot编码的稀疏向量，经过$Embedding$层生成稠密的特征向量矩阵$x$。$x[star{t}_i:en{d}_i]$表示第$i$个$field$的特征向量。

在$ProductLayer$中，包含$z$和$p$两部分，$z$是由$"1"$信号和某个$field$的特征组合而成，其实表示的是原始特征的恒等映射：
$$z=(z_1,z_2,...,z_N)=(f_1,f_2,...,f_N)$$
$p$是由任意两个$field$的特征交叉而成:
p={pi,j},i=1...N,j=1..Npi,j=g(fi,fj) p = \left\{p_{i,j}\right\},i=1...N,j=1..N\\ p_{i,j} = g(f_i,f_j) p={pi,j​},i=1...N,j=1..Npi,j​=g(fi​,fj​)
对于内积操作，$g(f_i,f_j)=<f_i,f_j>$；对于外积操作，$g(f_i,f_j)=f_i{f}_j^T$

得到$z$和$p$之后，通过以下公式进一步得到$l_z$和$l_p$：
$$\begin{gathered} l_z=(l_z^1,l_z^2,...,l_z^n,...,l_z^{D_1}) \\ {l}_p=(l_p^1,l_p^2,...,l_p^n,...,l_p^{D_1}) \\ {l}_z^n=W_z^n\odot z \\ {l}_p^n=W_p^n\odot p \\ A\odot B\triangleq \sum _{i,j}{A}_{i,j}{B}_{i,j} \end{gathered}$$

$l_1$层的表达式为：
$$l_1=relu(l_z+l_p+b_1)$$
$l_2$层的表达式为：
$$l_2=relu(W_2{l}_1+b_2)$$
最后的输出为：
$$\hat{y}=\sigma (W_3{l}_2+b_3)$$

基于内积的Product Layer

内积操作的表达式为$g(f_i,f_j)=<f_i,f_j>$，文章里进行了计算复杂度的讨论，有兴趣可以查看原文。作者为了减少复杂度，对$W_p^n$进行了比较强的假设：
$$W_p^n={\theta }^n{\theta }^{n^T}$$
通过这样的假设，$l_1$的表达式可以简化为：
$$W_p^n\odot p=\sum _{i=1}^N\sum _{j=1}^N{\theta }_i^n{\theta }_j^n<f_i,f_j>=<\sum _{i=1}^N{\delta }_i^n,\sum _{i=1}^N{\delta }_i^n>$$
其中，${\delta }_i^n$可以看作是向量$f_i$乘以权重${\theta }_i^n$。通过以上推导，$l_p$可以改写为以下形式：
$$l_p=(||\sum _i{\delta }_i^1||,...,||\sum _i{\delta }_i^n||,...,||\sum _i{\delta }_i^{D_1}||)$$

基于外积的Product Layer

由于外积操作的表达式为$g(f_i,f_j)=f_i{f}_j^T$,计算复杂度事非常高的，所以采用先池化再相乘的操作，以降低复杂度，具体可以看原论文：
$$\begin{gathered} f_{\sum }=\sum _{i=1}^N{f}_i \\ p=\sum _{i=1}^N\sum _{j=1}^N{f}_{\sum }(f_{\sum }{)}^T \end{gathered}$$