背景及简单介绍

基于深度学习的CTR预估模型用处已经很广泛，模型也提出了很多，比如wide&deep，DCN，DIN等等。但是许多模型在计算特征交互时用的还是较简单的方法：比如Hadamard乘积或者内积，而很少去关注特征的重要性。本文提出了一种新的CTR预估被称为FiBiNET，该模型名是Feature Importance and Bilinear feature Interaction NETwork的缩写。一方面，FiBiNET可通过Squeeze-Excitation network动态学习不同特征的重要性权重，因为不同的特征其实对目标预测的重要性是不一样的，比如在一个人的收入时，职业的特征肯定比爱好的特征来的更加重要；另一方面，通过双线性变换函数从更加细粒度的角度高效学习特征的交互。通过结合DNN，deep FiBiNET模型在realworld datasets 上取得了很好的性能。

相关工作

Squeeze-and-Excitation Network（SENet）模块

上图是SENet的Block单元，图中的 [公式] 是传统的卷积结构，X和U是[公式]的输入（C’H’W’）和输出（CHW），这些都是以往结构中已存在的。SENet增加的部分是U后的结构：对U先做一个Global Average Pooling（图中的 [公式] ，作者称为Squeeze过程），输出的11C数据再经过两层的全连接（图中的 [公式] ，作者称为Excitation过程），最后用sigmoid（论文中的self-gating mechanism）限制到[0，1]的范围，把这个值作为scale系数乘到U的C个通道上，作为下一级的输入数据。这种结构的原理是想通过控制scale的大小，把重要的特征增强，不重要的特征减弱，从而让提取的特征指向性更强。

模型结构

Sparse Input and Embedding layer
首先是输入层和Embedding层，和常规的DeepFM，AFM等模型没什么区别，输出是 [公式] ，其中f是特征fields的数目， [公式] ,表示第i个field的embedding向量，维度为k。

SENET Layer

输入是embedding层输出的 [公式] ，SENET Layer输出一个权重向量 [公式] ，每个值都对应一个特征field。然后将该权重向量与embedding层的输出相乘得到： [公式] 。

展开来说，SENET一共三个步骤：

squeeze step：计算每个field embedding的概况统计（summary statistics）。使用max或者mean pool针对每个field得到一个统计向量： [公式] 。其中mean pool的效果要好于max pool，这也很好理解，因为embedding提取出来的k维度的向量，如果只是取最大的一个值是会损失很多信息的。
Excitation：根据向量Z计算每个field embedding的权重，使用的是两层FC：

Re-Weight：将原来的field embedding与Excitation步骤输出的A向量逐元素相乘：

3. Bilinear-Interaction

传统的特征交叉方式广泛采用了内积(fm,ffm等)和哈达玛积(AFM,NFM等)。其中内积可被表示为：

哈达玛积可被表示为：[公式] 。而这两种方式在稀疏数据上很难有效对特征交叉进行建模。文章提出结合内积和哈达玛积并引入一个额外的参数矩阵W来学习特征交叉。如上图有半部分所示： [公式] 和W之间是内积，W和 [公式] 之间是哈达玛积。

交叉向量 [公式] 可通过三种方式得到：

Field-All Type：这种情况下，所有特征组交叉时共享一个参数矩阵W，额外参数量为W矩阵的大小k×k。
Field-Each Type：每个特征组field i维护一个参数矩阵Wi，额外参数量为(f-1)kk。
Filed-Interaction Type：每对交互特征[公式] 都有一个参数矩阵 [公式] 。额外参数量为0.5*(f-1)kk。
最终，交叉层由原始的特征组embedding向量E以及SENET层输出的embedding向量V分别得到交叉向量p和q。

Combination Layer

组合层将交叉向量p和q进行拼接操作：

若直接对c向量中的元素进行求和并使用一个sigmoid函数输出，则得到一个浅层的CTR预估模型，若将该向量输入深度神经网络，则得到一个深度CTR预估模型。

Deep Network

输入是组合层的输出c，通过几层的MLP转化，最后通过sigmoid函数输出CTR的预估值 [公式] 。

Output Layer

实验

浅层FiBiNET

深层FiBiNET

参考文献：

https://arxiv.org/pdf/1905.09433.pdf
https://blog.csdn.net/u012151283/article/details/95234555
https://zhuanlan.zhihu.com/p/32

本文转载自Alex-zhai知乎账号。

原文链接：https://zhuanlan.zhihu.com/p/76698689

创作场景

新浪微博 FiBiNET：结合特征重要性和双线性特征交互进行 CTR 预估