写点什么

Field-aware Neural Factorization Machine 阅读笔记

  • 2019-12-02
  • 本文字数:621 字

    阅读完需:约 2 分钟

Field-aware Neural Factorization Machine阅读笔记

提出 Field-aware Neural Factorization Machine 模型,该模型可以通过 FFM 模型构造二阶的交互特征,也可通过 DNN 构建更高阶的交互特征。


FNFM 模型结构如下:



  • Input Layer:x = [x1; x2; . . . ; xf ] ,其中 f 表示特征组的个数,如果是 sparse 的离散特征,xi 就是 one-hot 向量,如果是 dense 的数值特征,就是一个 scalar。

  • Embedding Layer:和传统的做法一样,通过 embedding 层映射到低维度向量。为了交叉合并离散特征和数值特征,dense 的特征也可以通过 embedding 层做处理。

  • Bi-Interaction Concatation Layer:设 xi 和 xj 分别是属于特征组 fi 和 fj 的两个输入特征,那么 second-order feature 交互向量的计算为:

  • 其中的计算符号表示向量间的 element-by-element product operation。 vi,fj 表示输入 xi 和特征组 fj 交互时的向量,vj,fi 表示输入 xj 和特征组 fi 交互时的向量,也就是相同的输入特征与不同的特征组特征交互时,使用的是不同的向量。然后将所有的交互向量 concat 起来。这里有一个创新点:就是传统的 BI 层中采用的是 pooling 层,而这里采用的是 concat 层,原因是为了最大的程度的保留信息不会损失。



Normalization Layer:之后是 BN 层,原因是经过 BI 层之后,输出会变得很不稳定,分布很不均匀。


Multiple Layer Perceptron (MLP) :负责提取高阶的特征。


损失函数还是选择 negative log-likelihood function:




实验结果



本文转载自 Alex-zhai 知乎账号。


原文链接:https://zhuanlan.zhihu.com/p/69503826


2019-12-02 16:242614

评论

发布
暂无评论
发现更多内容

惊艳!四份SpringSecurity笔记带你玩转金三银四的面试题集!

996小迁

Java 架构 面试 springsecurity 笔记

【JS】函数实参与形参

德育处主任

JavaScript 大前端 js 28天写作

极客时间架构 1 期:大作业二 学习大总结

Null

极客时间架构 1 期:大作业一 根据业务编写指定输出系统概要设计

Null

Java并发编程实战(2)- Java内存模型

技术修行者

Java 并发编程 happens-before 多线程

HDFS SHELL详解(2)

罗小龙

hadoop 28天写作 hdfs shell

重学JS | 聊聊闭包

梁龙先森

大前端 编程语言 28天写作

智能合约DAPP软件APP开发|智能合约DAPP系统开发

系统开发

同城快递系统架构

Jacky.Chen

能上能下

张老蔫

28天写作

智慧城市发力,区块链助力土木建设数据存储

CECBC

土木建设

即时通讯的原理和历史

v16629866266

[0/28]软件质量的那点事(1)———引言

L3C老司机

软件测试 软件质量

强!腾讯老兵亲荐“从零开始学架构”教你如何成为出色的架构师?(整整2000页的笔记)

比伯

Java 编程 架构 面试 程序人生

价值 - 风险管理(二)

石云升

读书笔记 风险管理 28天写作 价值

有技术和落地,区块链才能创造价值

CECBC

区块链

搭建自己的MinDoc文档库

后台技术汇

28天写作

别小看 Log 日志,它难住了我们组的架构师

Java架构师迁哥

架构师训练营 1 期:大作业(二)

piercebn

架构师训练营第 1 期

APICloud AVM多端开发 | 企业app开发解析:案例展示、加盟申请功能源码

YonBuilder低代码开发平台

大前端 小程序flutter, 跨平台 APICloud

大作业二

fmouse

架构师训练营第 1 期

太过完美!滴滴全球首发Spring5+SpringMVC5+Mybatis3.X全彩小册

Java架构追梦

Java 源码 架构 滴滴 ssm

金三银四将至!我肝了万字的Java垃圾回收,看完你还敢说不会?

编程 面试 JVM

DeFi去中心化DAPP系统开发的知识科普

W13902449729

去中心化金融 DeFi去中心化系统开发

大作业(一)

橘子皮嚼着不脆

大作业(二)

橘子皮嚼着不脆

京东T7团队技术4面:线程池+索引+Spring +分布式锁+Mysql+项目等

Java架构之路

Java 程序员 架构 面试 编程语言

面试大揭秘!从技术面被“虐”到征服CTO,全凭这份强到离谱的pdf

Java架构之路

Java 程序员 架构 面试 编程语言

最新区块链科普图书《区块链进化史》上市

CECBC

区块链 科普

去中心化DAPP系统APP开发|去中心化DAPP软件开发

系统开发

高频量化交易机器人系统开发技术

薇電13242772558

区块链 策略模式

Field-aware Neural Factorization Machine阅读笔记_语言 & 开发_Alex-zhai_InfoQ精选文章