luda 特征交叉模型系列之DeepFM
前言
上一期我们介绍了由Google提出的Wide & Deep Learning （WDL）模型，虽然这款模型把深度学习带入了推荐系统，具有划时代的意义。但是由于这款模型中的特征交叉还是需要expert进行手动设计，这从一定程度上还是跟特征工程的设计一样需要耗费大量的人力。本期将介绍一款由华为和哈工大提出的特征自动组合的模型——DeepFM [1]。
问题背景
之前WDL模型中的宽度模型部分，是需要人工做特征交叉处理的，但是这需要耗费expert大量的知识来做手动设计处理。那么，我们怎么能自动进行特征交叉呢？
DeepFM模型的提出
受到Factorization Machine（FM）的影响，我们可以借助FM实现对特征的自动交叉，即使用FM替代WDL中的特征手动交叉，然后在使用权重矩阵实现对特征重要性的学习。以下是DeepFM模型的架构图。
整体的模型架构是很简单的，并且没有新的设计，只是将以往的理论结合起来的一个简单模型结构。
实验
实验部分，作者使用了公司内部的业务和开源数据集Criteo作为实验数据，以下是对照结果，可以看出DeepFM的效果：
总结
DeepFM在WDL的基础上，将手动的特征交叉替换为FM作为自动二阶特征交叉，实现了模型的特征自动重组，极大地扩充了特征库，增强了模型的泛化能力。由于DeepFM模型的简单性，目前也在很多大型互联网公司的业务中有所部署。
参考文献
[1] H. Guo, R. Tang, Y. Ye, Z. Li, and X. He, "DeepFM: A factorization-machine based neural network for CTR prediction," IJCAI Int. Jt. Conf. Artif. Intell., vol. 0, pp. 1725–1731, 2017, doi: 10.24963.
如果你喜欢我的文章，欢迎关注我的微信公众号【软客圈】（ID：recoquan）
纯手工打造，实属不易，欢迎大家分享和转发~
原创内容，转载需注明出处，否则视为侵权并将被追诉！