AutoML在推荐系统排序模型的探索与应用（上） 张俊林
2020-03-01 272浏览
- 1.AutoML在推荐排序网络结构搜索的应用 张俊林 新浪微博
- 2.
- 3.
- 4.
- 5.LR模型：手工特征工程
- 6.LR+GBDT：特征工程+高阶特征自动组合
- 7.FM模型：自动二阶特征组合
- 8.Wide & Deep：特征工程+隐式自动特征组合 Wide网络LR模型，无FM组合 两个不同的输入结构 Wide部分手工特征工程+Cross 特征 Wide &Deep是相对原始的深度模型
- 9.DeepFM：二阶特征组合+隐式高阶特征组合DeepFM:可以看作把Wide & Deep的LR换成FM； 特征组合部分+DNN部分共享输入层； 目前State of the Art 深度模型
- 10.xDeepFM：显示+隐式多阶特征组合 FM Function=多阶组合=类CNN的结构
- 11.
- 12.召回阶段：多路召回à模型Embedding统一召回 策略化à模型化 传统多路召回 索引召回àEmbedding召回 多路召回à统一召回 典型多路召回
- 13.排序模型发展史：特征工程自动化 2017以来我们在这里 人工特征工程à特征工程自动化
- 14.排序模型发展现状：DNN Ranking的困境 深度学习两大里程碑： 图像领域àResNet(Skip Connection) NLP领域àBert模型(两阶段：预训练+Fine-tuning) DNN Ranking模型的困境： 模型太肤浅，没深度; 没有模型具有突破性的效果提升; 缺乏好的大规模公开数据集：公开数据 vs.私有数据; 我们期待DNN Ranking的ResNet&Bert高光时刻;
- 15.排序模型发展现状与趋势：细粒度特征 完备而简洁的DNN模型 今日头条系目前采用的是这个模型 当然，也有缺点：缺乏细粒度的用户行为刻画 趋势1：细粒度特征及特征组合的细致化 （W&D/DeepFM／DeepFFM/DIN/DIEN etc）
- 16.排序模型发展现状与趋势：显示特征组合 趋势2：显示特征组合（xDeepFM/Deep&Cross etc.） 结论：2阶组合最重要，三阶组合有帮助，四阶组合不确定 推断：这条路走不远
- 17.排序模型发展现状与趋势：特征抽取器 MLP (OK,but not good) CNN (不是好选择) RNN (辅助结构OK) 趋势3：特征抽取器的进化 现状：还没有找到很合适的 18年年中AI Lab尝试过，效果与DeepFM相当 Transformer (OK,还没证明自己)
- 18.排序模型发展现状与趋势：多模态融合 Facebook 商品推荐多模态融合模型 阿里/京东也有类似的工作 微博环境下情况要比电商复杂 初步尝试图片embedding，较好效果（By 李言迪／吴玲玲 ） 趋势4：多模态（文本，图片，视频，音频…. etc.） 优势：DNN在多模态融合方面天然比传统模型有优势 推断：大有前景，工程能力要求高，任重道远
- 19.排序模型发展现状与趋势：多目标 趋势5：多目标（点击，互动，时长….. etc.） 问题：单目标融合策略，不同目标的权重， 如何模型化？
- 20.排序模型发展现状与趋势：多任务 行为漏斗：浏览>点击>互动>购买 趋势6：多任务（迁移学习，数据量多任务向数据量少任务迁移知识） 现状：互联网公司里，很多任务数据量够多。更多地体现在行为漏斗中。
- 21.排序模型发展现状与趋势：List Wise 趋势7：Point wise->List Wise （流排序 instead of 微博打分） 优势：单点最优未必是流整体最优（增强学习） 难点：训练数据难及模型实现复杂，效率低
- 22.排序模型的未来：****敏感词*** LR模型 DeepFM模型 5年后的？？模型 假设我们站在5年后看现在的推荐模型
- 23.排序模型的未来：****敏感词*** 大饼卷一切 by 歌手：李亮节 吃大饼有花样也能炒焖烩 刚烙得最好吃它卷嘛吃都行 大饼卷炒鸡蛋好吃又好看 大饼果子配豆浆是味道特别浓 大饼卷上炖牛肉它怎么吃都吃不腻 大饼卷素丸子它架炮往里轰 天对地雨对风是大陆对长空 大饼他卷一切咱吃的是内容
- 24.排序模型的未来：AutoML+Ranking Embedding卷一切 AutoML卷一切 AutoML+Ranking：特征自动化à模型自动化 附赠思考题：算法工程师的未来？…...........如果还有未来的话….
- 25.排序模型的未来：AutoML+Ranking 我们的尝试： 去年（2018）下半年微博AI Lab 做过尝试：AutoML+Ranking 基本构件：onehot-embedding／MLP隐层/FM层/Skip-connection…. AutoML方法：强化学习 结果及我的结论： AutoML找出的最优结构，效果略微比DeepFM好，不太多；
- 26.排序模型的未来：排序模型也许没有未来 问题：召回和排序两阶段模型，是否可以融合为单阶段模型？ 思想实验：让我们假设我们拥有一个光速版的Ranking模型…. 推论：技术的发展，也许现在我们可以拥有单阶段模型（成本）….
- 27.
- 28.
