星辰系统：百万量级的细粒度查询意图识别

2020-02-27 58浏览

1.星辰系统：百万量级细粒度查询意图识别叶祺北京搜狗科技发展有限公司
2.
3.目录 • • • • 动机与目标现有方法框架与方法效果与应用
4.
5.动机与目标 • 搜索广告的现状 – 当前的搜索广告中，搜索引擎主要基于关键字匹配的搜索模式。 • 问题 – 查询短、特征稀疏、歧义强 – 字面匹配缺乏意图相关特征 – 广告缺乏相关性 – 伤害用户体验、造成客户无效消耗
6.动机与目标 • 目标 – 挖掘海量细粒度查询意图 – 建立查询与意图间映射关系 – 处理高频与长尾查询 – 高精确性与较高覆盖率
7.
8.现有方法 • Google的Google Rephil系统 – Google广告相关性的头号秘密武器 – 对词或短语片段聚类发现概念 – 百万量级的概念 – 基于Bayesian网络的推断方法 – 细节不公开
9.现有方法 • 识别意图的3类方法 – 短文本聚类 – Topic Modeling – 查询分类 • 特点 – 可发现细粒度意图、难覆盖长尾查询 – 不同数据集Topic难对应，短文本分析精确不足 – 一般含几十到上千个类，粒度较粗
10.
11.框架与方法 • 细粒度意图识别方法
12.框架与方法 • 星辰系统整体框架
13.查询聚类 • 构建Query同点击网络 – 基本假设：点击相同网页的查询意图相似 • 对网络进行社团划分 – 查询间的意图会有细微差别、误点情况 – 聚类算法要具有一定抗噪性 – 图挖掘中的社团发现算法
14.社团发现算法 • 社团的定义 – 网络中一群节点集合。 – 集合中节点间的内部链接很多，而集合中节点与外部网络的链接却很少。 • 传统方法 – 主要发端于 Girvan 与 Newman 于 2002 年提出的开创性工作 – 定义了一个质量函数 M. Girvan and M. E. J. Newman, PNAS 99, 7821 (2002). M. E. J. Newman and M. Girvan, Phys. Rev. E 69, 026113 (2004).
15.MMO算法 • MMO算法 • MMO算法的优点 – – – – 易于实现时间复杂度近似线性，空间复杂度为线性。推广到 Hadoop 并行环境中的运行避免生成极大的社团
16.同点击网络构造 • 数据集 – 2年的匿名点击日志 • 具体步骤 – 抽取query-URL的关系（1300万查询，1650万URL） – 如果两个query间有一个同点击，则在两个 query间连接一条边 – 得到查询同点击网络（1300万查询节点，8亿条边）
17.概念质量优化 • 聚类存在的问题 – 过大的不纯类 – 太多的细粒度聚类 • 聚类质量评估 – 聚类纯度 – 聚类间的相关性
18.查询意图推断 • 问题定义 – 将query的意图识别变为一个大规模多分类问题 • 关键步骤 – 候选分类概念 – 拒绝分类结果
19.查询意图推断 • 候选概念的发现
20.查询意图推断 • 拒绝项 – Query侧相关性： – 概念侧相关性：
21.
22.概念发现的结果 • 概念分布 • 概念举例
23.精确性与覆盖率 • 星辰系统的精确性与覆盖率 – 统计查询次数 • 精确性 97.4% • 覆盖率 61.3%
24.查询意图追踪
25.查询意图追踪
26.线上Demo系统
27.线上Demo系统
28.线上Demo系统
29.线上Demo系统
30.广告召回中的应用 • 广告召回应用 – 训练针对概念的商业性分类器 – 判断每个概念是否适合召回广告 – 线下计算每个概念和关键词的相关性 – 线下选择每个概念适合召回的关键词链 – 线上判断query所属概念，根据概念召回
31.广告质量保证中的应用 • 广告质量保证 – 线下确定概念是否适合展示广告 – 线下确定概念不适合展示的关键词 – 线下确定概念不适合展示的广告类别 – 黑名单过滤 Qi Ye, Feng Wang, and Bo Li. 2016.StarrySky:A Practical System to Track Millions of High-Precision Query Intents. In Proceedings of the 25th International Conference Companion on World Wide Web (WWW '16 Companion). 961-966.
32.