14 知识图谱的落地与实践

2020-03-01 151浏览

1.《知识图谱: 概念与技术》第 14 讲知识图谱落地与实践肖仰华复旦大学 shawyh@fudan.edu.cn
2.概述 2018/8/30 第 1 章：知识图谱概述 2
3.产业化概览知识图谱产业概览知识图谱数据与服务构建大规模通用知识图谱和领域图谱，为机器认知提供背景知识百科图谱商情图谱垂直图谱底层支撑系统与产品 1）支撑知识图谱运作的混合型系统，提供高效稳定的查询； 2）领域知识图谱构建的工具集成系统，提供知识图谱构建能力 KW 提供领域知识图谱构建与应用咨询服务或落地解决方案，给华为、电信、移动、阿里巴巴、滴滴等数十家应用单位提供了知识图谱解决方案。智能数据获取系统图数据库系统知识库构建工具集 2018/8/30 知识图谱咨询与方案第 1 章：知识图谱概述 3
4.技术体系服务数据系统百科问答实体链接知识库验证码信息抽取智能水军商情图谱百科图谱其他图谱工商、产品、投融资、诉讼、专利软著、商标人物、字词、地理、经济、军事、科学、社会影视、音乐法律、食物智能信息获取图数据管理
5.知识图谱能力体系应用实体理解文本实体化实体同义词图片实体化同义实体识别搜索推荐三元组补全清洗补全纠错类别补全属性补全构建支撑 AVP检索 Type检索描述检索标注抽取样本优化众包垂直领域工商音乐法律影视金融 …. 推理开放领域文本相似性文档标签化文本提问对答外链版本更迭实体识别关系抽取概念识别中文 OpenIE 实体链接关系分类体系构建概念抽取纯文本事实抽取分布式爬虫领域数据标注知识库问答知识库对话关系标注概念标注 SameAs外链众包反馈版本更迭远程监督文档摘要传递性推理错误检测众包反馈文本理解意图理解更新 DBpedia类别链接中英文跨语言链接半结构化数据抽取智能爬虫百度百科中文维基移动端支持优先级调度多语言支持验证码破解智能枚举屏蔽检测互动百科 … 多网段支持并行调度多OS支持代理发现深度爬取屏蔽规避周期更新局点同步基于日志的更新融合图管理主动更新属性值分割冲突消解属性融合属性值归一化图划分查询分发图缓存图嵌入关联查询社团查询图推理社团搜索最短路查询关键词查询基于mongo 数据的管理基于关系数据库的管理
6.本章大纲 • 概述 • 领域知识图谱 • 应用案例 • 知识图谱平台 • 知识图谱系统 2018/8/30 第 1 章：知识图谱概述 6
7.领域知识图谱 2018/8/30 第 1 章：知识图谱概述 7
8.提纲 • 1、什么是领域知识图谱DKG？ • 2、领域知识图谱与通用/开放领域知识图谱的关系是什么？ • 3、为何需要符号化表示的知识图谱？ • 4、为什么需要领域知识图谱？ • 5、领域知识图谱系统的生命周期？ • 6、领域知识图谱的知识如何表示？ • 7、领域知识图谱如何构建？ • 8、领域知识图谱的评价标准？ • 9、领域知识图谱如何存储？ • 10、领域知识图谱如何查询？ • 11、领域知识图谱如何使用？ • 12、领域知识图谱落地的最佳实践？ • 13、领域知识图谱还存在哪些挑战？ 8
9.1、什么是领域知识图谱？ • Knowledge Graph is a large scale semantic network • Consisting of entities/concepts as well as the semantic relationships among them • Domain-specific Knowledge Graph • Knowledge graphs for specific domains 知识图谱富含实体、概念、属性、关系等信息，使得机器理解与解释成为可能医学知识库代码知识库军事知识库电信知识库工商知识库电商知识库计算机知识库网络运维知识库一带一路知识库各类领域知识图谱 9
10.NoKG (Not only KG): 从“小”知识到“大”知识 • 传统知识工程，专家构建，代价高昂，规模有限；知识边界易于突破，难以适应大数据时代开放应用到规模化需求 • 大规模开放应用需要“大”知识（大规模知识库） Ontology,Frame Logic rules Bayesian network Big Knowledge Decision tree Small knowledge+ big data= big knowledge 知识图谱引领知识工程复兴 10
11.2、DKG与GKG的关系？-区别 • DKG与GKG在知识表示、获取与应用等方面有着显著差异知识表示知识获取知识应用 DKG GKG 广度窄宽深度深浅粒度细粗质量要求苛刻高专家参与重度轻度自动化程度低高推理链条长短应用复杂性复杂简单 11
12.DKG与GKG的关系-联系 • DKG是从GKD通过隐喻得到领域知识隐喻简单事实、世界知识通用知识基本常识(时间、空间、因果) 隐喻 ... 人类的知识架构 12
13.领域行业应用对于知识需求难以闭合领域知识开放知识行业应用中的知识需求难以封闭于预设的领域知识边界内 13
14.DKG与GKG的关系-联系 • GKG对于DKG有着显著支撑作用领域KG 领域KG … 领域KG Deep 补充完善 1.提供高质量的事实 2.提供基本的领域Schema 通用知识图谱 Wide 通用知识图谱与领域知识图谱的关系 14
15.3、为何需要符号化表示的知识图谱？ • 符号表示与分布式表示是两种重要的知识表示方式符号化表示分布式表示 DKG DR（Distributed Representation）显式隐式可解释（易理解）难解释（难理解）可推理难推理符号表示数值表示面向人面向机器 15
16.4、为什么需要领域知识图谱DKG 大数据时代需要知识引擎释放大数据价值形成行业认知能力实现简单工作自动化人工智能时代需要机器智脑实现自然人机交互 16
17.将领域知识赋予机器，解放人类脑力领域知识的积累与沉淀是智能化的必经路径依赖领域专家的传统信息化缺点成本高效率低传统信息化领域知识将领域知识赋予机器，实现简单知识工作自动化优点高度自动化效率高未来智能化
18.以政府领域知识图谱为例政府治理数据融合共享开放为政务数据的普适融合提供必要的元数据为政务数据的理解与洞察提供丰富的背景知识决策分析为政府治理的决策分析提供可解释依据政府治理领域知识图谱创新应用为基于政府数据的深度应用提供推理框架
19.5、领域知识图谱系统的生命周期？起点知识表示知识应用知识获取知识管理领域知识图谱的迭代周期 19
20.6、DKG中知识如何表示？ • 三元组SPO表示 • • • • <七里香, MV导演，邝盛> <七里香，发行时间，2004年08月03日> <七里香，填词，方文山> <七里香，歌曲原唱，周杰伦> • 跨媒体表示 • 文本、图片、视频 • 时空语义扩展 • 时间维度/空间维度 Tesla Model S （贝拉克·奥巴马，职业，美国总统，2009年1月20日，2017年1月20日）（唐纳德·特朗普，职业，美国总统，2017年1月20日，--）（复旦大学，类别，公立大学，121.4989（经度），31.2932（纬度）通过文字、图片和视频来表示实体“Tesla Model S” （Tesla Model S，图片，“//123.jpg”）（Tesla Model S，视频，“//123.avi”） 20
21.7、DKG如何构建？领域知识图谱构建的基本流程
22.7.1 模式设计 • 目标 • 把认知领域的基本框架赋予机器 • 步骤 • 概念层设计 • 指定领域的基本概念，以及概念之间subclassof关系 • E.g.,足球领域，足球运动员是运动员的子类 • 属性定义 • 明确领域的基本属性，明确属性的适用概念，属性值的类别或者范围 • E.g., “效力球队” 的 domain为 “足球运动员”，range为 “球队” • 约束规则定义 • E.g., 多值属性约束：出生日期（单值约束），获得奖项（多值约束） • E.g., 互逆属性约束：“隶属球员” 和 “效力球队” 为互逆属性 22 DBpedia Ontology,http://mappings.dbpedia.org/server/ontology/classes/
23.7.2 明确数据来源 • 目标 • 明确建立领域知识图谱的数据来源 • 来源分类 • • • • 互联网上的领域百科爬取通用百科图谱的导出内部业务数据的转换外部业务系统的导入结构化数据半结构化数据 D2R转化器规则抽取器知识图谱文本抽取器非结构化数据不同数据来源通过不同的知识获取方式构建知识图谱 • 选择建议 • 选择结构化程度相对较高、质量较好的数据源，以尽可能降低知识获取代价 23
24.7.3 词汇挖掘 • 目标 • 识别出领域中的重要短语和词汇 • 典型示例：叙词表 • 涵盖的大都是领域的主题词，及这些词汇之间的基本语义关联 • 步骤 • • • • 识别领域的高质量词汇识别同义词识别缩写词识别领域的常见情感词 “川普”  “特朗普” “Trump”  “特朗普” Jiawei Han, etc.,. Mining Quality Phrases from Massive Text Corpora 24
25.7.4 实体发现 • 目标 • 识别出领域中的常见实体 • 意义 • 理解领域文本和数据的关键一步 • 步骤 Guillaume Lample etc., Neural Architectures for Named Entity Recognition • 实体识别 • 实体归类 • 实体链接知识工场实验室的实体链接DEMO 25
26.7.5 关系发现 • 目标 • 填充知识库中的关系实例 • 问题分类 • 关系分类 • 将给定的实体对（entity pairs）分类到某个已知关系 Stanford Open Information Extraction, • “李娜”-“姜山”  “丈夫”，“教练”https://nlp.stanford.edu/software/openie.html• 关系抽取 • 从文本中抽取某个实体对的具体关系 • “姜山曾先后两次成为李娜的教练”  (“李娜”，“教练”， “姜山”） • 开放关系抽取 • 从文本中抽取出实体对之间的关系描述 • “上海隔东中国海与日本九州岛相望”  (“上海”，“相望”， “日本九州岛”） 26
27.7.6 知识融合 • 目标 • 融合来自不同数据源的知识 • 步骤 • 实体对齐 • 识别不同来源的统一实体 • E.g.,复旦大学，复旦公学，fudan，复旦 … • 属性融合跨语言知识融合 • 识别同一属性的不同描述 • E.g.，英文名，英文名称 • 值规范化 • 规范化到统一格式 • E.g., 175cm, 1.75, 1米75 Effective Online Knowledge Graph Fusion 27
28.7.7 质量控制 • 目标 • 提升知识图谱的质量 • 步骤 • 知识补全 • 基于预定义规则：E.g., “如果一个人出生是中国，推断其国籍也可能是中国” • 从外部互联网文本数据进行补充： E.g., 鲁迅身高，需要从互联网文本寻找答案进行补充” 基于图中环结构的自动错误 isA关系识别方法。Taxonomy 中的环倾向与包含错误isA关系 • 知识纠错 • 基于规则 • 互逆属性纠错：A 妻子 B， B 老公 C • 图结构纠错：概念和实例构成的 Taxonomy中存在环 • 知识更新 • E.g., “战狼同款饰品” 基于Taxonomy中传递性推断的缺失关系推断 28
29.7.8 人工干预 • 目标 • 提升知识图谱的质量 • 步骤 • 人工编辑知识工场实验室推出的KADE 系统，能够所见即所得的知识图谱编辑 • 知识编辑工具支持用户添加、编辑和修改 • 众包构建 • 利用众包手段将很多知识获取任务分发下去 • 《未来人机区分》：利用知识问答形式的验证码来做知识获取基于文本理解的超级验证码可以实现大规模众包化知识获取 29
30.8、DKG如何评价？规模（全）质量（准）实时（新） DKG 30
31.9、DKG如何存储？ • 数据库选型依据 • 操作复杂度规模 • 全局计算 • 多步遍历 • 复杂子图 Graph DB Graph DB • 知识库规模 • 节点 • 关系 • 密度 NoSQL DB Relational DB Graph DB • 三元组中存储哪些信息？ • 关联事实操作复杂度 31
32.10、DKG如何查询？ • SPARQL • 优点：表达能力强、可推理 • 缺点：较复杂、难书写、复杂查询执行代价高昂 e.g., 找到所有朋克摇滚（Punk Rock）风格的乐队和它的成员名 • SQL • 优点：简单，普及 • 缺点：表达能力相对较弱 32
33.11、DKG如何应用？搜索推荐问答解释决策 33
34.DKG落地实践案例领域内容状态效果应用政务知识图谱构建政务知识图谱，实现市民服务的精准推荐已上线服务600万上海市民推荐 “一带一路”地缘环境知识图谱展示“一带一路”沿线国家的地缘环境，支撑专家决策已上线为某部门的信息决策起到了重要的支撑作用决策多媒体素材知识图谱针对多媒体素材，实现精准推荐和智能索引开发中对多媒体素材的管理、推荐和检索，强化了平台的实用性搜索、推荐代码知识图谱针对公司内部数千代码库，上百万已上线条代码难以复用的现状，加以规整，便于检索为几万名公司软件工程师提供了代码检索功能，代码平均搜索时间从10分钟降低到1分钟搜索运营商业务知识图谱丰富的搜索召回和个性化推荐，运营商的知识管理和分析支撑平台已上线在与运营商的服务层面，显著提升了业务的复用率。决策、分析商业情报知识图谱降低企业获取商业的门槛，帮助发现并对接客户、友商、供应商开发中让商业信息的管理流程化，对接成功率提升明显决策、分析电信知识图谱为电信营销、运营提供支撑已上线有力支撑了上海电信的互联网营销平台（每年数千万产值），技术转移给移动的方案中推荐电子商务知识图谱构建电商图谱，实现商品智能推荐已上线部分品类下的商品销售率提高了2.8个百分点搜索、推荐
35.12、DKG落地有哪些最佳实践？ • 应用引领 • 避难就简技术 • 结构化-> 半结构化->非结构化 • 避免从零开始 • 以通用图谱中的领域图谱作为种子 • 问题：如何有效发现领域实体与关系？军事通用图谱 • 跨领域迁移 • 从邻近领域迁移 • 问题：如何迁移具有共性的知识？法律工商文娱 35
36.13、DKG还存在哪些挑战？知识表示知识获取知识应用 •知识图谱只能表达简单关联事实，对于时空语义、跨媒体语义支撑力度不够 •领域样本缺失现象严重，手工构建代价高昂；稀疏样本下的高质量自动化构建缺乏有效手段 •领域知识图谱在行业的深入应用中仍缺乏有效手段，特别是推荐、推理与解释。如何增强知识图谱的语义表达能力？如何实现稀疏样本如何深化基于领域下的图谱自动构建？知识图谱智能应用？ 36
37.应用案例 2018/8/30 第 1 章：知识图谱概述 37
38.基于代码知识图谱的搜索与推荐管理 • 贴合全球最大规模软件项目实际情况代码的搜索引擎，管理对象为代码仓库，包括代码，项目，程序员等。 project database 类型类型类型上位词 django 作者上位词作者 mongodb 共现 mysql 属于 bob 属于关联 code2 类型 code1 类型 • 平均代码搜索时间从10份中降低到一分钟 alice project1 关联 • 实现某代码平台的精准、高效搜索 user code
39.运营商业务分析智能化解决方案 • 项目背景 • 通过知识图谱实现更丰富的搜索召回和更精准的个性化推荐，为运营商业务知识管理和分析提供支撑 • 关键技术/模块 • Kade知识库编辑系统 • 搜索、推荐技术 • 落地应用成果 • 已作为基础组建集成进入某大型民营企业知识管理平台 2018/8/30 39
40.商业情报分析智能化解决方案 • 项目背景 • 该系统实现面向企业商业情报分析，旨在降低企业获取商机的门槛，帮助企业发现并对接客户、友商、供应商。事件事件源文本理解图谱源 B2b网站、业务填充智能信息获取 • 与河南省某孵化器公司深度对接，帮助其旗下数百家中小型企业发现商业机会。 2018/8/30 爬取、解析、清洗、融合智能信息获取文本标签化、实体链接关联分析、知识推理用户画像与个性化推荐 • 落地应用成果用户查询、消息推送实体识别与链接、关联分析、标签化 • 关键技术 • • • • 商机支撑图谱构建 schema设计与校验、众包构建、三元组抽取、概念抽取、更新风险资讯查询知识图谱 40
41.司法智能辅助审判 • 项目背景 • 为提高简单案件的审判效率，减少宝贵的司法资源的浪费，本项目建立了一套智能判案辅助机器人系统，为当事人提供专业的案件咨询，案件风险评估，法院服务和法律援助等。 • 关键技术 • 专家系统、知识推理 • 结构化信息抽取 • 落地应用成果 • 与上海市长宁区人民法院对接，已在民间借贷案由下取得初步成果， 2018/8/30 41
42.一带一路地缘环境知识图谱 • 项目背景 • 展示一带一路沿线国家的地缘环境，用以支持专家决策应用可视化展示垂直搜索 • 关键技术通用问答知识图谱管理系统 • 领域实体发现 • 多源数据融合 • 落地应用效果通用搜索一带一路地缘环境知识图谱构建知识概念分类体系构建 • 已作为基础组件集成进入某军事部门的信息系统，用以支持领导策略多源异构数据自动抽取线下数据多源异构数据自动融合知识更新互联网数据采集系统数据库图像视频地图图表文本线上数据 2018/8/30 开放领域垂直领域 42
43.基于政务大数据的市民服务云应用 • 项目背景 • 通过信息惠民综合试点，以创新社会管理、方便百姓服务为目标，建立了市民服务云，整合教育、医疗、卫生、社保、民政等多部门信息资源，引入优质社会服务资源，提供多渠道、多形式的信息服务，满足了居民多样化需求，逐步实现公共服务事项和社会信息服务的的全人群覆盖、全天候受理和“一站式”办理 • 关键技术 • 领域知识图谱构建技术 • 针对领域数据的实时爬虫系统、多源异构数据自动抽取、多源数据融合 • 用户画像技术 • 用户关联技术、用户画像技术 2018/8/30 43
44.基于知识图谱的网站多媒体推荐 • 项目背景 • 北京长城网作为北京市党员干部现代远程教育的网络中心，需要把合适内容推送给目标用户。 • 关键技术 • 基于标签的领域知识图谱构建 • 多媒体的语义搜索和个性化推荐 • 可视化展示 • 落地应用 • 作为网站模块开发 2018/8/30 44
45.数据应用业务感知用户行为分析用户上网标签结果业务统计分析专题分析挖掘客户标签知识库用户应用标签结果用户兴趣标签结果业务感知分析引擎标签分类体系库 URL标签体系语义分析 URL去噪算法库网页内容解析算法 App标签体系网络爬虫文本语料库复杂网络分析算法用户兴趣标签体系分类审核 URL标签化语义分词库中文知识图谱数据融合自然语言处理算法数据挖掘算法 App标签化互联网访问（DPI）数据用户标签化机器学习算法互联网页面快照数据
46.知识图谱平台 2018/8/30 第 1 章：知识图谱概述 46
47.知识工场平台：知识图谱数据与认知服务平台复旦知识工场平台 • 1. 2. 3. 4. 5. 6. 数百家近8亿次 2.2亿 95% 1800万准确率达到99% 1700万 3300万 27万准确率达到 CN-Dbpedia 服务列表 api/mention2entity api/entityAVP api/entityAttribute api/entityType api/entityTag api/entityInformation • ProbasePlus服务列表 1. api/probase/getconceptsapi/entityAV P 2. api/probase/getentities • SuperV：验证码服务 • 知识问答服务 • 实体链接服务实体理解 • 实体识别与链接 • 实体概念化 • 实体推荐 china, japan, india, korea -> asian country
48.知识图谱系统 2018/8/30 第 1 章：知识图谱概述 48
53.References • [Wu et al. 2012] "Probase:A probabilistic taxonomy for text understanding." Proceedings of the 2012 ACM SIGMOD International Conference on Management of Data. ACM, 2012. • [Banko et al. 2007] "Open information extraction from the web." IJCAI. Vol. 7. 2007. • [Newell, Allen et al. 1976] “Computer Science as EmpiricalInquiry:Symbols and Search”, Communications of the ACM, 19 (3) • [Dreyfus, Hubert 1979] What Computers Still Can't Do, NewYork:MIT Press. • [陈文伟 et. Al] 知识工程与知识管理 • [Yin, et al. 2017] Truth Discovery with Multiple Conflicting Information Providers on the Web, kdd07 • [Wanyun Cui et al. 2017]KBQA:Learning Question Answering over QA Corpora and Knowledge Bases, (VLDB 2017) • [Yi Zhang, et al, 2017] Entity suggestion with conceptual explanation, (IJCAI 2017) • [Bo Xu, et al, 2016] Learning Defining Features for Categories. (IJCAI 2016) 2018/8/30 第 1 章：知识图谱概述 53