《腾讯游戏大数据产品体系解密》 农益辉
2020-03-01 441浏览
- 1.腾讯游戏大数据产品体系解密 iData腾讯游戏数据服务 农益辉 腾讯互动娱乐运营部数据中心总监
- 2.
- 3.01 02 03 腾讯游戏大数据 产品 如何建设数据服 务闭环 数据化运营思路
- 4.01 腾讯游戏大数据 产品
- 5.游戏运营团队需要更精细化运营游戏 200+款游戏 5亿+自然用户 手游爆发 页游爆发 2006 2010 游戏数量、品类繁多 2014 2016 游戏数据化运营服务iData 用户群大，偏好各异
- 6.随着精细化的需要团队不断变革 400+次 智能化时代 2亿人次 30亿 4 2012年 2006年 1 蛮荒时代 通过游戏运维在文本日志 中进行数据统计 2008年 2 石器时代 由专门的数据开发人员提 供统计分析页面 3 机械时代 提供分析框架 降低统计分析成本 iData-自动化时代 一站式数据分析服务 基于用户生命周期的数据化方案
- 7.iData是这样帮助游戏运营的 新手存留预警 某业务，新版本上线后， 新手次日存留只有20%， 严重低于正常值
- 8.iData是这样帮助游戏运营的 新手存留预警 新手存留分析 新手任务门槛太高 导致用户流失大幅 增加
- 9.iData是这样帮助游戏运营的 新手存留预警 新手存留分析 新手干预措施 通过配置新手任务赠 送，调整新手任务， 降低任务门槛
- 10.iData是这样帮助游戏运营的 新手存留预警 新手存留分析 新手干预措施 效果跟踪 活动上线后实时跟踪 活动效果做调整，新 手存留上升
- 11.01 02 腾讯游戏大数据 产品 如何建设数据服 务闭环
- 12.覆盖用户生命周期数据化运营闭环 1 发现问题 秒级数据采集计算 帮助游戏及时了解游戏运营状况 活跃及付费转化 3 解决问题 低成本运营策略实施 帮助游戏快速响应，即时调整策略 新进转 化 流失干 预 2 分析问题 秒级多维数据分析 帮助产品快速定位问题，分析决策
- 13.通过iData实现精细化运营的闭环 元数据管理 数据源 游 戏 内 产 品 渠 道 外 部 信 息 用户自助中心 平台组件 数据接入 数据处理 应用模型 用户画像 实时传输 实时计算 引擎 准实时传 输 离线传输 数据采集 规则库 离线计算 平台组件 引擎 算法库 服务引擎 业务应用 数据分析引擎 报表统计 数据接口中心 运营规则引擎 数据存储 KV存储 位图索引 DB存储 HDFS 存储计算 精准推荐引擎 用户触达中心 数据分析 运营活动 精准推荐 游戏功能 触达运营 应用落地 分析系统 应用系统 用户触达
- 14.数据服务闭环的基础：多维数据分析 游戏产品自助化用户分析平台
- 15.数据服务闭环的基础：多维数据分析 数据一体化 数据分析引擎 多维分析可视化
- 16.数据服务闭环的基础：多维数据分析 数据一体化 传统方法 事实表 多维分析可视化 数据分析引擎 Sql统计计算 可视化报表 … 原始事实表 数据一体化 清理原子数据 动态宽表 立方体构成 标准聚合计算 和复杂计算app 结果DB 可视化 TRedis 线上服 务 可视化 分析
- 17.数据服务闭环的基础：多维数据分析 数据一体化 多维分析可视化 数据分析引擎 数据应用服务 难度根源之一 实现异常自动 恢复的关键 将零散的数 据有序管理 数据统一中间 规范形成 自助化数据分 析与应用工具 分散的多种 数据血缘管 维度与度量 综合调度与 统一的二次 多种应用途 来源数据 理 指标管理 计算 计算平台 径 异常监控 规范中间 表 自动统计 数据分析 故障自愈 热区缓存 自动构建 cube 数据应用 自动明细
- 18.数据服务闭环的基础：多维数据分析 数据一体化 数据分析引擎 计算调度 多维分析可视化 TDW调度 ES调度 组合任务调度 位图调度 交叉调度 Spark调度 画像引擎 交叉引擎 Spark计算引擎 用户画像 多包合并 多维计算 下钻分析 多包差集 排序过滤 多维交叉 大盘交叉 算法模型 实时计算 位图引擎 用户提取 基础跟踪 ES引擎 号码转换 用户提取 日志计算 特性跟踪 ETL
- 19.数据服务闭环的基础：多维数据分析 数据一体化 每日流水文件数据结构 位图文件数据结构 数据组织与更新策略 uin/commid 注册文件 最后登录时间 last_login_time 最后消费时间 last_pay_time • 分类型存储 • 结构化 • • • 最后充值时间 last_deposit_time 登录bit 1 10..01..11 10....110....01 10..10 消费bit 0 10..01..01 00....110....00 10..00 充值bit 1 10..01..11 10....110....01 10..10 366天 8天 冗余位 Bitmap存储和计算 366天以前是否活跃 ProtoBuf存储流水 全账号时间切分和全 时间账号切分 12个月 2 4 4 字节 索引文件结构 uin/commid • 大区数据分片，全排序 多维分析可视化 数据分析引擎 文件偏移量 offfset uin/commid 登录时间 login_time ...... 登录文件 消费充值文件 充值文件 uin/commid uin/commid uin/commid 注册时间 register_time ...... 消费时间 pay_time 充值时间 deposit_time 消费金额 pay_account 充值金额 deposit_account ...... ...... 全量 数据 6 4 字节 流水 更 全量 新 数据
- 20.数据服务闭环的基础：多维数据分析 数据一体化 数据分析引擎 多维分析可视化 多维分析引擎 HDFS CDB Scheduler Storage Scheduler Data Extract Block1 Block1 Block2 Executor-1 Block1 Block2 Block… Query Optimizer Execution Plan DataNode-3 Execute Scheduler Block2 Block… Bitmap Index Generator Data Mapper Executor-2 Col-1 Col-1 Col… Data Mapper Executor-3 Col-1 Col-1 Col… Dynamic Bitmap Index Cache Block1 Bitcode Emitter Block… Block… DataNode-2 Data Representation Block3 DataNode-1 Data Stats Gather SQL Parser Block2 Data Mapper Dynamic Index Cache Col… Col-1 Col-1 Bitmap Dynamic Bitmap Index Cache Bitmap Filter Builder Bitmap Index Generator Execute Engine Bitmap Filter Builder Bitmap Index Aggregate Merger Generator Execute Engine Bitmap Filter Builder Aggregate Merger Execute Engine Aggregate Merger
- 21.数据服务闭环的基础：多维数据分析 数据一体化 多维分析可视化 数据分析引擎 性别＝男 年龄<30 列式存储 分布式 即时编译 动态位图索引 减少IO 均衡存储 编译执行 成本低 可支持大量列 并行计算 最优化机器指令 命中率高
- 22.数据服务闭环的基础：多维数据分析 数据一体化 多维分析可视化 数据分析引擎 指标编辑 主界面 控件层 状态栏 热点图 指标菜单 表格控制 指标调整 滑动条 大数据表格 业务处理层 指标区间 X表头 Y表头 X滑动条 Y滑动条 指针 文本修改器 标尺
- 23.数据服务闭环的核心：场景化用户精细化干预 游戏策划与研发 关注游戏主体功能与玩法 的研发和策划 游戏主体功能与运营 场景 触发 实时 反馈 旁路的游戏运营引擎 游戏运营 关注用户在不同场景的状 态和需要，做更精细化的 运营
- 24.数据服务闭环的核心：场景化用户精细化干预 游戏内 数据+画像 用户数据和场景状态实 时获取 通过内外部数据更新用 户画像 游戏外 实时数据通道 用 户 画 像 规则引擎 If A 条件 ，Than B 动作 推荐引擎 算法 规则+推荐 用户触达管理 用户触达管理 模型 系统 通过低成本人工规则和精准的 推荐，做到用户分群运营干预 效 果 评 估 体 系 通过用户对渠道、内容的偏 好针对性投放，提高有效性 效果评估 根据不同目标的运营（拉 新、活跃、回流、收入）， 针对性的评估实验效果
- 25.数据服务闭环的核心：实时规则引擎 If A 用户状态和触发条件 给予的干预动作 规则 双周活跃用户 推送一个消息 活跃度下降用户 赠送一个道具 双周活跃用户，且 游戏副本A结束后， 推送一个任务B 游戏副本A结束后 推荐一个活动 与好友组团 推荐一个任务 ，Than B 活跃度下降用户， 与好友组队完成 后，赠送一个道具
- 26.数据服务闭环的核心：实时规则引擎 案例：刺激新用户存留 新用户邀请好友对局结 束后给予奖励
- 27.数据服务闭环的核心：实时规则引擎 实时计算 上海周浦IDC Kafka 规则计算 RT-Rule 实时事件消息总线 Event Table Bus 实时指标一致性存储 TGlog CheckSvr RocksDB 上海南汇IDC Kafka TRedis 实时计算引擎 Storm 任务开发调度 T-SQL 消息队列 实时计算平台（Billow-RT）
- 28.数据服务闭环的核心：场景化用户精细化干预 一些优化 基于SSD+RocksDB+Redis构建分布式大数据缓存SSDB-TRedis 单机8W QPS混合读写能力；存储容量TB级别，分布式平行扩容; 单操作一读一写更新在2~5MS完成； T-SQL的任务配置开发计算模板 独立开发SQL化的计算任务树，自动解析映射Storm计算引擎； 以前硬编码开发时长从小时级别降低到配置开发10分钟级别； 实时指标最终一致性保障机制 采用异步本地RocksDB存储+远程Tredis对账一致性纠错计算机制； 保证实时计算指标的最终一致性。
- 29.数据服务闭环的核心：场景化用户精细化干预 方案好处 游戏服务解耦；不依赖游戏版本开发节奏规则 热更新、快速试错、调整运营节奏 实时性满足日常营销规则场景（200~600ms） 多维度+多度量+用户画像标签 规则灵活组合 维度度量指标一次开发，游戏、渠道、营销多方平台多次复用
- 30.数据服务闭环的核心：需要更全面的用户数据 用户在 公司其 他产品 行为数 据 用户在 游戏内 行为数 据 游戏与 产品在 外部数 据 用户在 渠道行 为数据 形成6大类标签，4.5万维特征 财富 兴趣 自然人 渠道 游戏特性 SNS
- 31.数据服务闭环的核心：精准方案沉淀与复制 新进 自然语言 处理算法 分类 算法 存储系统 流失 聚类 算法 活跃 数据 序列挖 掘算法 离线计 算系统 实时计 算系统 语义模 型算法 深度学习 图计算 付费
- 32.数据服务闭环的核心：任务推荐系统 任务描述 难度 运营目标 任务推荐 完成度(喜好度) 留存率/活跃时长 用户成长 能力提升 团队 机器人 老玩家-爆破 老玩家-多模式 新手-爆破 老玩家-偏爆破 挑战模式 新手-多模式 终结者 好友数 其他模式10 击杀数 挑战模式 死亡数 8 机器人模式 KD比 6 4 个人竞技模式 注册天数 2 特殊战模式 经验总量 0 终结者模式 分类引导 团队模式 爆破模式 战队贡献点 充值金额 勋章级别 最高级别 在线时长 游戏时长 消费金额
- 33.数据服务闭环的核心：精准方案沉淀与复制 活跃关怀方案 流失预警 精准干预 商业化精准方案 提升付费频次 挖掘场景消费 活跃监控 精准关怀 活 跃 度 新手关怀 成长引导 用户分层 精准拉新 刺激付费留存 培养付费习惯 潜在付费挖掘 引导首次付费 理想生命曲线 一般生命曲线 新进场景 活跃场景 付费场景 流失场景
- 34.数据服务闭环的拓展：数据也许可以做更多 提升活 跃 增加用 户量 分析报表 提高付 费 精细化用户运营 实时全面的分析 用户分层运营规则 自助化多维用户分析 精准推荐 游戏功能与玩法
- 35.数据服务闭环的拓展：数据也许可以做更多 提升活 跃 增加用 户量 提高付 费 希望在游戏中快速 成长 希望在游戏中寻求 冒险刺激 希望在游戏中更多 的社交互动 希望在游戏中获得 更多在尊重 …… …… 游戏内马斯洛需求层次
- 36.数据服务闭环的拓展：数据也许可以做更多 个人历程 对玩家个人信息汇总 与记录，激发他的分 享、回顾、活跃 对局分析 个人数据中心 通过大数据针对每局 数据进行分析，协助 玩家更好复盘的提升 个人能力 对个人能力的分析， 帮助玩家了解自己， 更快的学习游戏内容 DataMore 交友社区
- 37.01 02 03 腾讯游戏大数据 产品 如何建设数据服 务闭环 数据化运营思路
- 38.未来智能化时代 生态化 开放PaaS，提供基础能力共建 SaaS，促进智能化运营生态 智能化 自动化 多业务运营经验沉淀，加上智 能推荐，形成智能化运营 工具平台化，把方案沉淀为自 动化运营
- 39.未来智能化时代 把数据深度植入游戏功 能，丰富游戏玩法 通过数据挖掘分场景，分 用户，分方案运营 通过全方位的数据，展 示出游戏的运营状况 数字游戏化 精细化运营 数字化运营 个人数据中心 AI 成就与排行 好友圈，找玩友
- 40.未来智能化时代 平台建设方向 数据应用方向 生态化 智能化 数字游戏化 精细化运营 自动化 数字化运营 让运营爱上数据
- 41.
