个推研发CTO 叶新江 - 《DT时代下[个推]遵循的那些法则》
2020-02-27 175浏览
- 1.ArchSummit全球架构师峰会 北京站2015 DT时代下[个推3.0]遵循的四个法则 叶新江 CTO@个推
- 2.
- 3.
- 4.产品发展路径 个推1.0 实时推送 连接一切 大并发通信技术 个推2.0 智能推送 链接一切 大数据处理技术 个推3.0 应景推送 联接一切 实时处理系统
- 5.个推3.0所遵循的四个法则 数据是决策的基本依据 数据越热越有价值 近似优于精确 永远的墨菲定律
- 6.我们所遵循的四个法则（1） 数据是几乎所有决策的基础
- 7.我们所遵循的四个法则（2）- 数据决策 例子1： 是否引入新的处理工艺？ - 解决什么问题 ? - 当前存在什么问题 ? - 在当前业务场景下性能数据如何？ - 出现问题时，解决的成本如何？ - 是否是为了逃避前一个问题？
- 8.我们所遵循的四个法则（2）- 数据决策 例子2： 数亿客户端情况下，如何定位问题？ 譬如： 有的手机上正常，有的不正常…… 有的区域正常，有的不正常…… 有的版本正常， 有的不正常…… 对策： 数据抽样收集、集中分析
- 9.我们所遵循的四个法则（2）- 数据决策 Logful (https://github.com/logful)
- 10.我们所遵循的四个法则（2）- 数据决策 Logful SDK 架构
- 11.我们所遵循的四个法则（2）- 数据决策 例子3： 性能测试和验证 性能测试环境可以测试到什么程度？ 在生产环境下是否可以有足够数据来反过来印证？ 对策： 性能监控，及时发现局部问题，立即着手解决
- 12.我们所遵循的四个法则（2） 数据越热越有价值
- 13.我们所遵循的四个法则（2）- 数据价值 数据的热度划分： - 冷数据 较长时间之前的状态数据、用户画像数据 - 温数据 非即时的状态和行为数据 - 热数据 即时的位置状态、交易、浏览行为
- 14.我们所遵循的四个法则（2）- 数据价值 例子1： - 应景推送 利用冷数据 + 热数据进行实时处理 方案比较： 1. 客户端处理 2. 服务端处理
- 15.我们所遵循的四个法则（2）- 数据价值 例子2： - 个图（人口热力图）
- 16.我们所遵循的四个法则（2）- 数据价值 例子2： - 个图（人口热力图） 准实时要求高，并且能动态表现 对策： 分级、分区域、分阶段
- 17.我们所遵循的四个法则（2）- 数据价值 个图架构：
- 18.我们所遵循的四个法则（3） 近似优于精确
- 19.我们所遵循的四个法则（3）- 近似优于精确 考虑以下场景： 需要统计流数据中独立元素的个数？ 要求：实时，至少是准实时
- 20.我们所遵循的四个法则（3）- 近似优于精确 考虑因素： - 数据流速度很快 意味着无法使用二级存储 - 数据规模巨大 意味着要么使用超大内存的设备, 多大算 是个头？ 要么多个设备分而治之运算
- 21.我们所遵循的四个法则（3）- 近似优于精确 一般化的结论： - 获得问题的近似解比精确解要高效得多 - 一系列与哈希相关的技术被证明十分有用
- 22.我们所遵循的四个法则（3）- 近似优于精确 Flajolet-Martin算法： 一个简单直观的基数估算方法 1、随机生成n个服从均匀分布的数字 2、随便重复其中一些数字，重复的数字和重复次 数都不确定 3、打乱这些数字的顺序，得到一个数据集
- 23.我们所遵循的四个法则（4） 永远的墨菲定律
- 24.我们所遵循的四个法则（4）- 永远的墨菲定律 原句： 如果有两种或两种以上的方式去做某件事情， 而其中一种选择方式将导致灾难，则必定有 人会做出这种选择。 通俗点(Finagle's Law)： 如果事情有变坏的可能，不管这种可能性有 多小，它总会发生。
- 25.我们所遵循的四个法则（4）- 永远的墨菲定律 例子： 不管内网如何快，总有断的时候。 - Redis 2.8 earlier 版本在网络闪断情况下的问题 流量并不一定按照我们的预期来到 - 流控未执行到位 还有：攻击、域名劫持、设备断电。。。。。 对策： 异常情况分析 + 预案设定 + 沙盘推演 + 模拟操作
- 26.真诚期待与您合作 微信关注个推 个推官网注册 技术支持：kegf@getui.com 商务合作：zhangyao@getui.com 联系电话：0571-87971893
- 27.
