美图数据统计分析平台架构与实现

2020-02-27 59浏览

1.卢荣斌 2017.07.30
2.01 与技 02 美平台架 03 未来规划撞
3.0 1 统计业务与技术碰撞业务发展与技术迭代的过程 «
4.以美拍为例，初期统计业务的特点 1 2 3 体量小统计需求较少快速响应初期产品快速迭代，要求数据指标响应跟上迭代速度
5.Rsync Crontab 通过rsync⽅式收集到⼀个节点线上配置定时任务初期实现简单快速 Shell & Php MySQL 采用快速简单的脚本语⾔实现统计数据简单存放到MySQL供展示查询 «
6.用户量爆发数据量日渐增⼤统计需求膨胀存储容量 VS 计算脚本维护
7.Hive Java & Cronta b HDFS MySQL •  实现采集系统 •  搭建Hadoop分布式存储与计算 •  搭建基于Hive数据仓库 •  Java替换Shell等脚本语⾔ «
8.Query DBStore Aggregato r HiveQuery MySQLQuery MySQLDBStor e
9.q  q  •  ⼀定程度减少了编码量，但还是有⼀定的编码成本 •  q  q  «
10.0 2 统计平台架构实现构建平台，提供服务。 «
11.提供平台，解耦业务依赖 App
12.«
13.- JobManage r Scheduler JobExecutor
14.Web JobMeta Statistics Function data source Web JobManage r data store Task dependency aggregator Filter
15.«
16.流程、插件化 JobMeta JobExecutor Query Hive Filter Aggregator Data Store MySQL
17.Scheduler JobExecutor Job Meta JobManager Query HivePlugin HbasePlugin Aggregator Filter Data Store MySQLPlugin MongoPlugin FilePlugin HDFSPlugin
18.丰富功能，解决更多业务场景 HQL Hive MongoDB HDFS MySQL File Bitmap MySQL TopN UDF
19.API API Hbase MySQL Mongo «
20.对接内部服务统⼀认证授权中⼼ CA API Hbase MySQL access token Mongo acce ss to ken
21.- CA JobManager Scheduler JobExecuto r Plugins DB API
22.0 3 未来规划 «
23.分布式调度 OLAP 支持任务与资源的分布式调度针对数据分析⼈员的即席查询数据可视化实时统计统⼀可视化平台能比较快速便捷地接⼊实时统计
24.Thanks Q&A