唯品会日日志平台建设

2020-02-27 185浏览

1.唯品会⽇日志平台建设姚仁捷 @超⼤大杯摩卡星冰乐 baniu.yao@gmail.com 13年11月2⽇日星期六
2.Agenda • 唯品会⽇日志平台介绍 • 做⼯工具？做平台？ • 经验&教训 13年11月2⽇日星期六
3.唯品会⽇日志平台介绍 13年11月2⽇日星期六
4.技术架构 • ⽇日志流转框架 • 计算平台 • 数据可视化平台 13年11月2⽇日星期六
5.13年11月2⽇日星期六
6.⽇日志流转框架 13年11月2⽇日星期六
7.Flume • Java • Channel 13年11月2⽇日星期六
8.1. 扩展性 2. 容错性 3. 易⽤用性 13年11月2⽇日星期六
9.所有的程序都会出错！ 13年11月2⽇日星期六
10.source producer consumer dest consumer dest Queue source 13年11月2⽇日星期六 producer
11.13年11月2⽇日星期六
12.13年11月2⽇日星期六 RabbitMQ Kafka 服务器 6 2 负载 >10 <2.5 语⾔言 Erlang Scala 客户端多少管理 Web界⾯面 JMX接⼝口
13.• Kafka性能简析：http://www.slideshare.net/baniuyao/ kafka-24299168 • 开源的flume和kafka传输数据的组件：https://github.com/baniuyao/flume-kafka13年11月2⽇日星期六
14.⽇日志计算平台 13年11月2⽇日星期六
15.13年11月2⽇日星期六
16.• 流式计算，⾃自由组合计算逻辑 • 毫秒级的延时 13年11月2⽇日星期六
17.13年11月2⽇日星期六
18.• 分省市，⻚页⾯面的PV，UV • FDS 欺诈侦测系统（Fraud Detection System） 13年11月2⽇日星期六
19.Impala 13年11月2⽇日星期六
20.• Nginx Request Count，4XX，5XX，Top Slow URL，Top Error URL • Breakdown到服务器，URL级别 13年11月2⽇日星期六
21.负责HDFS计算的⽼老毕 13年11月2⽇日星期六
22.13年11月2⽇日星期六
23.• Hive太重 • 要学习SQL 13年11月2⽇日星期六
24.• 简单的搜索 • ⾼高峰期每秒索引30k~35k条⽇日志 • 秒级延时 • 强⼤大的前端Kibana 13年11月2⽇日星期六
25.13年11月2⽇日星期六
26.Kibana有⼀一定学习曲线，但熟悉后会事半功倍。 13年11月2⽇日星期六
27.数据可视化平台 13年11月2⽇日星期六
28.• Telescope => 业务数据 • Telescope-NG => 技术数据 13年11月2⽇日星期六
29.Telescope • Telescope的出现，是⼀一个粘合剂，在它的推动下，我们开始往平台⽅方向发展。 Telescope Storm 13年11月2⽇日星期六 ElasticSe arch Scripts
30.转变 • 架构清晰，合理，⾼高可⽤用 • 前后端分离 • 加⼤大投⼊入（⼈人⼒力，硬件） 13年11月2⽇日星期六
31.未来 • 图表⼯工具服务化——Jigsaw • LinkedIn技术研究，包括Voldemort， Samza • UE的提升 • Open Data API 13年11月2⽇日星期六
32.13年11月2⽇日星期六
33.⼯工具？平台？ 13年11月2⽇日星期六
34.⼯工具和平台的区别 • ⼯工具：短⼩小精悍，快速实现，解决问题 • 平台：功能复杂，数据开放，拥抱变化 13年11月2⽇日星期六
35.⼯工具 • 解决⼀一个问题 • paste and run • 可⽤用，再好⽤用 13年11月2⽇日星期六
36.三个“⼀一” ⼀一个⼯工具，做⼀一件事，解决⼀一个问题。 13年11月2⽇日星期六
37.独⽴立 • 与其他⼯工具（系统）没有交集 • 在完善⼯工具的同时也不需要考虑 13年11月2⽇日星期六
38.⼯工具A 13年11月2⽇日星期六⼯工具B
39.⼯工具A 13年11月2⽇日星期六⼯工具B
40.⼯工具A ⼯工具B ⼯工具C 13年11月2⽇日星期六
41.三个“⼀一” ⼀一个⼯工具，做⼀一件事，解决⼀一个问题。 13年11月2⽇日星期六
42.Paste and run 13年11月2⽇日星期六
43.• 脚本语⾔言很好⽤用 • SQLite>MySQL>NoSQL 13年11月2⽇日星期六
44.可⽤用，再好⽤用 available, then usable. 13年11月2⽇日星期六
45.⼯工具的好处 • 切⼊入 • 投⼊入⼩小 • ⽴立竿⻅见影 13年11月2⽇日星期六
46.平台 13年11月2⽇日星期六
47.• 数据开放 • 架构分层 • 平台产品 13年11月2⽇日星期六
48.数据开放 • 对内：组件互相协作 • 对外：数据开放共享 13年11月2⽇日星期六
49.架构分层 • 抽象公有部分 • 隐藏具体实现 • 组件互相独⽴立 13年11月2⽇日星期六
50.好的架构使得平台能够可持续发展 13年11月2⽇日星期六
51.平台产品 • 更⾼高的产品要求 • 更好的项⺫⽬目管理 • 更棒的⽤用户体验 13年11月2⽇日星期六
52.“产品化”激励程序员维护⾃自我品牌 13年11月2⽇日星期六
53.⼯工具，平台 13年11月2⽇日星期六
54.⼀一⼝口吃不成胖⼦子以平台的思路，从⼯工具做起 13年11月2⽇日星期六
55.在条件允许的情况下，⾃自然会发展为平台 13年11月2⽇日星期六
56.不要造轮⼦子！ 13年11月2⽇日星期六
57.经验&教训 13年11月2⽇日星期六
58.技术为业务服务 13年11月2⽇日星期六
59.数据要准确！ 13年11月2⽇日星期六
60.99%够了吗？ 13年11月2⽇日星期六
61.13年11月2⽇日星期六
62.数据不准确=>⽤用户失去信⼼心=>产品没⼈人使⽤用 13年11月2⽇日星期六
63.不准确的数据就是垃圾 13年11月2⽇日星期六
64.13年11月2⽇日星期六
65.数据要准确！ 13年11月2⽇日星期六
66.总结 • ⼩小步快跑的⼯工具 • 产品化的平台 • 业务>>技术 • 准确是数据的命脉 13年11月2⽇日星期六
67.谢谢 13年11月2⽇日星期六