大数据 高鹏 数据分析领域的黑马-ClickHouse-新浪-高鹏_部分4

2020-02-27 564浏览

  • 1.案例例 • 某APP APM管理
  • 2.案例例 • 某APP APM管理
  • 3.CK监控https://github.com/f1yegor/clickhouse_exporterPrometheus + ClickHouse exporter + Grafana
  • 4.最佳实践 运维 1. CPU：多核优于主频 (SSE 4.2 instruction set need) 开启超线程、性能模式 2. ⼩小磁盘多机器器>⼤大磁盘少机器器 3. Raid-10 is better If Raid5/6/50, increase stripe_cache_size 4. 内存：越⼤大越好，留留给page cache 禁⽤用swap/透明⼤大⻚页/NUMA 5. CentOS7/Ext4/复制带宽问题 使⽤用 1. batch insert 2K 起步 2. ⽤用域名写本地表，读分布式表 3. 如果是Docker，注意修改时区 4. clickhouse-client在Docker⾥里里， 中⽂文乱码 5. 拒绝 select * 6. ⽆无Decimal，乘以倍率，⽤用Uint64存
  • 5.总结 使⽤用场景 ⼤大容量量 结构化 SQL⽅方式⽇日志分析 ⼴广告 IOT 监控 对⽐比 MySQL：复杂查询、容量量，重点不不在事务 HDFS⽣生态：简单、易易⽤用、查询快，规模稳定性有待验证 Druid：保留留原始数据，防⽌止预先设定不不满⾜足需求
  • 6.⼤大PK
  • 7.对⽐比 对⽐比ES 对⽐比项 数据接⼊入 查询 扩展性 其他 语⾔言 ES ClickHouse 插件丰富：hangout/logstash/filebeats
 ⽆无需特别指明字段类型，兼容性好 原⽣生查询⽅方式不不灵活
 SQL插件复杂度有限
 ⼤大范围查询性能差 需要⾃自⼰己开发：JDBC、clickhouseclient、Python导⼊入 Hangout to ClickHouse插件 ⽀支持复杂查询
 ⾼高级函数多
 ⽀支持连表查询 旗⿎鼓相当，ES略略轻松，ClickHouse需要管理理表维度 原⽣生API
 社区健壮 原⽣生API
 社区正在发展 Java/Python Java/Python/R/PHP
  • 8.对⽐比 GPU产品 • GPU-accelerated analytics database for real-time insights on large and streaming datasetshttp://tech.marksblogg.com/benchmarks.html• GPU Database for Fast, Interactive Visual Analytics • High Performance GPU Database for Big Data SQL • World's most advanced GPU based PostgreSQL Database
  • 9.对⽐比 74x to 3,500x faster than CPU DBs.
  • 10.对⽐比 • PG-Strom is an extension designed for PostgreSQL v9.5 or later, to off-load a part of CPU intensive workloads to GPU (Graphic Processor Unit) devices, and execute them in parallel asynchronously.
  • 11.对⽐比 商业产品 开源产品
  • 12.对⽐比 性能与成本的均衡
  • 13.对⽐比 ⾏行行业排名
  • 14.结缘， “那年年我还是个DBA ，饱受业务复杂查询，也就是OLAP之苦”
  • 15.https://www.percona.com/
  • 16.不不怕有坑？
  • 17.不不试试 怎么知道好⽤用不不好⽤用
  • 18.Summary ⼤大容量量结构化的数据 需要SQL 快速实现聚合、可视化
  • 19.• But，如果， • 不不好⽤用，别撕我~
  • 20.资源推荐： JackpGao gaopeng4@staff.sina.com.cn 1. 官方文档 ⭐⭐⭐ 结构清晰，文档清楚，但是例子太少 2. Percona ClickHouse Blog ⭐⭐⭐⭐⭐ 3. github issue & ClickHouse Google Group 4. ClickHouse服务提供商Altinity ⭐⭐⭐⭐⭐ 5. 官方Meetup PPT ⭐⭐⭐⭐⭐ 6. Altinity提供的rpm包 ⭐⭐⭐⭐⭐ 7. 官方运维建议 8. 个人推荐PPT合集：百度网盘，密码yv72