张文升－探探科技－PostgreSQL和探探见证四亿次心动
2020-02-27 190浏览
- 1.PostgreSQL和探探见证4亿次心动 张文升 zhang.wensheng@foxmail.com 探探科技 Postgres Conference China 2016 中国用户大会
- 2.个人简介 张文升 探探科技PostgreSQL DBA。曾任职去哪儿网 PostgreSQL DBA。 有多年的项目开发经验，曾参 与多个大中型项目建设。 因为对PostgreSQL的爱好与热爱投入PG开源 社区的怀抱，成为PostgreSQL社区核心成员及社区 志愿者，多次在PostgreSQL中国大会、各地分会场、 企业及高校分享心得，服务多家使用PostgreSQL的 企业。 Postgres Conference China 2016 中国用户大会
- 3.探探：左划无爱，右划喜欢 4000+万用户，超过40+%女性用户，432,964,630次配对 滑动 配对 擦肩而过 Postgres Conference China 2016 中国用户大会
- 4.数据分布 users && profiles core ios,android,web mod(user_id,8192) contacts user’s contacts location user’s location shsahsrahdsrahdsrhadardrds passby relationships Postgres Conference China 2016 中国用户大会
- 5.简单架构 rw master rw sync repl async repl potential hotstandby shsahsrahdsrashdrassdlrsadvse ro ro ro ro Postgres Conference China 2016 中国用户大会
- 6.连接池 fontend / webservice pgbouncer fontend / webservice rw master pgbouncer ro ro async repl shards ro Postgres Conference China 2016 中国用户大会
- 7.应用特点和遇到的问题 • 应用特点 – 高并发，小事务，查询多，写入多，更新多，删除少 – 性能要求毫秒以下 • 各shards间数据紧耦合 – 单个shard出现性能问题影响到所有shards • 调整应用逻辑 • 拆解复杂函数； – 冗余数据过多 • 减少冗余，降低维护难度 • 优化设计，提升性能 • 批量写，减少写次数 • 维护窗口 – 每天增长年龄近3亿 – 凌晨2:00~6:00只有4个小时 • 单个pgbouncer的负载瓶颈 • 缓存 • HA Postgres Conference China 2016 中国用户大会
- 8.HA Pacemaker , corosync , postgresql hot_standby Postgres Conference China 2016 中国用户大会
- 9.优化 • 硬件 – 选择PCI-e作为存储设备 – RAID卡电池策略调整 – 维护窗口较小则选择1000Gbps网卡 • 内存 – 关闭NUMA • 系统性能 – I/O调度算法的选择 • 对PCI-e的性能影响较小，可以不调整 – 资源限制 • PAM模块资源闲置 • CPU限制 • 最大进程数限制 – 老旧版本PG所依赖的System V IPC资源限制 • 信号量 • 数据库优化 – 调优依据 • 操作系统性能工具 • PostgreSQL数据库系统视图 • 历史 – 查询计划 – 索引 – 日常维护 Postgres Conference China 2016 中国用户大会
- 10.Thanks! Q&A Postgres Conference China 2016 中国用户大会
