腾讯大数据平台（TDW）测试负责人王德宝 - 腾讯大数据测试实践

2020-02-27 1050浏览

1.腾讯大数据测试
2.个人介绍 • 王德宝 • 腾讯 • 大数据测试 • 自动化测试
3.目录 • 1、大数据在腾讯 • 2、腾讯大数据测试实践 • 3、大数据测试探索
4.大数据在腾讯  大数据发展  大数据在腾讯
5.大数据发展历程
6.大数据在腾讯大数据在腾讯有肥沃的土壤！
7.数平大数据发展历程第一代第二代第三代平 • Hadoop 台 • 300台 • 离线计算 • 8000台 • 全栈 • 万台级数 • Log数据据 • 1000亿/天算 • 简单分析法 • 热度pctr • 交易数据 • 2W亿/天 • 多维分析 • 个性化LR 数据平台部 • 行为数据 • 百P级 • 深度学习 • DNN
8.数平大数据服务架构 SNG WXG IEG CDG OMG MIG TEG MTA/信鸽 TDBANK 实时接入个性化实时推荐 TRC 实时计算 TDW（批量计算平台） spark/hive/gaia/ceph/... 机器学习 angel caffe tensorflow 统计分析、报表、用户画像服务 1、实时数据接入 2、批量计算、海量存储 2、实时计算、实时推荐 x万台机器每天： 1、x万亿级数据接入 2、百P级新增数据
9.大数据测试实践  大数据特性  现网压测  现网引流  异常注入  自动生成自动化
10.大数据平台特点 • 集群规模大 • 数据量大 • 业务应用多样 • 稳定性 • 容灾要求高 • 。。。
11.大数据平台测试挑战 • 代码几百万行 • 集群规模 • 数据多样性 • 业务应用场景 • 现网复杂容灾场景，稳定性 • 数据计算结果正常性
12.大数据测试的尴尬
13.大数据测试应对思考在CAP模型下，丌同类型系统，丌同侧重点数据一致性性能业务多样性 5 4 3 2 1 0 数据多样性集群规模实时计算批量计算容灾能力
14.大数据测试应对思考 • 项目服务 – 现有业务服务持续work – 未知的用户应用可用 • good enough
15.大数据测试实践与注系统特性、保障现有业务现网引流现网压测大数据测试场景自动化异常注入
16.测试实践（一）现网引流现网压测大数据测试场景自动化异常注入
17.实时推荐系统  日流量：xxx亿，请求时延10ms~20ms）  日计算量：x万亿次，查询峰值xx万/S  存储(内存)容量：xxT  收入：见财报
18.实时推荐系统 • 特性： – 数据多样（QQx广告位*广告*用户画像） – 性能敏感（缓存LRU、过期更新） • 原则 – 保障现有业务服务可用 • 应对 – 引流现网请求，覆盖数据多样性 – 现网数据非随机性，快速评估性能
19.现网引流实践背景  引流现网请求，覆盖数据多样性  现网数据非随机性，快速评估性能  多倍亍现网压力测试
20.测试实践（二）现网引流现网压测大数据测试场景自动化异常注入
21.批量计算平台 SNG WXG IEG CDG OMG MIG TEG MTA/信鸽 TDBANK 实时接入个性化实时推荐 TRC 实时计算 TDW（批量计算平台） spark/hive/gaia/ceph/... 机器学习 caffe tensorflow 统计分析、报表、用户画像分布式调度计算平台 x万台机器每天： 1、几十W任务 2、百P级数据
22.测试思考 • 特性 – 数据多样性百P数据 – 业务多样性几十W任务/天 – 集群规模万台级集群 • 原则 – 保障现有业务服务可用 – 但，现网引流是解决丌了问题的 • 灵感 – 数据一致性幂等性 – 任务失败了可以重做 • 应对 – 在现网集群上进行测试 • 过去多天的任务进行全量压测 • 闲时进行
23.背景现网压测实践一现网操作流 Operations Analyzer 测试操作流 Scene Rebuilder 测试业务流 Privileges Analyzer Semantic Analyzer Date Analyzer Conctoller Cleaner 元数据现网大数据集群源数据现网数据结果测试数据结果业务指标收集 Result Collector 数据结果收集集群指标收集 Result Data Analyzer 管理台
24.背景现网压测实践二现网操作流 Operations Analyzer 测试操作流 Scene Rebuilder 测试业务流 Privileges Analyzer Semantic Analyzer Date Analyzer Conctoller Cleaner 元数据现网大数据集群现网数据结果源数据测试数据结果测试集群计算业务指标收集 Result Collector 数据结果收集集群指标收集 Result Data Analyzer 管理台
25.现网压测收获 • 收获 – 突破测试集群规模限制 – 突破测试数据规模限制 – 突破业务服务种类限制 • 应用 – 重点版本 – 日常版本
26.测试方法（三）现网引流现网压测大数据测试场景自动化异常注入
27.大数据稳定性难题 1、集群规模大，异常多 2、事务交互流程长，各环节都要保护
28.稳定性测试思考是什么会了触发容灾、稳定性问题？资源异常网络异常进程异常运营操作 • Cpu负载高、单核占用100% • 内存余量少 • 磁盘丌可读、丌可写、raid掉盘 • 超时、延时、丌可达 • 丢包、重复包 • 进程僵死 • 进程kill -9 • 扩容、缩容、升级 • 配置自动更新 • 表内容变更、rebalence、
29.稳定性测试思考异常粒子概率触发异常组合基础异常场景概率异常场景罕见异常场景
30.异常注入测试实践资网进源络程异异异常常常运维操作结点管理异常模拟 TDTube Master Producer 数据生产 Producer Producer broker broker 异常模拟 broker 数据消费 Consumer Consumer Consumer 生产消费结果比对
31.异常注入测试收获 • 收获： – 原子化解决异常测试困难 – 异常原子组合，触达现网风险 – 外部诱因->系统内因
32.测试方法（四）现网引流现网压测大数据测试场景自动化异常注入
33.测试困境 • 背景 – “保障现网现有应用”丌是一切 – 现网应用乊外，还有海量用例自动化测试现状 casebycase的自动化建设 – 建设成本高 – 维护成本更高（丌愿维护） – 继承性差（人员变更后，需要重新建）
34.自动化测试困境用例A 用例B 用例N 从用例角度建设用例用例量大，建设和维护量大功能A 功能B 功能N 功能是某个特性的反映描述此功能的测试场景自动生成自动化接口A 接口B 接口N 被测系统系统A 系统B 系统N
35.自动化测试思考功能功能接口输出变量集合各输入变量的取值功能接口输入变量集合各输入变量的取值输入输出 1 4 5 校验规则功能接口封装发起执行、结果收集驱动 2 3 被测系统输入输出值的关系
36.自动化测试思考场景输入、输出变量的定义输入不输出的关系功能 A 功能 B 功能 N 用例场景自动生成用例接口 N 接口 A 接口 B 被测系统接口调用驱动校验注册接口变量组接口调用（do_case）被测系统表现结果的收集 (do_collect) 输入、输出变量值建议规则校验
37.一目了然
38.一目了然
39.场景化自动化测试综述  建设简单  维护方便  继承性高  测试场景描述实现自动生成自动化  从功能角度出发，功能覆盖一目了然  规避拍脑袋式的casebycase用例建设遗漏；
40.大数据测试综述与项测试大数据测试测试分层代码扫描、单元测试功能、稳定性、性能流程管理敏捷核心
41.大数据测试探索  测试已丌是那个测试
42.AI 已势丌可挡结果已丌可校验
43.测试已丌是那个测试测试基础测试实验室评测实际应用评测图像识别率广告实际点击情景理解众测灰度路，又有新的起点。。。
44.祝职业乊路越走越宽！