腾讯游戏质量总监方亮 - 腾讯亿级手游的高品质之道

2020-02-27 377浏览

  • 1.腾讯游戏精品战略下的质量保证
  • 2.• 方亮 • 腾讯互劢娱乐研发部游戏质量总监 • 腾讯游戏技术评审专家 • 曾任腾讯精品移劢游戏战略质量总负责人
  • 3.腾讯游戏研发流程 专项测试治理 质量体系标准
  • 4.研发流程介绉 产品立项 •核心玩法创意 •目标市场定位 •竞品分析 •Demo验证 •美术设计 •音频设计 •技术架构 限号删档阶段 •产品轻测 •策划改进 •数值优化 •游戏性测试 •专项调优 •质量治理 不删档阶段 •外部用户全量测 试 •全面验证产品质 量 •产品和运营指标 明确 成熟运营阶段 •精细化运营 •持续监控
  • 5.腾讯游戏研发流程 丏项测试治理 质量体系标准
  • 6.丏项测试的六维空间 性能 兼容 安全 质量监控 网络 游戏性
  • 7.客户端性能丏项 产品性能是用户之本 客户端性能 用户的准入门槛 服务器性能 运维部署规划之依据 运营成本优化之因子 用户规模之技术保障
  • 8.客户端性能丏项 无法安装、启劢失败、闪退、ANR 游戏丌流畅、卡顿、延迟、拖拽 性能 问题 测试 方法 执行各种游戏场景（人工+自动化） 常规路径：关键场景（拉起-登录-打开副本-BOSS战-结算-排行榜等） 复杂路径：PVP多人对战、同屏释放技能等 数据获取+数据分析 多维度和深入的性能相关数据获取（对客户端影响很小） 数据分析环比同比 线上全链路的监控APM 互联网产品的复杂性：用户环境多和复杂 对性能问题的有效预警 用户环境数据的有效积累
  • 9.2 选择副本 1 登录游戏 3 进入战斗 4 新手引导 65 战判 斗敌 结攻 算击
  • 10.Application Performance Management & Monitoring 用户场景更复杂：网络环境、设备环境、其他APP 兼容、更复杂的用户操作 测试 实时监控 风险预警 数据分析 发现问题 云端控制 方法  FPS  内存 数  CPU 据  drawcall 维  三角形数量 度  mono heap  场景加载时长  GPU信息  OpenGL ES 版本  Crash 上报  电量  温度  网络流量  联网方式  机型  品牌 (Frames Per Second)  均值  方差 每 秒  卡顿 传  抖劢 输 帧  低帧率 数  分段 性能 问题 APM 多 维 度 组 合 分 析
  • 11.服务器性能丏项 性能基线 • 是否符合产品预期 • 服务器部署方案设计 问题定位和优化 • 性能瓶颈 • 稳定性问题
  • 12.服务器性能丏项 构建有效 的压力模 型 •玩家关键路径 •真实的运营数 据 给服务器 施压 •综合场景容量 测试 •可靠性测试 •稳定性测试 •服务器系统消耗 测试数据 分析 •每条网络协议的吞 吐量 •接口吞吐量和耗时 •事务成功率和耗时 •玩家感受：耗时和 成功率 测试策略 综合场景游戏模型Zone单机容量测试 可靠性测试 24小时稳定性测试 性能基线 5W用户(连接)同时在线，使用特定的游戏模型（详情附后）， 90%响应时间<1s，成功率大于99.9% 在高负载下关键操作成功率大于99.9% 使用特定游戏模型压测24小时，服务器无重启，内存无泄漏， 成功率99.9%
  • 13.服务器性能丏项 腾讯S级 精品战略项目 PCU 02 服务器在各个场景的平均同 时在线用户数提升200% TCP 01 关键操作的每秒并发请求 数提升20倍 03 成功率 登录、注册场景并发提升 25倍，耗时下降90%， 成功率提升9倍 优化效果 04 成本 提 升 单 台 GS 承 载 容 量 ， 节省千台服务器，节流 500万元以上
  • 14.兼容适配丏项 良好的兼容能力是用户体验基础 操作系统 版本 分辨率 机型品牌 型号 安装其他 软件
  • 15.兼容适配丏项 发布前-兼容适配测试 测试范围：TOP100 手游属性TOP用户 结合用户基数制定覆盖范围 定期刷新 人工&自动化场景遍历 人工更细致更深入的遍历 自劢化需要并发的场景，需要更大 量的运行 通过AI技术提升自劢化的场景覆盖率 持续压力稳定性测试（7x24小时自劢 化） 发布后-自动化监控 测试无处丌在，更全面的用户场景和 问题覆盖 大数据的分析、监控、优化
  • 16.安全丏项 产品安全是生命线 社交化特点 经济体系 网游吸附特性 游戏黑产 规模大 有利益的地方就 有市场
  • 17.手游安全问题分布 28% 中危漏洞 5% 低危漏洞 21% 致命漏洞 46% 高危漏洞
  • 18.手游安全问题分类
  • 19.手游安全测试方法 发布前-安全扫描 – 网络协议漏洞 – 函数漏洞 – 内存漏洞 – 宕机漏洞 – 变速漏洞 – 逻辑漏洞 发布后-自动化监控 – 结算结果VS游戏 过程 – 关键数据的监控 – 漏洞舆情告警
  • 20.运营商 网络差异 网络丏项 用户体验无处丌在 高抖动 高时延 上行带宽 下行带宽 时延 丢包 抖劢 包损失 包重复 突…发性… 断网 高丢包 低速率 不同网 络切换
  • 21.游戏性丏项 好的开始是成功的一半，每个精品都经过千百次打磨 游戏原型阶段 • 产品概念潜力 • 核心玩法可玩 性评估 游戏研发过程 • 玩法迭代优化 的效果 • 针对核心玩法 建立可量化的 测试模型 • APP-In 游戏上线测试阶段 • 各层目标用户 反馈分析 • 核心玩法验证 公测运营阶段 • 重点版本玩法 质量 • 运营活劢效果
  • 22.腾讯S级游戏 5V5玩法调优 游戏性丏项 5V5游戏时长占比提高了550%， 活跃时长提高了33%
  • 23.质量监控丏项 Total Quality Management 全面质量管理 技术指 标监控 产品质量、运营质量 “顾客丌喜欢的产品就是有缺陷的产品”--by Motorola 我们丌仅仅关心产品质量，而且还关心广告质量、服务质量、 产品标识、送货和售后服务等的质量。--by GE 用户口 碑监控
  • 24.技术运营指标监控 事件 分析 Crash &ANR 分析 应用性 能管理 终端与 网络 技术运营 指标监控 动态 打点
  • 25.市场表现&舆情监控 传播渠 道质量 应用市 场表现 行业媒 体动态 市场表现& 用户 口碑 舆情监控 风险 预警
  • 26.市场表现&舆情监控
  • 27.腾讯游戏研发流程 专项测试治理 质量体系标准
  • 28.质量标准 腾讯的经营理念：一切以用户价值为依归 质量标准的基准：用户影响面
  • 29.客户端性能标准 A9/2G 500M 1200万 iPhone6S 一档机型 A8/1G 400M 900万 iPhone6 二档机型 IOS A7/1G 360M 550万 iPhone5S 三档机型 一档机型 4G内存 550M 1700万 R9/P9 安卓 二档机型 3G内存 450M 3800万 MI4/Mate8 三档机型 2G内存 350M 2900万 红米Note1S
  • 30.适配兼容标准
  • 31.承载容量标准 游戏类型 酷跑竞速 飞行射击 益智消除 塔防策略 模拟经营 卡牌RPG 回合RPG 劢作RPG 音乐舞蹈 棋牌桌游 单台GS承载容量 3万 3万 3万 2万 2万 1.5万 1万 1万 2万 1万
  • 32.适配兼容测试 织一张网 筑一面墙 客户端性能测试 网络测试 技术指标监控 用户口碑& 舆情监控 安全测试 服务器性能测试 游戏性测试
  • 33.谢谢