科大讯飞 语音云测试负责人郑丹-基于亿级用户的云测试架构及改进
2020-02-27 429浏览
- 1.基于亿级用户的云测 试架构及改进 郑丹 科大讯飞 语音云测试负责人
- 2.目录 语音云架构 自动化构建、测试、部署 现网监控及改进
- 3.语音云架构-概念普及 IAT( iFly Auto Transform ) & ASR ( Automatic Speech Recognition ) 语音听写和语音识别技术是一种使计算机能够识别人通过麦克风或者电话输入的词 语或语句的技术，简单的说就是能够让计算机听懂人说话。它的最终目标是使得计 算机不受词汇量限制，在各种噪声环境、语音信道下，能够实时、准确地识别不同 方言、口音等特点的说话人的语句。 语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令 的技术。 TTS ( Text to Speech ) 语音合成（Text To Speech，TTS）技术能够自动将任意文字实时转换为连续的自然 语音，是一种能够在任何时间、任何地点，向任何人提供语音信息服务的高效便 捷手段，非常符合信息时代海量数据、动态更新和个性化查询的需求。
- 4.语音云架构-逻辑架构
- 5.语音云架构-网络架构
- 6.语音云架构-服务量级 13覆万每盖多日终合1端5作亿用伙请户伴求超加过盟8亿，， 系整统整体平体服均服务响务服应客务时户端间端可：可用5用0性0性：m：9s997.9%9% 列 唤醒识、别手、写合、成麦、克人风脸阵识别、 三地服务器数千台 讯飞语音云
- 7.目录 语音云架构 自动化构建、测试、部署 现网监控及改进
- 8.自动化测试 功能测试 多业务：识别、合 成、唤醒、人脸、 手写等 性能测试 多平台：linux、 Android、pc 多指标：并发量、 成功率、响应时 时间 稳定性测试 CPU、内存 网络覆盖 有线、wifi、4G、 3G/2G 单点功能测试 编解码、vad、效 果 功能测试：大部分都是调用客户端与服务联调，如果是经过网络，需兼顾对于网络的适配测试，防劫持，不同网络下 的发包测试，长短连接，端口切换，还有ip缓存，重传机制等等。 性能测试：满授权及满授权数倍的压力测试，服务组件在业务激增的情况下的稳定性。 自动化平台 由于提供服务业务繁多，涉及较广，测试工作量庞大，自动化测试尤其重要
- 9.自动化测试 测试工具 独立开发维护测试工具，覆盖多业 务接口、测试结果入库 lua、python、C、JAVA 脚本语言相对比较简单，灵活 自动化部署 自动化拷贝组件、脚本 自动重启、拉起服务 触发自动化测试平台 自动化构建 Jenkins构建 应用广泛 自动化测试平台 自动化测试的核心模块 脚本驱动的接口级自动化测 试，包含自动化脚本和WEB 管理平台
- 10.自动化测试-测试工具
- 11.自动化测试-测试工具 识别 合成 身份 验证 唤醒 MSPLogin MSPLogout QISRSessionBegin QISRSessionEnd QISRAudioWrite QISRGetResult QISRGrammarActivate QISRGetParam MSPLogin MSPLogout QTTSSessionBegin QTTSSessionEnd QTTSTextPut QTTSAudioGet QTTSAudioInfo QTTSGetParam MSPLogin MSPLogout QMFVSessionBegin QMFVSessionEnd QMFVDataWrite QMFVGetResult MSPLogin MSPLogout QIVWSessionBegin QIVWSessionEnd QIVWAudioWrite QIVWRegisterNotify
- 12.自动化测试-测试平台 1 2 345 6 文件 测试 调度 执行 结果 报表 测试用例管理 提供web版文件管理、测 试脚本在线编辑、测试用 例集自动生成 测试属性管理 标识测试脚本的特性、 标记被测对象的属性 调度计划管理 支持脚本选时间、选 机器、按计划进行调 度 测试执行管理 执行过程可查看、 执行状态可监控 测试结果管理 测试结果规范化、 结构化、能自动分 析 测试报表管理 支持多种视角的对 测试结果进行分析
- 13.自动化测试-测试平台
- 14.自动化测试-测试平台
- 15.自动化测试-测试平台的价值 01 节省执行人力 ü 让测试人员从繁琐的执行工作中解 脱，投入到测试分析，技能提升更 有意义的工作中，同时得到成长 02 统一的用例管理、执行平台 ü 解决用例繁多难以维护且每人不同 步的风险 ü 测试执行平台统一，测试结果公开 03 与部署监控系统对接 ü 实现组件自动化上线验证 ü 实现自动化主动监控
- 16.自动化测试-单点功能测试 Vad、降噪 前后端点检测、 音频消噪增强 编解码 音频编码、解 码速率，压缩 等级，性能占 用，效果 性能测试及 分析 音频编码、解码 速率，压缩等级， 性能占性用能，测效试果及分析 覆盖多种运营商网络 及网络制式 服务端、客户端网络 拟合分析，各组件耗 时 超大并发压力测试 竞品结果对比 效果测试 个性化、字、 句准确率、 语义理解关 键字
- 17.目录 语音云架构 自动化构建、测试、部署 现网监控及改进
- 18.现网监控及改进 形成“数据-优化”闭环 分析 结果 输出 灰度环境发布，让用户 帮你测试 海量数据收集、清洗、 分析，动态实时掌握现 网服务情况 灰度发布及线 上数据收集 主动监控 效果、基础功能、业务 主动监控、拨测工具 告警 实时性较强 组件较多，及时告警、修复 重启、减少虚警 离线分析组件健康度，优化、 下线病态组件
- 19.现网监控及改进-数据收集 可用性指标的定义 • 客户端可用性 • 服务端可用性 • 无效数据的定义（用户行为错误、 无效音频、用户取消） 可用性 分析维度 地域、时间、网络类型、引擎类型 组件健康度，组件健壮性 响应 时间 响应时间的计算方式 • 用户感受的时间 • 服务的真正耗时 时间拟合 服务组件的各层耗时、网络 耗时 优化服务，降低耗时 用户量 活跃用户、僵尸用户、日交互次数 用户类型 男女、年龄、热词 动态调整授权比例、效果优化 用户量 错误码 错误码细分 • 用户取消 • 网络超时 分析错误， 增强系统健壮性
- 20.现网监控及改进-灰度发布 案例：灰度发布一个客户端版本，可用性比平时低了5个百分点 分析： 1. 地域、网络 客户端发布渠道有问题，80%的用户集中在国外 2. 重新选择国内的渠道发布，可用性依然低 结果因为渠道较为偏门，整体用户较少且为非主流的下载渠 道，导致使用客户端较为低端 3. 选择大众发布渠道，可用性还是低 分析维度：网络、省份、客户端系统版本、业务类型 u 广东省可用性特别低 u 单独分析广东省份，各个市区、各个网络维度 u 发现粤语业务类型下的的服务很低 ü 最终定位是：粤语引擎处理策略有问题
- 21.现网监控及改进-灰度发布 数据来源很重要 分析维度要全面 分析维度由广至细 定位问题需要看具体日志 统计分析可以发现全部问题吗？每个维度都很低怎么办？
- 22.现网监控及改进-告警 组件健康度 组件 告警 容量 告警 应用 告警 错误 码告 警 实时性较高，并具备实时拉起恢复机制 与运维一起确定监控机制，从产品层面考虑监控策略 确定组件健康度，对病态组件进行下线整改
- 23.现网监控及改进-主动监控 效果主 动监控 功能主 动监控 应用的 主动监 控 01-效果主动监控 可采用字、句准确率统计，考察线上服 务的效果情况 竞品的效果对比 02-功能主动监控 针对现上数据难以精准提取的难点，进 行特定功能的主动测试 现网巡检 拨测：集成语音apk（含竞品），各地 用户进行拨测，收集数据分析 03-应用主动监控 对于外部开发者集成的第三方应用（特 定集群），进行主动测试，确保第三方 的使用情况
- 24.现网监控及改进 ü 分析只是手段 ü 所有数据都要形成闭环 ü 最终目的只有一个：保障服务可用并好用！
- 25.总结： p 让用户帮你测试 云服务测试，需要同时关注线下线上，因 为使用场景太过复杂，让用户帮你测试 p 业务与技术双管齐下 测试人员要有独立维护测试工具的能力 所有的测试开发都必须以业务需求为基础 p 团队的力量 1+1>2
- 26.谢谢！ 联系方式：Tel:13966765403E-mail:danzheng@iflytek.comQQ：760027833
- 27.
