酷家乐搜索服务质量体系分享
2020-02-23 131浏览
- 1. 酷家乐搜索服务 质量量体系分享 ⻛风⻜飞
- 2. ⾃我介绍 • • 2012年毕业于中科⼤，加⼊华为；负责会议系统测试 2013年底换到⽆线部门，负责ip层测试 • 2014年底加⼊pptv，负责⼴告、exchange系统测试 • • 2016年9⽉加⼊酷家乐，负责tob组业务测试 2017年初⾄今在Exabrain测试组，建⽴起搜索服务质量 闭环体系；⽬前担任算法组、⼤数据组的测试mgr
- 3. 1. 2. 3. 4. 搜索服务介绍 质量量体系介绍 数据同步测试 搜索debug平台
- 4. 搜索⼊⼜
- 5. 整体架构
- 6. 测试对象
- 7. ⾯对的问题 搜索响应慢 搜索效果差 搜索延迟 接⼜参数复杂，对调⽤⽅不透明；线上问题跟踪 困难 5. …… 1. 2. 3. 4. 1 业务逻辑复杂 2 性能要求⾼高 3 数据变更更链路路⻓长
- 8. 1. 2. 3. 4. 搜索服务介绍 质量量体系介绍 数据同步测试 搜索debug平台
- 9. 业务测试三⼑流 推进单元测试，建⽴立cBTD体系 接⼜⾃动化，持续集成 结合覆盖率，精准测试
- 10. cBTD 命名⻛风格：cBTD-exabrain-ads-adapidata • • • • c B T D continue Build Test Deploy 持续 构建 测试 发布jar包
- 11. 持续集成
- 12. 覆盖率
- 13. 性能测试唯快不破 耗时⽅法定位 性能优化 性能回归
- 14. 耗时⽅法定位
- 15. 性能优化 优化前：redis get和select之间会有⽐较⼤的gap 原因：没有归还连接池，连接池满了后会到超时时间后才归还 优化措施： 1. ⽤完后归还连接池 2. 扩⼤连接池
- 16. 性能回归
- 17. 效果测试花开两朵 类⽬预测 搜索diff测试
- 18. 类⽬预测测试 1. 测试数据集：模型渲染图 + 渲染图中抠图 （每个图⽚都有类⽬标签） 2. 结果可视化 3. 持续集成
- 19. 搜索diff测试 1. 想要更科学、更全⾯地评估线上⽤户⽤到的query,需要选取哪些关键词？如何获取？
- 20. 搜索diff测试 1. 如何知道哪些query的结果是有变化的？
- 21. 搜索diff测试 1. 这么多diff，如何才能更⽅便review结果？
- 22. 质量闭环
- 23. 1. 2. 3. 4. 搜索服务介绍 质量量体系介绍 数据同步测试 搜索debug平台
- 24. solr的问题 查询solr响应时间过长 增量索引缓慢，导致搜索延迟 性能太差，⽆法满⾜快速增长的⽤户量 运维繁琐
- 25.
- 26. 测试重点 数据准确性 同步实时性 ⼤批量数据变更的效率 稳定性
- 27. 测试难点 测试场景设计 测试数据选取 实时性测试
- 28. 分解测试
- 29. 数据准备
- 30. 耗时监测 10W数据变更，10分钟内能够全部同步到宽表
- 31. 上线后遇到的问题 线上数据准确性如何感知 错误数据如何订正
- 32. 宽表校验订正平台 http://confluence.qunhequnhe.com/pages/viewpage.action?pageId=42598141
- 33. 宽表校验订正平台
- 34. 宽表校验订正平台 1. 全量校验⼏千万级数据，数据源来⾃多个数据库的⼏⼗张不同的表；跑⼀次需要天级时间；严重影响 效率，如何解决？
- 35. 1. 2. 3. 4. 搜索服务介绍 质量量体系介绍 数据同步测试 搜索debug平台
- 36. 漫长的链路 1. 2. 3. 4. 5. 6. 前端传参错误 后端服务器发给搜索的参数错误 搜索调⽤openSearch参数错误 数据原本的值错误 宽表数据错误 openSearch索引错误
- 37. 搜索debug平台 http://confluence.qunhequnhe.com/pages/viewpage.action?pageId=41452227
- 38. 搜索debug平台
- 39. ⼴广告时间 酷家乐技术博客 知乎专栏
- 40. THANK YOU
