GMTC2018 《基于AI的网易UI自动化测试方案与实践》 熊博
2020-02-27 451浏览
- 1.基于AI的⽹网易易UI⾃自动化 测试⽅方案与实践 熊博 ⽹网易易测试专家 2018-6-21
- 2.
- 3.
- 4.1. 开源UI⾃自动化测试⽅方案Airtest Project 2. ⽹网易易⼤大规模⾃自动化实践 3. AI在Airtest中的应⽤用 4. AI与Airtest Project的未来展望
- 5.1. 开源UI⾃自动化测试⽅方案Airtest Project
- 6.⽹网易易 150+款移动App
- 7.Android碎⽚片化 海海量量设备 Other Samsung Huawei Hongmi vivo OPPO Xiaomi Lenovo Coolpad ⾦金金⽴立 Meizu
- 8.Airtest Project ⽹网易易研发的跨平台UI⾃自动化测试⽅方案，和Google合作发布并开源@GDC 2018 Airtest IDE Airtest Poco
- 9.Airtest IDE ⾃自动化脚本编辑器器
- 10.!10
- 11.!11
- 12.做点有趣的事情
- 13.!13
- 14.测试框架Airtest 基于图像识别
- 15.测试框架Poco 基于UI层次结构
- 16.全平台⽀支持 依赖 Airtest 设备操作系统 平台⽀支持 iOS/Android/Windows (macOS/watchOS) Poco 原⽣生应⽤用 游戏引擎 iOS/Android/Web 应⽤用 Cocos/Unity/各种游戏引擎
- 17.2. ⽹网易易⼤大规模⾃自动化实践
- 18.⾃自动化云平台演示
- 19.⾃自动化云平台架构
- 20.⼤大规模⾃自动化实践 200+ 设备数量量 1100+ 脚本数量量 4000+ 设备运⾏行行时⻓长/周
- 21.3. AI在Airtest中的应⽤用
- 22.游戏UI识别 基于OpenCV 模板匹配算法：遍历图像，逐像素计算匹配度 ⼤大⼩小⼀一致时，定位准确✅ 跨分辨率时，定位异常❌
- 23.游戏UI识别 基于OpenCV SIFT算法：特征点匹配 Step1. 提取⽬目标和截图特征点 Step2. 特征点关联
- 24.游戏3D物体识别 如何识别旋转的3D物体？
- 25.AI领域的物体识别 《Supercharge your Computer Vision models with the TensorFlow Object Detection API》 —— Google AI Blog, 2017.06
- 26.AI图像识别 ⼯工作流程
- 27.AI图像识别 利利⽤用Poco进⾏行行⾃自动标注 ⽤用Poco过滤⽬目标物体 ⾃自动标注⽬目标名称和坐标 ⽣生成json标注⽂文件和截图
- 28.AI图像识别 Step by Step 基于Tensorflow Object Detection API 1. ⽣生成TFRecord
- 29.AI图像识别 Step by Step 2. 选择预训练模型，开始训练 lable_map 3. 使⽤用eval和Tensorboard评估训练结果，并导出模型使⽤用
- 30.AI图像识别 训练结果
- 31.AI图像识别 在⾃自动化测试中的应⽤用demo connect_device("Android:///") start_app("com.netease.dyll") touch("Content_Level (1)") touch("LevelHeroPanel_Go") for i in range(1000): touch('food_fish1')
- 32.4. AI与Airtest Project的未来展望
- 33.搞定了了App图像识别 ⾃自动化程序还是需要⼈人⼯工写
- 34.Reinforcement Learning 强化学习：如何基于环境⽽而⾏行行动，以取得最⼤大化的预期利利益 传统策略略AI W1 探测游戏场景 W2 输出动作概率 Pup Pstill Pdown Policy Network [Demo From Google Cloud Platform]
- 35.Reinforcement Learning Policy gradients训练过程 策略略梯度：让动作执⾏行行⼀一会⼉儿，看看什什么动作将会产⽣生⾼高回报，那么就提⾼高 这部分动作在当前情况下出现的概率。 WIN! +1 LOSE -1 Reward
- 36.Reinforcement Learning 训练结果 前⼏几次 5000次训练之后
- 37.AI与Airtest Project的未来展望 基于AI实现零代码的App⾃自动化 确定操作空间 确定环境信息 创建模拟环境 设计和训练模型
- 38.Airtest Project服务与⽀支持
- 39.维持开源⽣生态 39 airtest.netease.com github.com/AirtestProject /Airtest github.com/AirtestProject /Poco ⏬ 10000+ ⭐ 1300+ trending
- 40.开放云测试平台AirLab Top 100 Free!
- 41.SaaS+B2B解决⽅方案 公有⼿手机集群 历史数据分析 SaaS 定制化报告B2B:私有化定制⽅方案 云端虚拟设备 云端执⾏行行任务 推荐性能数据 定制化设备集群 私有化云测试平台 专业技术⽀支持
- 42.
- 43.
- 44.
- 45.
