360 陈强-深度学习在视频分析中的架构、算法与应用

2020-02-27 149浏览

  • 1.深度学习在视频分析中的 架构、算法与应用 陈强 360人工智能研究院
  • 2.360 业务场景：安全 + 智能 Security&Safety Information Services ... AI拓展360安全呵护的范畴>> 物理世界安全 ... AI让信息的生产>分析>获取>消费更智能
  • 3.360 视频大数据组 直播 IOT 短视频 推荐 广告 搜索 视频分析 大数据系统 深度学习平台 大规模GPU集群 40GE光纤连接 360 NET 多机并行，支持多个框架 系统平台 整体调度，任务管理，资源复用
  • 4.视频分析 环境 物 业 务 云端 移动端 数 据 语音 视频 核 心 检测 识别 分割 跟踪
  • 5.视频分析 – 核心问题 核 心 检测 Object Classification Person, Horse, Barrier, Table, etc Object Detection 识别 分割 跟踪 Object Segmentation
  • 6.视频分析 – 算法基础 • 传统分类框架 数据预处理 特征抽取 （HoG，SIFT等） • 卷积神经网络 分类器 （SVM，random forest等） 后处理
  • 7.视频分析 – 算法基础 • 卷积神经网络
  • 8.视频分析 – 算法基础 • 卷积神经网络
  • 9.视频分析 – 算法基础 • 卷积神经网络
  • 10.视频分析 – 算法基础 • 卷积神经网络 • 深层非线性系统的叠加 • 端到端的特征和任务学习 • 低层次和高层次特征的级联
  • 11.视频分析 – 算法框架 Forward Block Single Frame Predictor Forward Block deconvolution deconvolution 分割 convolution convolution 识别 检测 Single Frame Predictor RNN 检测 Single Frame Predictor RNN 检测
  • 12.视觉感知模型-融合 深度学习 核 心 检测 识别 分割 跟踪 • 完全基于深度学习 • 统一分类，检测，分割，跟踪  通过共享计算提高算法效率  通过多个相关任务共同学习提高算法性能 • 稀疏标注  在节省标注工作量的的同时，充分利用视频数据 Forward Block Forward Block Single Frame Predictor deconvolution deconvolution 分割 convolution convolution 识别 检测
  • 13.人工智能研发的三个核心维度>>小、快、准 小模型 Frequent remote upgrade 线上速度快 CPU-constrained, realtime Cloud processing 预测准 深度学习已经逐步取代各领域的传统方法
  • 14.深度学习原创贡献: Network in NetworkNIN:complex-cell filters, pure convolutional, 1x1 convolution layers NIN CNN # feature maps = # classes I can also tell you that some of the ideas developed in your Network-in-Network paper were instrumental to other strong performers in the challenge, so congratulations for that contribution as well. --- Vincent and Jeff, Google
  • 15.深度学习原创贡献: Dual-path Networks + + Feature refinement ~ ~ 1×1 3×3 1×1 1×1 3×3 ImageNet 1000类物体识别 1×1 3项比赛、14个指标全部全球前三！ Feature re-exploitation 错误率 6.2% (ImageNet收官之战 冠军) Dual Path Networks
  • 16.人工智能与短视频业务 短视频生产 短视频分发 360人工智能 端，云 短视频增强AR 短视频理解
  • 17.视觉相关研发: 总览 性别 年龄 颜值 表情 美白 嫩肤 人脸属性 分析 人脸识别 人脸美化 路径规划 3D/SLAM 视频防抖 AR特效 瘦脸 图像 风格化 大眼 人像抠图 人脸检测 人脸分析 特征点定位 视觉标注 视觉分类 检测分割 敏感视频
  • 18.图像识别 原图 卷积特征 预测类别
  • 19.视频分析 -- Tags 聚类 分类 Tags • 问题：（1）缺乏标注数据，（2）缺乏显示的标注体系 • 解决方案：聚类到分类 • 应用场景：短视频内容Tag。
  • 20.视觉分析（快）：人脸分析 最早在人脸标准库上LFW达到99.7%的团队之一! 3.15 晚会 破解 人体活体认证
  • 21.视频增强：AR直播、相机、短视频 无法显示该图片。 花椒直播: 美颜、萌颜 花椒相机: 美颜、萌颜
  • 22.短视频风格化 Cost <0.5s to generate stylization model for any give style image, and then run stylization in real-time!
  • 23.chenqiang-iri@360.cn ai.360.cn
  • 24.聚 音 视 研修不止于形 关注LiveVideoStack公众号 回复 陈强 为讲师评分