花椒直播联合创始人兼CTO韩三普——移动直播时代-驱动媒体变革的重要技术
2020-02-27 59浏览
- 1.移动直播时代驱动媒体变革的重要技术 韩三普—花椒联合创始人&CTO 2017.9.16
- 2.不同视角看视频直播的位置 技术载体 文字 图片 视频 直播 传输与呈现 VR 互联网从文字、图片到视频，技术与内容不断交织演化， 信息量越来越大，表现能力越来丰富，实时互动的趋势越来越明显。
- 3.花椒产品技术上的四大特征 实时 实时带来强反馈，能够 源源不断地获得满足感 互动 互动就是社交 互动就是游戏 AR 打破虚拟与现实的界限 更好玩，更有用 智能 更懂用户，更方便可靠
- 4.花椒上的重要技术 一个基础 + 双A战略 一个基础是指实时通信、直播与音视频处理这些基础技术 双A是指AR+AI
- 5.一个基础 基础技术是产品的基石
- 6.一个基础-传输与采集相关直播视频处理技术 传输相关技术(清晰度、卡顿、延迟与开启速度) • H.265 • 延迟自适应 • 多码率自适应 • 分辨率自适应 • 帧率自适应 • 智能调度 • 硬编硬解 • 秒启动技术 采集技术 • 录屏 • 录摄像头 • VR录制 • 智能硬件录制（智能眼镜） 传输相关的技术决定了一个产品的基础体验，可以说是产品的技术根基。
- 7.一个基础-H.265应用情况 率先采用H.265视频编解码方案 视频编码标准 HEVC 较之H.264/MPEG-4 AVC HP减少码率的比例 480p 720p 1080p 52% 56% 62% 4K UHD 64%
- 8.一个基础-音视频互动与通信相关技术及应用 音视频互动与增强互动技术： • 传统主播连麦 • 多人视频实时互动 • 互动白板(你画我猜等) • 多功能互动插件机制 通信相关： • 直播间聊天室 • 私信 • 群组 音视频处理： • 混响 • 伴奏 • 变声 • 纠正歌声 • 滤镜 • 贴纸/相框 文字与音视频的处理与通讯技术加上增强的互动插件化技术方案，使产品互动更多样。 多种实时互动技术开发的产品功能增加了产品的趣味性和可玩性。
- 9.一个基础-多人视频实时互动例子
- 10.AR AR使产品更好玩，更酷，更实用
- 11.AR-一些特色技术及应用 • 抠图换场景 • 萌颜 • 变脸 • 互动礼物 • 人体跟踪与虚拟人合成 • 美颜 • 大眼、瘦脸 • 嵌入式广告 基于AR的技术，使产品内容变得更好看，更好玩，更梦幻，更社交。
- 12.AR-基础的实现架构
- 13.AR-萌颜的实现过程
- 14.AR-虚拟人物合成的实现过程
- 15.AR-优势与局限 情相境机敏质感量式与信成息像处理 增电强量感消知耗 混网合络现依实赖模性拟 虚可拟视界化面与交互可能 特弱定光情、境噪下点的、信曝息光获、取焦距 延高伸帧人率类持能续力运行 在移现动实网中络探信索号虚影拟响体验 在设虚备拟尺中寸控、制交现互实技术、环境
- 16.AI 核心是数据+算法 我们主要用AI解决内容创造、内容理解与信息决策三个方面的问题
- 17.AI-一些特色技术及应用 • 计算机视觉： • 人脸识别 • 手势识别 • 物体检测与跟踪 • 视频主题发现 • 智能生成精彩剪辑 • 智能鉴黄 • 语音技术： • 语音识别 • 决策系统： • 提现自动化审核 • 自动封禁恶意用户 • 支付风控 • 大数据应用： • 个性化推荐 • 反垃圾 个性化推荐与基于AI的视频理解等相关技术使产品更人性化。 基于深度学习的反垃圾，风控，鉴黄技术使产品更纯净，更安全。
- 18.AI-盘点一下人工智能的技术图谱
- 19.AI-目标识别技术实现过程
- 20.AI-人脸识别技术实现过程
- 21.AI-个性化推荐引擎
- 22.AI-视频分类、标签 视频片段 图像 光流 类别：户外 标签：卡车、公路、树
- 23.后台的支撑技术与周边 利用AI增强对视频内容的理解能力， 通过机器自动识别跳舞并自动截取出小视频
- 24.VR VR-一种新的可能 带宽、性能、设备覆盖达到一定条件可能会爆发
- 25.视频与直播作为移动互联网上一种新的表达方式，人们使用这两种形式的技术创造 出来的产品，产生了越来越多的内容。通过智能算法与个性化推荐，将重塑媒体的分发 机制。互动聊天、交互礼物、美颜、AR、AI、VR等新技术将进一步重塑媒体的内涵与外 延，融入更多社交元素，带来社交与内容的体验革命。
- 26.
