GMTC2018 《揭秘微视：视频特效与非线性编辑技术内幕》 柯灵杰
2020-02-27 162浏览
- 1.柯灵杰（lingtonke） • 腾讯微视技术负责人 • 腾讯学院认证讲师 • 腾讯官方开源组件开发者 • 参与过微视、QQ、QQ空间、企鹅MV、微云、微 视等多个项目开发 • 主要从事视频、图像、特效相关的工作 • 数项国家发明专利第一发明人 个人介绍
- 2.
- 3.
- 4.揭秘微视 视频特效与非线性编辑技术内幕 柯灵杰（lingtonke）
- 5.00 前言：谈谈视频编辑技术的演变 一对一线性编辑系统 多对一线性编辑系统 Adobe Premiere
- 6.00 前言：谈谈视频编辑技术的演变 一对一线性编辑系统 多对一线性编辑系统 Adobe Premiere 一对一线性编辑系统
- 7.00 前言：谈谈视频编辑技术的演变 一对一线性编辑系统 多对一线性编辑系统 Adobe Premiere 多对一线性编辑系统
- 8.00 前言：谈谈视频编辑技术的演变 一对一线性编辑系统 多对一线性编辑系统 数字处理芯片 PC Adobe Premiere 音频处理芯片
- 9.00 前言：谈谈视频编辑技术的演变 一对一线性编辑系统 多对一线性编辑系统 Adobe Premiere Adobe Premiere
- 10.00 前言：谈谈视频编辑技术的演变 一对一线性编辑系统 多对一线性编辑系统 Adobe Premiere 微视
- 11.01 整体流程与框架设计
- 12.01 整体层次 APP SDK Engine
- 13.01 音视频SDK架构 摄像头 麦克风 UI 草稿模块 录制模块 视频文件 Model 编辑模块 微视音视频 引擎 保存本地 APP播放 视频文件 Model 添加水印 高清视频 WEB播放 普通视频 上传模块 原始视频 后台转码
- 14.02 音视频引擎 摄像头 播放器 图像数据 脚本化资源 编码器 渲染 图像数据 时 间 驱 动 引 微 擎 视 音 视 频 引 擎音 视 频 处 理 引 擎 人脸识别 数据 陀螺仪 数据 脚本驱动 时间轴 姿态识别 数据 ARKit 数据 亮度检测数据 外部输入数据 代码驱动 图像处理 美白磨皮 五官立体 调色处理 粒子系统 人脸装饰 3D AR AI智能美颜 四格特效 碎裂特效 音频处理 波形解析 音乐合成 变声
- 15.02 视频的采集与优化
- 16.02 视频的采集与优化 01 视频优化技术 超采样、去噪、亮度调整、LUT 02 人像调节技术 人物美肤、五官调整 03 视频编码 Profiles、GOP、Reframe、Bitrate control
- 17.02 视频的采集与优化 01 视频优化技术 超采样、去噪、亮度调整、LUT 1920 X 1080 超采样 02 高采集分人辨像率 调节技术 960 人物美肤、五官调整 X 低处理分辨率 540 03 低编码分辨率 视频编码 Profiles、GOP、Reframe、Bitrate control 提高信噪比
- 18.02 视频的采集与优化 01 视频优化技术 超采样、去噪、亮度调整、LUT 02 人像调节技术 人物原美肤、五官调双整 始 域 含 滤 VS 噪 视 波 视 视频编码 03 Profi频les、GOP、频Reframe、Bitrate control
- 19.02 图像亮度与色彩调整技术 人眼对亮度的感受是 非线性的 人眼对不同颜色的 敏感度不同 我们期望图像的显示 符合人的感受 感受亮度 物理亮度 Gray = ??????????????????×0.299 + ??????????????????????????????×??????. ?????????????????? + Blue×0.114
- 20.02 图像亮度与色彩调整技术 直方图亮度调节 颜色查找表（LUT）
- 21.02 视觉增强
- 22.02 视觉增强
- 23.02 视频的采集与优化 01 视频优化技术 超采样、去噪、亮度调整、LUT 02 人像调节技术 人物美肤、五官调整 03 视频编码 Profiles、GOP、Reframe、Bitrate control
- 24.02 人脸美化 毛刺明显 保留梯度 原图 亮度调节 保边美肤 五官重塑 实时美妆 智能美颜 梯度消失 原始图像 双边滤波 高斯滤波
- 25.02 采集清晰度优化 01 视频增强 原始图像更清晰 五官立体、瘦脸、V脸、 美白、磨皮、大眼 02 视觉增强 看起来更好 03 视频编码 编码后，播放更清晰
- 26.02 编码参数的选择与优化 Profiles • 表明了支持的编码功能 • 每个级别，减少10%~20% 的码率 • 硬件支持，越高越好 Reference frame • 占用内存 • 提高压缩率 • 注意设备支持情况 Bit Rate Controll • CBR恒定码率 • VBR动态码率 • CVBR约束动态码率 Group of pictures • Seek粒度 • 不影响首缓 • 提升压缩率
- 27.03 AR视频特效的渲染与优化
- 28.03 AR粒子系统-落叶
- 29.03 粒子渲染
- 30.03 点精灵 ((??????. ?????? − 12)× cos ?????? + (??????. ?????? − 12)× sin ??????)× 2 ?????? = ????????????????????????ℎ ÷ ??????????????????(????????????????????????ℎ, ℎ??????????????????ℎ??????) 1 +???????????????????????????????????? + 2 ×??????????????????????????????????????????????????????ℎ ?????????????????? ????????????????????????ℎ, ℎ??????????????????ℎ?????? ×??????????????????????????????????????????????????????ℎ ???????????????????????? = ×2 ???????????????????????????????????????????????? (0,1) ?????? (0,0) Texture Atlas ??????????????????????????????????????????????????????ℎ (0,0) (1,1) (1,0) (2048,2048) ((??????. ?????? − 12)×?????????????????? ?????? − (??????. ?????? − 12)×?????????????????? ??????)× 2 ?????? = ????????????????????????ℎ ÷ ??????????????????(????????????????????????ℎ, ℎ??????????????????ℎ??????) 1 +?????????????????? + 2 ×??????????????????????????????????????????????????????ℎ??????
- 31.03 多pass渲染管理 Camera NoAlpha AFiltpehra Overlay
- 32.03 多pass渲染管理 • Camera Pass • NoAlpha Pass • Alpha Pass • Overlay Pass • Filter Pass 正确渲染 错误渲染 Overlay Alpha Camera NoAlpha
- 33.04 视频编辑及处理技术
- 34.04 非线性编辑能力 主时间轴 视频通道 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 特效通道 4/9格 字幕 多层 模糊 模糊 字幕 字幕 音频通道 视频文件 爆炸声 按键声 背景音乐
- 35.04 特效的原理与制作 + = 4格特效 截取绘制所需的图像 传入相关图像数据及时间 计算像素的对应关系
- 36.04 4格轮播特效——第一阶段 实时 0 0 0 0 1 2 3 实时
- 37.04 4格轮播特效——第二阶段 1 实时 0 0 0 1 2 3 实时
- 38.04 4格轮播特效——第三阶段 1 2 0 实时 0 1 2 3 实时
- 39.04 4格轮播特效——第四阶段 1 2 实时 3 0 1 2 3 实时
- 40.05 未来的发展
- 41.05 未来的发展 游戏引擎内嵌 超分辨率技术 AI与自动化处理 • 语音识别+自动贴纸 • 图像识别+一键特效 • 音乐波形+自动特效
- 42.
- 43.
- 44.
- 45.谢谢大家！ Lingtonke（柯灵杰）
