chp5 MPEG视像

2020-03-01 213浏览

  • 1.第 5 章 MPEG 视像 浙江理工大学数字媒体技术系
  • 2.第 5 章 MPEG 视像  视像数据的冗余  视像数据的速率  MPEG-1 视像  MPEG-2 视像  MPEG-4 视像 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 3.第 5 章 MPEG 视像 MPEG 视像    MPEG 视像是指使用 MPEG 视像标准压缩和解压 缩的电视图像 现有的 MPEG 视像标准包括 MPEG-1 Video ， MPEG-2 Video ， MPEG-4 Visual 和 MPEG-4 AVC / H.264 。 这些视像标准基本概念类似，数据压缩和编码方法 基本相同，它们的核心技术都是采用以图像块作为 基本单元的变换、量化、移动补偿、熵 等技术，在保证图 编码 像质量的前提下获得尽可能高的压缩比 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 4.5.1 视像数据的冗余  视像数据存在的冗余  空间冗余 (spatial redundancy)   结构冗余 (structural redundancy)   与空间位置有关的冗余：在单帧图像中，相邻像素的值 常有相同或变化不大的情况，可用较少数据表达 图像自身构造的冗余：若从宏观上来看一帧图像，有些 图像存在相同或类似的结构，如用地板图案构成的图像 视觉冗余 (vision redundancy)  与视觉系统有关的冗余：对图像的亮度变化敏感而对颜 色变化不敏感，对剧烈变化区域敏感而对缓慢变化区域 不敏感，对图像的亮度和颜色的分辨率都存在极限 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 5.5.1 视像数据的冗余  知识冗余 (knowledge redundancy)   数据冗余 (data redundancy)   与知识有关的冗余：在单帧图像中含有为人熟知的知识，称为 先验知识。例如，正面人头像有相对固定的结构，眼睛下方是 鼻子，鼻子下方是嘴，嘴和鼻子均位于脸的中线上。这类规律 性的结构往往不会改变或变化不大，而用传统方式录制的视像 数据中存在许多重复的数据 数据本身的冗余：视像数据本身存的冗余 时间冗余 (temporal redundancy)  与时间相关的冗余：在某个时间间隔上出现场景相同或基本相 同的连续帧时，帧与帧之间存在大量的冗余数据 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 6.5.1 视像数据的冗余 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 7.5.2 视像数据的速率  BT.601 视像数据速率  使用 4:2:2 采样格式，亮度信号 Y 的采样频率为 13.5 MHz ，色 差信号 Cr 和 Cb 的采样频率为 6.75 MHz ，每个样本的精度为 10 位，视像数据速率为 (1) 亮度 (Y) 858 样本 / 行 ×525 行 / 帧 ×30 帧 / 秒 ×10 位 / 样本≈ 135 兆位 / 秒 (NTSC) 864 样本 / 行 ×625 行 / 帧 ×25 帧 / 秒 ×10 位 / 样本≈ 135 兆位 / 秒 (PAL) (2) Cr (R-Y) 429 样本 / 行 ×525 行 / 帧 ×30 帧 / 秒 ×10 位 / 样本≈ 68 兆位 / 秒 (NTSC) 432 样本 / 行 ×625 行 / 帧 ×25 帧 / 秒 ×10 位 / 样本≈ 68 兆位 / 秒 (PAL) (3) Cb (B-Y) 429 样本 / 行 ×525 行 / 帧 ×30 帧 / 秒 ×10 位 / 样本≈ 68 兆位 / 秒 (NTSC) 432 样本 / 行 ×625 行 / 帧 ×25 帧 / 秒 ×10 位 / 样本≈ 68 兆位 / 秒 (PAL) 总计： 27 兆样本 / 秒 ×10 位 / 样本 = 270 兆位 / 秒 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 8.5.2 视像数据的速率  实际上，在荧光屏上实际显示的有效图像的数据传输率并没有 那么高，其中， (1) 亮度 (Y) 720 样本 / 行 ×480 行 / 帧 ×30 帧 / 秒 ×10 位 / 样本  104 兆位 / 秒 (NTSC) 720 样本 / 行 ×576 行 / 帧 ×25 帧 / 秒 ×10 位 / 样本  104 兆位 / 秒 (PAL) (2) 色差 (Cr ， Cb) 2×360 样本 / 行 ×480 行 / 帧 ×30 帧 / 秒 ×10 位 / 样本  104 兆位 / 秒 (NTSC) 2×360 样本 / 行 ×576 行 / 帧 ×25 帧 / 秒 ×10 位 / 样本  104 兆位 / 秒 (PAL) 总计：～ 207 兆位 / 秒 (Mb/s)  如果每个样本的采样精度由 10 位降为 8 位，彩色数字电视信 号的数据传输率就降为 166 Mb/s 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 9.5.2 视像数据的速率  VCD 视像的压缩比  VCD 盘要求的压缩比   使用 Video-CD 存储器早期的数据传输率为 1.4112 Mb/s ，分配给电视信号的数据传输率为 1.15 Mb/s ，这就意味着 MPEG 视像编码器输 出的数据速率要达到 1.15 Mb/s 如果存储 166 Mb/s 的数字电视信号就需要对它 进行高度压缩，压缩比高达 166/1.15 ≈ 144:1 。 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 10.5.2 视像数据的速率  NTSC 和 PAL 的数据传输率    首先把 NTSC 和 PAL 数字电视转换成公用中分辨率 格式 (CIF) 的数字电视，子采样使用 4:2:0 或 4:1:1 时 ，这种格式就相当于家用录像系统 (VHS) 的质量 彩色数字电视的数据传输率就要减小到  352×240×30×8×1.5 ≈ 30 Mb/s (NTSC)  352×288×25×8×1.5 ≈ 30 Mb/s (PAL) VCD 视像的压缩比  把这种彩色数字电视信号存储到 CD 盘上所需要的压 缩比为 30/1.15 ≈ 26:1 。这是 MPEG-1 技术能够获得 的压缩比。 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 11.5.2 视像数据的速率  DVD 视像的压缩比  DVD 盘要求的压缩比   NTSC 和 PAL 的数据传输率   按照视像数据的平均数据传输率为 4.1 Mb/s 来计算， 压缩比就要求达到 166/4.10 ≈ 40:1 如果视像的子采样使用 4:2:0 格式，每个样本的精度 为 8 位，视像数据传输率就减小到  720×480×30×8×1.5 ≈ 124 Mb/s (NTSC)  720×576×25×8×1.5 ≈ 124 Mb/s (PAL) DVD 视像的压缩比  使用 DVD-Video 来存储 720×480×30 或 720×576×25 的数字视像所需要的压缩比为 124/4.1 ≈ 30:1 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 12.5.3 MPEG-1 视像  视像数据的压缩算法  MPEG-1 视像 (MPEG-1 Video) 压缩视像数 据的基本方法可以归纳成两个要点    在空间方向上，采用与 JPEG 类似的算法来去掉 空间冗余数据 在时间方向上，采用移动补偿 (motion compensation) 算法来去掉时间冗余数据 MPEG 专家组为此开发了两项重要技术   定义了视像数据的结构 定义了三种类型的图像 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 13.5.3 MPEG-1 视像  视像数据结构       把视像片段看成由一系列静态图像 (picture) 组成 的视像序列 (sequence) 把视像序列分成许多像组 (group of picture ， GOP) 把像组中的每一帧图像分成许多像片 (slice) ，每 个像片由 16 行组成 把像片分成 16 行 ×16 像素 / 行的宏块 (macroblock ， MB) 把宏块分成若干个 8 行 ×8 像素 / 行的图块 (block) 使用子采样格式为 4:2:0 时，一个宏块由 4 个亮度 (Y) 图块和两个色度图块 (Cb 和 Cr) 组成 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 14.5.3 MPEG-1 视像 16 16 视像数据结构 2019年5月14日 星 期二 1 2 3 8 16 16 16×16 (彩色宏块) (a) 视像数据的组织 0 Y 8 4 8 8 Cb ( 方框中的数字为图块编 号) (b) 宏块的结构 (4:2:0) 第 5 章 MPEG 视像 5 Cr
  • 15.5.3 MPEG-1 视像  三种类型的图像  MPEG 专家组定义了三种类型的图像，然后采用 三种不同的算法分别对它们进行压缩 帧内图像 I (intra- picture) ，简称为 I 图像或 I 帧 (I-picture / I-frame)   包含内容完整的图像，用于为其他帧图像的编码和解 码作参考，因此也称为关键帧 预测图像 P (predicted picture) ，简称为 P 图像或 P 帧 (P-picture / P-frame)  2019年5月14日 星 期二 指以在它之前出现的帧内图像 I 作参考图像的图像， 对预测图像 P 进行编码就是对它们之间的差值进行编 码 第 5 章 MPEG 视像
  • 16.5.3 MPEG-1 视像  双向预测图像 B (bidirectionally-predictive picture ) ，也称双向插值图像 B(bidirectionallyinterpolated picture) ，简称为 B 图像或 B 帧 (B-picture/B-frame)  以在它之前和之后的帧图像 (I 和 P) 作参考的图像 ，对 B 进行编码就是对帧内图像 I 和预测图像 P 的 差值分别进行编码 MPEG 专家组定义的三种图像 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 17.5.3 MPEG-1 视像  帧内图像 I 的压缩编码算法  不参照过去的帧和将来的帧，采用与 JPEG 类似的压缩算法以减少空间的冗余数据，   如果视像是用 RGB 空间表示的视像，则首先把 它转换成 YCrCb 空间表示的视像 每个图像平面分成 8×8 像素的图块，对每个图块 进行离散余弦变换 (DCT) ，变换后产生的交流 分量系数经过量化之后按照 Zig-zag 的形状排序。 DCT 得到的直流分量系数经过量化之后用差分 脉冲编码 (DPCM) ，交流分量系数用行程长度编 码 RLE ，然后再用霍夫曼 (Huffman) 编码或者用 算术编码 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 18.5.3 MPEG-1 视像 帧内图像 I 的压缩编码算法框图 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 19.5.3 MPEG-1 视像  预测图像 P 的压缩编码算法  算法原理   预测图像 P 的编码以宏块 (MB) 为基本编码单元 ，一个宏块定义为像素的图块，一般取 16×16 预测图像 P 使用两种类型的参数表示   当前要编码的图像宏块与参考图像的宏块之间的差值 宏块的移动矢量 (motion vector, MV) 移动矢量的概念 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 20.5.3 MPEG-1 视像  两个重要概念   移动估算（ motion estimation ， EM ）：计算移 动矢量的过程，也就是在参考图像中查找与当前 编码图块匹配最佳的图块的过程。 移动补偿（ motion compensation ， MC ）：计 算当前编码图块与参考帧中的图块的像素值之差 的过程。 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 21.5.3 MPEG-1 视像 M PI M RJ 编码图像 求 差 值 参考图像 Y Cr Cb 48 64 最佳匹配 DCT+量化+RLE，… 移动 矢量 动动 d (d x , d y ) 霍夫曼编码 0100110 预测图像 P 的压缩编码算法框图 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 22.5.3 MPEG-1 视像  求解移动矢量的方法  在求两个宏块差值之前，需要找出预测编码图像中 的编码宏块相对于参考图像中的参考宏块所移动的 距离和方向，即移动矢量 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 23.5.3 MPEG-1 视像  最佳匹配：编码宏块 MPI( 如 f(x, y)) 是参考宏块 MRJ( 如 g(x, y)) 的 最佳匹配是指这两个宏块之间的差值最小  以绝对值 (absolute difference ， AE) 最小作为匹配判据 15 15 i 0 j 0 AE  ��f (i, j )  g (i  d x , j  d y )  有些学者提出了以均方误差 (mean-square error ， MSE) 最小作为匹配判据 MSE   1 I�J � �[ f (i, j )  g (i  d , j  d i �2I j �2J x y )]2， ( I  J  16) 也有些学者提出以平均绝对帧差 (mean of the absolute frame difference ， MAD) 最小作为匹配判据 1 MAD  I� J � � f (i , j )  g (i  d x , j  d y ) ，( I  J  16) i �2I j �2J 其中， dx 和 dy 分别是参考宏块 MRJ 的移动矢量 d(dx, dy) 在 x 和 y 方向上的移动矢量 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 24.5.3 MPEG-1 视像 搜索算法    为减少搜索次数，现在已开发出许多简化算法用 来寻找最佳宏块，下面介绍其中三种 二维对数搜索法 (2D-logarithmic search) 匹配判据： MSE 为最小  搜索策略：沿着最小失真方向搜索  在搜索时时 ，每移 时 时 时时 一次就 时 时 5 个搜索点 时时  如果最小失真在中央或在时时 界，就减少搜索点 时 时时 时时 时时 之间的距离  在这个例子中，步骤 1 ， 2 ，…， 5 得到的近似移 时矢 量d 为 (i ， j-2) 、 (i ， j-4) 、 (i+2 ， j-4) 、 (i+2 ， j-5) 和 (i+2 ， j-6) ，最后得到的移动矢量 为 d(i+2 ， j-6)  2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 25.5.3 MPEG-1 视像 二维对数搜索法 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 26.5.3 MPEG-1 视像  三步搜索法 (three-step search)  这种搜索法与二维对数搜索法很接近  在开始搜索时，搜索点离中心点 (i ， j) 很远    第一步，测试 8 个搜索点。在这个例子中，点 (i+3 ， j-3) 作为第一个近似的移动矢量 d1 第二步，搜索点偏离 (i+3 ， j-3) 较近，找到的点 假定为 (i+3 ， j-5) 第三步给出了最后的移动矢量为 d(i+2 ， j-6) 注：本例采用 MAD 作为匹配判据 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 27.5.3 MPEG-1 视像 三步搜索法 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 28.5.3 MPEG-1 视像  对偶搜索法 (conjugate search)     使用 MAD 作为匹配判据 在第一次搜索时，通过计算点 (i-1 ， j) 、 (i ， j) 和 (i+1 ， j) 处的 MAD 值来决定 i 方向上的最小 失真 如果计算结果表明点 (i+1 ， j) 处的 MAD 为最小 ，就计算点 (i+2 ， j) 处的 MAD ，并从 (i ， j) ， (i+1 ， j) 和 (i+2 ， j) 的 MAD 中找出最小值 按这种方法一直进行下去，直到在 i 方向上找到 最小 MAD 值及其对应的点 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 29.5.3 MPEG-1 视像 时偶 搜索法  在整个 MPEG 图像压缩过程中，寻找最佳匹配宏块要占 据相当多的计算时间，匹配得越好，重构的图像质量越高 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 30.5.3 MPEG-1 视像  双向预测图像 B 的压缩编码算法  对在它前后帧的像素值之差进行编码。具体计算方 法与预测图像 P 的算法类似，但双向预测图像 B 不 传播编码误差 双向预测图像 B 的压缩编码算法框图 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 31.5.3 MPEG-1 视像  三种图像压缩性能比较  帧内图像 I 的数据量最大，而双向预测帧图像 B 的 数据量最小 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 32.5.3 MPEG-1 视像  帧图像的编排顺序  MPEG-1 编码器允许选择    帧内图像 I 出现的频率和位置。通常的频率为 2 Hz 在两帧图像 I 之间或在图像 I 和 P 之间选择图像 B 的数 目 图像 I 、 P 和 B 的数目主要是根据节目的内容来确定。 例如   2019年5月14日 星 期二 对于快速运动的图像，帧内图像 I 的频率可以选择高一 些，双向预测图像 B 的数目可以选择少一些 对于慢速运动的图像，帧内图像 I 的频率可以低一些， 而双向预测图像 B 的数目可以选择多一些，这样可保证 视像的质量。 第 5 章 MPEG 视像
  • 33.5.3 MPEG-1 视像  一个 I 、 P 和 B 的典型编排顺序 MPEG 帧图像的编排示例   编码参数： I 的距离 N=15 ， P 的距离 M=3 在视像解码时，因 B 需 I 和 P 做参考，故在解码之前需 重新组织帧图像数据流的输入顺序 MPEG 帧图像和视像流的顺序 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 34.5.3 MPEG-1 视像  视像数据流的结构   数据位流的组织关系到如何设计解码器， 如无统一规范，设计的解码器就不能通用 按层次结构组织，一个视像序列 (video sequence) 分成 6 层 (1) (2) (3) (4) (5) (6) 序列层 (sequence) 像组层 (group of pictures ， GOP) 图像层 (picture) 像片层 (slice) 宏块层 (macroblock ， MB) 图块 (block) 层 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 35.5.3 MPEG-1 视像 MPEG-1 视像序列的结构 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 36.5.4 MPEG-2 视像  MPEG-2 视像  MPEG-2 视像标准是 MPEG-1 视像标准的扩 展版本，在全面继承 MPEG-1 视像数据压缩 算法基础上，增添了许多新的语法结构和算 法，用于支持     顺序扫描和隔行扫描 NTSC 、 PAL 、 SECAM 和 HDTV 格式的视像 视像的实时传输 为适应各种不同的应用， MPEG-2 视像标准 定义了多种视像质量可变的编码方式 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 37.5.4 MPEG-2 视像 视像编码器和解码器   编码系统见图 (a)      “ME( 移动估算器 )” 用于计算移动矢量，找出最佳匹配 宏块 “ 内置解码器”用于产生预测图像，它的输入包括移动 矢量、量化 DCT 系数和用于控制数据速率的量化参数 控制信号 输入视像和预测图像通过“ ( 加法器 )” 产生预测误差， 经过“ DCT( 余弦变换 )” 和“ Q( 量化 )” 之后送给“ VLE ( 可变长度编码器 )” ，移动矢量也送到“ VLE” ，它们在 “ VLE” 经过编码和复合之后送到传输媒体或存储媒体 “ 量化参数控制”信号可改变视像质量和数据速率 编码系统见图 (b) 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 38.5.4 MPEG-2 视像 MPEG-2 编码器与解码器的结构框图 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 39.5.4 MPEG-2 视像 MPEG-2 编码器与解码器的结构框图 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 40.5.4 MPEG-2 视像  视像数据位流的结构   结构与 MPEG-1 视像数据位流的结构类似 以子采样 4:2:0 为例的结构      一个视像序列分成 G 个视像组 (GOP) 每个组包含 P 帧图像 (picture) 每帧图像分成 S 条像片 (slice) 每条像片分成 M 个宏块 (macroblock) 每个宏块包括 4 个 8×8 的亮度 (Y) 图块和 2 个 8×8 的色度 (Cb, Cr) 图块 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 41.5.4 MPEG-2 视像 视像序列 序列头 GOP 0 开始代码 序列参数 开始代码 开始代码 宏块地址 GOP 1 视像 类型和等级 像片 0 像片 1 方式 量化数值 量化数值 (任选) GOP …… 量化加权矩阵 (任选) 图像标志 像片地址 GOP 2 宏块 0 移动矢量 码块模式 序列尾 g1 图像 1 图像0 …… …… 宏块 1 Y0 Y1 …… Y 2 Y3 图像 p 1 像片 s 1 宏块 图像层 (3) 像片层 (4) Cb Cr 宏块层 (5) MPEG-2 视像数据位流结构 ( 子采样为 4:2:0) 第 5 章 MPEG 视像 GOP层 (2) m  1 8×8的量化DCT系数(VLC) 2019年5月14日 星 期二 序列层 (1) 图块层 (6)
  • 42.5.4 MPEG-2 视像  视像质量可变编码   优点：可提供不同等级的视像服务质量，以适应不同 应用 缺点：增加了编码和解码的复杂性，降低了压缩效率 视像可变编码采用分层编码技术 (layered coding) ，通 常分成   基层编码 (base-layer coding) 或称低层编码 (lower-level coding) ：编码、传输和解码可单独进行 增强层编码 (enhancement-layer coding) 或称高层编码 (upper-level coding) ：编码、传输和解码要依赖基层或 先前的增强层才能完成 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 43.5.4 MPEG-2 视像  视像质量可变编码  MPEG-2 视像标准支持的可变编码方式，主要包括  信噪比可变 (SNR Scalability) 编码  空间分辨率可变 (Spatial Scalability) 编码    时间分辨率可变 (Temporal Scalability) 编码：针对从远程通 信到 HDTV 以及需要有立体感视像的应用 数据分割 (Data Partitioning) 编码：针对有两个信道传输视像 数据位流的应用，它将量化的 DCT 系数进行分割，编码后分别 送到不同的信道 混合可变 (Hybrid Scalability) 编码：组合以上三种增强层编 码中的任何两种编码，可获得不同性能的视像 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 44.5.5 MPEG-4 视像  MPEG-4 Visual 是什么  视像压缩编码技术，试图提供的数据率为    小于 64 kbps 、 64~384 kbps 和 0.384~4 Mbps 标准号： ISO/IEC 14496-2 Part 2 应用目标    自然对象编码：包括形状编码 (shape coding) 、纹理编码 (texture coding) 、移动编码 (motion coding) 和精灵编码 (sprite coding) 合成对象编码：包括图形编码、人的面部活动和身体动作 等的编码 合成 - 自然对象混合编码 (SNHC) 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 45.5.5 MPEG-4 视像  涉及自然视像的类型 Simple Profile ( 主要用于移动通信和因特网的简单型 )  Advanced Simple Profile ( 主要用于发行影视的高级简化 型)  Main Profile ( 主要用于影视广播的主流型 )  Core Profile ( 主要用于需要互动服务的核心型 ) 注：其中的高级简化型 (ASP) 是前几年用得较多的视像类型   AVC/H.264 标准受重视  它的某些性能优于 MPEG-4 Visual 的自然视像编码 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 46.5.5 MPEG-4 视像  MPEG-4 AVC/H.264 视像  MPEG-4 AVC/H.264 提高编码效率的主要改进技术包括：       (1) 采用可变图块大小的帧间预测和移动补偿，预测图块可小到 4×4 像素，提高了预测精度 (2) 采用空间的帧内预测，预测图块可以是 16×16 的宏块，也可 以是 4×4 像素的图块，而且定义了多种预测方式，目的是找到相 关性最大的预测。 (3) 采用 “整数变换编码”方法，提高了编码的运算速度 (4) 熵编码采用编码效率更高的前后文自适应可变长度编码 (CAVLC) 和前后文自适应二元算术编码 (CABAC) 此外，还采用了多参考帧 (multiple reference frame) 和消除“块状 失真”的滤波等技术 MPEG-4 AVC/H.264 标准具有算法简单易于实现、运算精度高且 不溢出、运算速度快、占用内存小、消时 效 时时等 时 时 点，是一种更 时时时 时时 时 为实用有效的图像编码标准 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 47.5.5 MPEG-4 视像 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 48.5.5 MPEG-4 视像  视像数据的编码结构 1. 分层处理的结构  为适应广播、通信和存储等应用的需 要， MPEG-4 AVC/ H.264 标准分成两个层次 ：   (1) 视像编码层 (Video Coding Layer, VCL) ，用于 有效地表达视像内容 (2) 网络抽象层 (Network Abstraction Layer ， NAL) ，按照一定格式组织 VLC 数据并 提供标题 (header) 等信息，便于在各种不同的网 络上传输 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 49.5.5 MPEG-4 视像 控制数据 视像编码层(VLC) 编码宏块 数据分割 编码像片/数据段 网络抽象层(NAL) H.320 MP4FF* H.323/IP *MP4FF：MPEG-4 File Format MPEG-2IP:Internet Protocol MPEG-4 AVC/ H.264 的分层结构 2019年5月14日 星 期二 第 5 章 MPEG 视像 其他
  • 50.5.5 MPEG-4 视像 2. 视像数据的组织 (1) 画面划分  与 MPEG-1 和 MPEG-2 的像片 (slice) 划分不 同， MPEG-4 AVC/ H.264 可把一时 画面当作一片像 时时 时时时 时时 片或把它分割成若干片像片  一片像片包含若干个的宏块 (MB) ，它是编码标准中的基 本处理单元   每个宏块包含 16×16 像素的亮度 (luma) 样本和 2 个 8×8 像 素的色度 (chroma) 样本 一片或多片像片构成像片组 (slice group)  在隔行扫描视像中，每一场可作为单独的图像进行编码， 也可将 2 场构成的帧作为单独的图像进行编码，偶数场和 奇数场相应的宏块构成宏块对 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 51.5.5 MPEG-4 视像 0 1 … 2 像片 #0 40 像片 #1 宏块 #40 像片 #2 (b) 宏块 (a) 像片 像片组 #0 0 2 4 … 1 3 5 … 36 37 像片组 #1 宏块对 像片组 #2 (c) 像片组 (d) 隔行扫描的宏块对 MPEG-4 AVC_H.264 的画面分割 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 52.5.5 MPEG-4 视像 (2) 宏块与子宏块  宏块可划分成宏块区和子宏块，子宏块经常简称为 子块。子宏块还可划分成子宏块区。 0 宏块分割 0 0 1个宏块分成2个16×8 亮度样本和相关色度 样本的宏块区 1 2 3 1 1 由16×16亮度样本 和相关色度样本 组成1个宏块 0 1个宏块分成2个8×16 亮度样本和相关色度 样本的宏块区 1个宏块分成4个8×8 亮度样本和相关色 度样本的子宏块 (a) 宏块分割 0 子宏块分割 0 0 2019年5月14日 星 期二 1个子宏块分成2个8×4 亮度样本和相关色度 样本的子宏块区 1个子宏块分成2个4×8 亮度样本和相关色度 样本的子宏块区 (b) 子宏块分割 第 5 章 MPEG 视像 1 2 3 1 1 由8×8亮度样本和 相关色度样本组 成组成1个子宏块 0 1个子宏块分成4×4亮 度样本块和相关色度 样本块的子宏块区
  • 53.5.5 MPEG-4 视像  下图表示一个 16×16 宏块的树状结构分割法，在编 码时有可能使用 8×8 、 4×8 、 8×4 或 4×4 像素块的 组合 4×4 4×4 4×4 4×4 8×8 8×4 4×8 4×8 8×4 时状时时构分割法 时 时时 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 54.5.5 MPEG-4 视像  编译码器的结构 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 55.5.5 MPEG-4 视像 MPEG-4 AVC/H.264 解码器结构 2019年5月14日 星 期二 第 5 章 MPEG 视像
  • 56.END 第 5 章 MPEG 视像