|
|
|
视频是由一幅幅视频序列组成的，一个视频序列相当于一幅图像，如下图所示。
|
|
|
|
|
|
|
|
由于视频要表示连续的动作，所以这些视频序列之间往往具有高度的相似性，这些相似性高的视频序列可以进一步归类为像组。对于视频序列内部，为了压缩数据，可以进一步划分成像片和宏块。
|
|
|
|
|
|
|
|
为了能够得到平滑且不闪烁的视频，一般需要保持的帧率为24～30帧／秒（frame per second, fps）。现代电影的帧率为24fps，电视节目的帧率在美国、日本将近30fps（NTSC标准），在中国为25fps（PAL标准）。
|
|
|
|
将视频帧提供给观众的方式有两种：逐行扫描和隔行扫描。逐行扫描是最简单的扫描方式，每帧图像由电子束顺序地一行接着一行连续扫描而成，下一帧扫描线的位置与上一帧完全相同。为了在有限的带宽资源条件下提高图像刷新率，标清电视采用了2:1隔行扫描。2:1隔行扫描是指把一帧电视画面分两次交错扫描，下一场扫描线的位置与上一场相隔一行，在空间上两个相邻电视场的扫描线位置相隔一行。两种扫描方式如下图所示。
|
|
|
|
|
|
|
|
逐行扫描的优点是有利于图形和图像的计算机处理，没有隔行扫描所特有的场间闪烁感，长时间观看后眼睛不易疲劳，其缺点是与相同垂直扫描频率的隔行扫描方式相比其数据量要大一倍。目前，数字电影的拍摄和放映、计算机显示以及部分数字电视的制作和播出均采用逐行扫描。隔行扫描的优点是与相同垂直扫描频率的逐行扫描方式相比其数据量只有逐行扫描的一半，缺点是场间闪烁感明显，不利于图形和图像的计算机处理，长时间观看后眼睛容易疲劳。
|
|
|
|
|
|
视频的分辨率代表每帧的信息量，是影响视频质量的一个重要因素。一些常见的视频分辨率如喜爱下图所示，其中横坐标表示图像的宽度，纵坐标表示图像的高度，单位都是像素。对于不同的屏幕类型，可以看到的视频分辨率有很大变化，它们可以在电视、DVD、计算机、互联网和手持设备上使用。
|
|
|
|
|
|
|
|
模拟视频的分辨率表示为每幅图像的扫描线数目，实际上是电子束在屏幕上画过的线数，也就是垂直分辨率。
|
|
|
|
在计算机显示器和数字电视机上，数字图像的分辨率用屏幕上像素的固定数目表示，通常表示为：水平像素数目×垂直像素数目。例如，640×480和720×480为标清（Standard Definition, SD）数字电视分辨率，1920×1080为高清（High Definition, HD）数字电视分辨率。
|
|
|
|
|
|
视频的宽度与高度之比称为视频的宽高比（aspect ratio）。保持视频具有正确的宽高比是视频的另一个重要属性。当人们将视频缩放为不同的大小以适应不同的屏幕和分辨率时，很容易失去视频初始的宽高比例关系。当出现这种情况时，失真的视频可能会让人感觉不舒服，甚至无法观看。
|
|
|
|
从开始出现运动图像领域开始直到20世纪50年代早期，4:3的宽高比（通常直接表示为1.33:1或者1.33）专门用于制作电影和确定电影院屏幕的形状。当电视出现后，摄影机也开始使用4:3格式镜头，并连带一系列传播媒体选用同样的宽高比作为标准。今天，人们通常将4:3格式称为全屏格式。
|
|
|
|
20世纪50年代后，电影工作室引入了许多先进技术，使观众可以获得更大画面、更优秀和更激动人心的感官体验。其中，最显著的就是为了具有更宽的画面，电影工作室开始使用多种“显示”格式生产宽屏电影。其中，常见的一些宽高比有：Cinemascope为2.35、Warnerscope为1.85、Technicscope为1.75、Panascope为1.67。为了能够在电视上观看宽屏幕电影，一个最快、最简单的办法就是将已经拍摄好的电影胶片的上下边缘用不透明的遮幅遮住，使胶片的宽高比仍为4:3。
|
|
|
|
|
|
根据编辑方式的不同，视频编辑可以分为两种方式：线性编辑和非线性编辑。
|
|
|
|
线性编辑是一种磁带编辑方式，它利用电子手段，根据节目内容的要求将素材连接成新的连续画面。通常使用组合编辑将素材编辑成新的连续画面，然后再以插入编辑的方式对某一段视频进行同样长度的替换。这种编辑方式无法删除、缩短、加长中间的某一段视频，除非将那一段以后的画面抹去重录。线性编辑是视频的传统编辑方式。
|
|
|
|
非线性编辑是相对于线性编辑而言的，主要是指借助计算机进行数字化制作，突破顺序编辑限制，采用任意顺序排列的编辑方式。非线性编辑只要上传一次就可以进行多次编辑，信号质量始终不会降低，所以节省了设备和人力，提高了效率。目前绝大多数电视、电影制作机构都采用非线性编辑系统进行影片的编辑及后期制作。
|
|
|
|
非线性编辑系统（Nonlinear Editing System, NLE）是以计算机硬盘作为记录媒体的介质，利用计算机、视／音频处理卡和视／音频编辑软件对电视节目进行后期编辑和处理的系统。非线性编辑系统涉及计算机技术和电视技术两个领域，包括数字存储技术、计算机图形图像处理技术、网络技术、视频技术和音频技术等，是一种综合性技术。非线性编辑系统借助计算机系统对视／音频进行数字化制作，解决了线性编辑的缺点，提高了编辑的效率。目前绝大多数的电视、电影制作机构都采用非线性编辑系统进行影片的后期制作。
|
|
|
|
|
|
典型的非线性编辑系统主要包括计算机主机及显示器、硬盘阵列箱、视／音频处理卡及接线盒、编辑软件、录像机、监视器、音箱等。此外还有一些扩展设备，如特技卡等。
|
|
|
|
在非线性编辑系统中，录像机在素材采集时播放素材带以供素材上传，在成品的下载过程中将视／音频信号录制到录像机的视／音频载体上，不参与节目的编辑过程。监视器用来监视视频信号，音箱用来监听声音。
|
|
|
|
|
|
在非线性编辑系统中，计算机是各种软／硬件资源的平台，视／音频信号的采集、编辑、特效处理和字幕添加等都是在计算机中完成的，所以计算机是非线性编辑系统的最基本组成部分。
|
|
|
|
非线性编辑系统采用的计算机主要有三种：苹果计算机、PC和SGI工作站。SGI工作站的价格较高，目前主流的非线性编辑系统计算机是苹果计算机和高档PC。
|
|
|
|
在非线性编辑系统中，通过计算机显示器也可以监视编辑画面。同时，非线性编辑系统还会使用一些其他的图形图像处理软件、动画制作软件等，这些都对计算机的显卡和显示器要求较高。由于编辑软件的窗口较多，所以最好选用较大的显示器，这样可以方便编辑。如果能配置双屏显卡，使编辑界面双屏显示，则会使编辑工作更加便利。
|
|
|
|
|
|
目前，非线性编辑系统大多采用硬盘作为视／音频数据的存储工具。视／音频数据量极其巨大，会占用大量的磁盘空间。所以在非线性编辑系统中，一般不用计算机内部硬盘存储视／音频数据，内部硬盘只存储系统软件、非线性编辑软件、其他应用软件和个人文件等，而是将视／音频数据存储到系统外部的磁盘阵列中。磁盘阵列是一种把若干硬盘驱动器按照一定要求组成的一个整体。磁盘阵列由若干个磁盘组成，提高了存储容量；由于磁盘阵列的多台磁盘驱动器并行工作，从而提高了数据的传输效率。磁盘阵列在非线性编辑系统中的应用大大提高了编辑的效率。
|
|
|
|
|
|
视／音频处理卡是非线性编辑系统的核心部件，它的输入／输出接口及压缩方式决定了非线性编辑系统的视／音频质量。市场上视／音频处理卡的种类很多，差别也很大，价格从几万元到几十万元不等。以DPS VelocityHD为例，其价格为50 000元人民币左右，支持真实的双通道实时高清操作和实时多通道标清操作，支持视频的压缩与无压缩，兼容多种格式以及额外的扩展性能（如选件A3DX三维DVE附卡，则增加一个通道的实时高清三维DVE和四个通道的实时标清三维DVE特效）。
|
|
|
|
视／音频处理卡一般与接线盒配合使用，接线盒通过多芯电缆与视／音频处理卡相连。接线盒一般具有各种输入／输出接口。将录像机与接线盒相连接，将录像机中的视／音频信号上传到计算机或将计算机内的成品下载到录像机的视／音频载体。
|
|
|
|
|
|
非线性编辑系统中的视／音频卡的功能是固定的，用户只能通过编辑软件使用板卡上的功能，所以编辑软件的操作界面和功能就决定了非线性编辑系统对用户的吸引力。友好的操作界面会大大提高编辑工作的效率，所以编辑软件应该既保证界面整洁，又不能减少编辑的功能，以形成良好的人机交互。
|
|
|
|
|
|
|
|
素材采集是指把录像机中播放的视／音频信号以文件的形式存储在非线性编辑系统中。对于存储在光盘、硬盘、半导体存储卡中的视／音频文件，可以直接复制到非线性编辑系统中。
|
|
|
|
|
|
把选择的素材拖曳到轨道所需位置，对素材的起始点进行调整，根据需要对素材进行处理，如色度调整、亮度调整及播放速度调整等。还要添加所需的特效，主要有视频转场特技添加、视频特效添加、音频转场特效添加和音频特效添加四种。主要的编辑工作在这一步完成。
|
|
|
|
|
|
字幕制作主要是指制作所需的字幕，并将其添加到合适的位置。
|
|
|
|
|
|
非线性编辑系统可以用以下三种方法输出制作完成的节目。
|
|
|
|
. 输出到录像带。这是非线性编辑最常用的输出方式。为保证图像质量，应优先考虑使用数字接口，其次是分量接口、S-Video接口和复合接口。
|
|
|
|
. 输出EDL表。如果对画面质量要求很高，即使以非线性编辑系统的最小压缩比处理仍不能满足要求，则可以考虑在非线性编辑系统上进行草编，输出EDL表至编辑台进行精编。这时需要注意EDL表格式的兼容性，一般非线性编辑系统都可以选择多种格式的EDL表输出。
|
|
|
|
. 直接用硬盘播出或压缩成所需格式。这种输出方法可以减少中间环节，降低视频信号的损失，便于网络传输。
|
|
|
|
|
|
|
|
非线性编辑系统采用数字化存储的方式，信号衰减少。如果视／音频信号以硬盘、光盘或半导体存储卡存储，则可以直接导入到非线性编辑系统，信号质量没有任何衰减。
|
|
|
|
|
|
与线性编辑系统相比，非线性编辑系统要简单得多，省去了编辑控制器、切换台、特技台、字幕机、调音台等，由于减少了很多设备，其维护简单，维护费用也较低。
|
|
|
|
|
|
非线性编辑系统可以根据需要任意调整素材的位置，与线性编辑相比会节约更多的时间。在线性编辑系统中，所有操作都离不开录像机，而录像机视频磁头的寿命为500～1000小时，非线性编辑系统中的硬盘的寿命却可以达到100 000小时。
|
|
|
|
|
|
非线性编辑系统基于计算机技术，采用数字化存储方式，便于节目的交换与共享，为构建视频网络系统提供了便利条件。
|
|
|
|
|
|
视频（video）是多幅静止图像（图像帧）与连续的音频信息在时间轴上同步运动的混合媒体，多帧图像随时间变化而产生运动感，视频也被称为运动图像，所以视频的处理技术与图像处理技术有很多类似之处，但同时由于视频具有相邻图像相似度高、数据量特别巨大等特点，其处理技术又与图像处理技术有所差别。视频的播放速度一般为25～30帧／s，即每秒播放25～30幅图像。
|
|
|
|
视频可以看作是在二维信号的图像上增加时间轴而形成的三维信号的图像，所以视频的数字化是一个与时间有关的连续过程。视频的数字化过程同样经历了采样、量化和编码。由于视频数据特别巨大，视频的数字化过程和视频压缩往往是同步进行的。
|
|
|
|
例如，一幅全屏、分辨率为640×480像素的256色图像需要307 200字节的存储容量，这样一秒钟（30帧）的数字化视频如果不压缩则需要大约9MB的存储空间，两小时的电影所需的存储空间将超过66GB。
|
|
|
|
|
|
视频数字化的概念是在1948年被首次提出的，即将视频信号经过视频采集卡转换成数字视频文件并存储在数字载体（硬盘）中，使用时再将数字视频文件从硬盘中读出，还原成电视图像加以输出。这个概念是建立在模拟视频扮演主角的时代，而现在的数字摄像机所摄录的信号本身已是数字信号，不再需要重新转换，所以现在更确切的视频数字化的含义是视频在摄像机中从采集到存储的这一过程。
|
|
|
|
数码摄像机的外部形状如下图所示，其工作的基本原理为：通过感光元件将外部景物的光信号转变成电流，再将模拟电信号转变成数字信号，在经专门的芯片进行处理和过滤后存储到摄像机的数字存储介质（常见的有磁带、光盘和硬盘）中。
|
|
|
|
|
|
|
|
视频采集卡的外部形状如下图所示，其工作流程一般为：一端连接录像机、摄像机和其他视频信号源，接收来自视频输入端的模拟视频信号，对该信号进行采集并量化成数字信号，然后压缩编码成数字视频序列，存入硬盘中。由于视频文件的数据特别巨大，大多数视频采集卡都具备硬件压缩功能，在采集视频信号时，首先在卡上对视频信号进行压缩，然后通过PCI接口把压缩的视频数据传送到主机中。
|
|
|
|
|
|
|
|
视频的数据量虽然非常巨大，但相邻的多幅图像的相似度往往非常高，即冗余信息相对较大。视频的压缩不仅体现在空间方向上对图像的压缩，也体现在时间轴上对相邻图像的压缩，所以视频的压缩往往是综合采用多种压缩技术的组合。例如，MPEG-Video图像压缩技术的基本思想和方法可以归纳为两点：一是在空间方向上，图像数据压缩采用JPEG压缩算法去除冗余信息；二是在时间方向上，图像数据压缩采用移动补偿（motion compensation）算法去除冗余信息。视频冗余信息的种类和常用的压缩方法如下表所示。
|
|
|
|
|
|
|
|
|
|
MPEG的全称为Moving Pictures Experts Group/Motion Pictures Experts Group（动态图像专家组），与JPEG一样，MPEG也是一个国际标准组织（ISO）下的委员会，专门从事音频和视频压缩编码的制定。
|
|
|
|
该专家组建于1988年，目前已经制定的标准主要有MPEG-1、MPEG-2、MPEG-4、MPEG-7及MPEG-21，其中涉及压缩编码的是前3个标准。MPEG标准的视频压缩编码技术主要利用具有运动补偿的帧间压缩编码技术减小时间冗余度，利用DCT技术减小图像的空间冗余度，利用熵编码减小在信息表示方面的统计冗余度。通过这几种技术的综合运用大大增强了压缩性能。
|
|
|
|
MPEG-1标准于1992年正式出版。MPEG-1主要由系统、音频和视频三个部分组成。音频部分根据不同的需要分为三个不同层次的编码方案，其中，层1和层2是建立在MUSICAM（掩蔽模式通用子带集成编码和多路复用）编码算法基础之上的，算法复杂度一般，而层3综合了ASPEC和OCF算法，并引入了MDCT变换、比特缓冲、非均匀量化和霍夫曼编码等技术，算法复杂度较高。下表为这三层编码方案的部分参数比较。MPEG-1视频主要有CD-ROM、VCD、CD-i等，传输速率为1.5Mb/s，每秒播放30帧。
|
|
|
|
|
|
|
|
MPEG-2标准于1994年公布，包括编号系统、视频、音频和符合性测试四个部分。MPEG-2按压缩比的不同分成五个档次（profile），每一个档次又按图像清晰度的不同分成四种图像格式（或称为级别，level），共有20种组合，实际应用中较常用的有11种组合。这11种组合分别应用在不同的场合，如MP@ML（主档次与主级别）用于具有演播室质量标准清晰度的电视SDTV中，美国HDTV大联盟就采用了MP@HL（主档次及高级别）。MPEG-2通过对运动补偿的扩充使其编码效率也得到了大幅提高。
|
|
|
|
MPEG-4在1995年7月开始研究，1998年11月被ISO/IEC批准为正式标准。MPEG-4不仅针对一定比特率下的视频和音频编码，其还更加注重多媒体系统的交互性和灵活性。MPEG-4的目标是利用很窄的带宽通过帧重建技术、数据压缩以求用最少的数据获得最佳的图像质量。MPEG-4编码过程把图像看作由分层的媒体对象组成，而不是以前的像素组合，大大提高了压缩率。MPEG-4的应用也非常广泛，如网上视频点播、网上音频点播、视频会议、数字广播等。
|
|
|
|
视频移动目标识别和跟踪技术是目前视频特征提取和识别技术研究的热点。视频移动目标识别和跟踪技术的研究目的是使计算机能够模拟人类视觉运动感知功能，并赋予机器辨识序列图像中运动目标的能力，为视频分析和理解提供重要的数据依据。视频移动目标识别和跟踪技术目前已广泛应用于交通车辆识别与跟踪、人脸识别与跟踪、导弹识别与跟踪等领域。
|
|
|
|
|
|
车辆识别与跟踪是交通检测系统的一个重要领域，也是智能交通系统的重要环节，负责采集车辆交通的各种参数。交通环境的车辆检测研究可以追溯到20世纪70年代。1978年，美国JPT（加利福尼亚州帕萨迪纳市的喷气推进实验室）首先提出了运用机器视觉进行车辆检测的方法，指出其是传统检测方法的一种可行的替代方案，随后该技术被广泛关注和研究。
|
|
|
|
车辆识别与跟踪是指判断是否有车经过检测区，若有则建立一个与之对应的跟踪对象。该技术通过获取车辆的数目和运动轨迹为计算交通参数提供依据，主要提供车流量信息、车辆运动状态、排队状态、车辆长度、车辆速度、道路占有率等信息。
|
|
|
|
我国目前已经开发出了一些实用的车辆识别与跟踪系统，如清华紫光股份有限公司开发的视频交通流量检测系统VS3001，深圳神州交通系统有限公司开发的VideoTraceTM，厦门恒深智能软件系统有限公司开发的Head Sun Smart Viewer-Ⅱ视频交通检测器等。下图显示了一个车辆识别与跟踪技术的演示实例。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
AVI（Audio Video Interleaved，音频、视频交错格式）是于1992年由微软公司推出的。音频、视频交错是指将视频和音频交织在一起进行同步播放。AVI的优点是图像质量好，可以跨多个平台使用，其缺点是体积过于庞大，而且压缩标准不统一，因此高版本的Windows媒体播放器无法播放采用早期编码编辑的AVI格式视频。其常用扩展名为avi。
|
|
|
|
|
|
DV-AVI（Digital VideoFormat AVI）是由索尼、松下、JVC等多家厂商联合提出的一种家用数字视频格式，目前非常流行的数码摄像机就是使用这种格式记录视频数据的，它可以通过计算机的IEEE 1394端口将视频数据传输到计算机，也可以将计算机中编辑好的视频数据回录到数码摄像机中。这种视频格式的文件扩展名一般是avi。
|
|
|
|
|
|
MPEG（Moving Picture Expert Group，运动图像专家组格式）格式是运动图像压缩算法的国际标准，它采用了有损压缩方法，从而减少运动图像中的冗余信息。人们常看的VCD、SVCD、DVD就采用了这种格式。
|
|
|
|
MPEG的压缩方法是指保留相邻两幅画面中绝大多数相同的部分，而把后续图像和前面图像中有冗余的部分去除，从而达到压缩的目的。目前，MPEG格式有3个压缩标准，分别是MPEG-1、MPEG-2和MPEG-4。
|
|
|
|
. MPEG-1制定于1992年，是针对1.5Mb/s以下数据传输率的数字存储媒体运动图像及其伴音编码而设计的国际标准，也就是通常的VCD制作格式。这种视频格式的文件扩展名包括mpg、mlv、mpe、mpeg、dat。
|
|
|
|
. MPEG-2。制定于1994年，设计目标为高级工业标准的图像质量以及更高的传输率。这种格式主要应用在DVD/SVCD的制作（压缩）方面，同时在一些HDTV（高清晰电视广播）和一些高要求视频编辑及处理方面也有相当多的应用。这种视频格式的文件扩展名包括mpg、mpe、mpeg、m2v及DVD光盘上的vob文件等。
|
|
|
|
. MPEG-4制定于1998年，是为了播放流式媒体的高质量视频而专门设计的，它可利用很窄的带宽通过帧重建技术压缩和传输数据，以求使用最少的数据获得最佳的图像质量。MPEG-4最有吸引力的地方在于它能够保存接近于DVD画质的小体积视频文件。这种视频格式的文件扩展名包括asf、mov、DivX、avi等。
|
|
|
|
|
|
DIVX是由MPEG-4衍生出的另一种视频编码（压缩）标准，即DVDrip格式，它采用了MPEG-4的压缩算法，同时又综合了MPEG-4与MP3各方面的技术，即使用DivX压缩技术对DVD盘片的视频图像进行高质量压缩，同时用MP3或AC3对音频进行压缩，然后再将视频与音频合成并加上相应的外挂字幕文件而形成的视频格式，其画质与DVD相当，但体积只有DVD的几分之一，常用扩展名为avi。
|
|
|
|
|
|
MOV是由美国Apple公司开发的一种视频格式，默认的播放器是苹果Quick Time Player，其具有较高的压缩比和较完美的视频清晰度等特点，但是其最大的特点是跨平台性，其不仅支持MacOS，同样也支持Windows系统，常用扩展名为qt、mov。
|
|
|
|
|
|
|
|
ASF（Advanced Streaming Format）是微软公司为了和Real Player公司开展竞争而推出的一种视频格式，用户可以直接使用Windows系统自带的Windows Media Player对其进行播放。由于它使用了MPEG-4的压缩算法，所以其压缩率和图像质量都很不错，常用扩展名为asf。
|
|
|
|
|
|
WMV（Windows Media Video）也是微软公司推出的一种采用独立编码方式并且可以直接在网上实时观看视频的文件压缩格式。WMV格式的主要优点包括本地或网络回放、可扩充的媒体类型、可伸缩的媒体类型、多语言支持、环境独立性、丰富的流间关系以及扩展性等。
|
|
|
|
|
|
Networks公司制定的音／视频压缩规范称为Real Media，用户可以使用Real Player或Real One Player对符合Real Media技术规范的网络音／视频资源进行实况转播，并且Real Media还可以根据不同的网络传输速率制定出不同的压缩比，从而实现在低速率的网络上进行影像数据的实时传送和播放，常用扩展名为rm、ra、ram。
|
|
|
|
|
|
RMVB是由RM格式升级衍生出的新视频格式，它的先进之处在于RMVB格式打破了原先RM格式的平均压缩采样的方式，在保证平均压缩比的基础上合理利用比特率资源，即静止和动作场面少的画面场景采用较低的编码速率，这样可以留出更多的带宽空间，而这些带宽会在出现快速运动的画面场景时被利用，这样就在保证静止画面质量的前提下大幅提高了运动图像的画面质量，从而在图像质量和文件大小之间达到了平衡。常用扩展名为rmvb、rm。
|
|
|
|
|
|
3GP是一种3G流媒体的视频编码格式，主要是为了配合3G网络的高传输速度而开发的一种媒体格式，具有很高的压缩比，特别用于在手机上观看电影，也是目前手机中最常见的一种视频格式，常用扩展名为3gp。
|
|
|
|
|
|
Flash是Macromedia公司开发的属于自己的流式视频格式。这种格式是在Sorenson公司的压缩算法的基础上开发而来的。Sorenson公司也为MOV格式提供算法。FLV格式不仅可以轻松地导入Flash中，几百帧的影片仅有一两秒钟，同时也可以通过RTMP从Flashcom服务器上流式播出。目前，网络上大量的视频网站都使用了这种格式的在线视频，常用扩展名为swf、flv。
|
|
|
