注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

我的博客

就是我的博客

 
 
 

日志

 
 

多媒体通信系统(3.4.3)  

2003-10-21 09:29:00|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
     3.4.3  Video Signal Processing 
Digital video has many advantages over conventional analog video, including bandwidth compression, robustness against channel noise interactivity and ease of manipulation. Digital-video signals come in many formats. Broadband TV signals are digitized with ITU-R 601 format, which has 30/25 fps, 720 pixels by 488 lines per frame, 2:1 interlaced, 4:3 aspect ratio, and 4:2:2 chroma sample. With the advent of high-definition digital-video, standardization efforts between the TV and PC industries have resulted in the approval of 18 different digital video formats in the United States. Exchange of video signals between TV and PCs requires effective format conversion. Some commonly used interframe/field filters for format conversion, for example, ITU~ R 601 to the Source Input Format (SIF) and vice versa and 3:2 pull-down to display 24 Hz motion pictures in 60 Hz format, have been reviewed [3.57]. As for video filters, they can be classified as interframe/field (spatial), motion-adaptive and motion-compensated filters [3.58]. Spatial filters are easiest to implement. However, they do not make use of the high temporal correlation in the video signals. Motion-compensated filters require highly accurate motion estimation between successive views. Other more sophisticated format conversion methods include motion-adaptive field-rate doubling and deinterlacing [3.59] as well as motion compensated frame rate conversion [3.58].
与传统的模拟视频相比,数字视频有很多优点,包括带宽压缩、抗信道噪声、交互性和易于操作。数字视频信号有很多格式。广播电视信号以ITU-R 601格式数字化,帧频为30/25 fps,每帧720象素、488线,2:1隔行,4:3宽高比,4:2:2色度抽样。随着高清晰度数字视频的出现,美国TV和PC行业之间的标准化努力的结果是批准了18种数字视频格式。TV和PC之间视频信号交换需要进行格式转换。一些共用的格式转换帧间/场滤波器已经接受评审,例如,ITU-R 601到SIF(源输入格式)及其反向转换、在60 Hz格式中3:2下降到24 Hz动画显示。视频滤波器可以分类为帧间/场滤波器(空间)、运动自适应和运动补偿滤波器。空间滤波器最容易实现。但是,它们不能用于时间关联度高的视频信号。运动补偿滤波器需要相邻图像之间非常精确的运动估计。其它更复杂的格式转换方法包括运动自适应场频倍增和去隔行以及运动补偿帧频转换。
     Video signals suffer from several degradations and artifacts. Some of these degradations may be acceptable under certain viewing conditions. However, they become objectionable for freezeframe or printing from video applications. Some filters are adaptive to scene content in that they aim to preserve spatial and temporal edges while removing the noise. Examples of edge-preserving filters include median, weighted median, adaptive linear mean square error and adaptive weighted-averaging filtering [3.58]. Deblocking filters can be classified as those that do require a model of the degradation process (inverse, constrained, least square, and Wiener filtering) and those that do not (contrast adjustment by histogram specification and unsharp masking). Deblocking filters smooth intensity variations across amounts of temporal redundancy. Namely, successive frames generally have large overlaps with each other. Assuming that frames are shifted by subpixel amounts with respect to each other, it is possible to exploit this redundancy to obtain a high-resolution reference image (mosaic) of the regions covered in multiple views [3.60]. High-resolution reconstruction methods employ least-squares estimation, back projection, or projection-autoconvex sets methods based on a simple instantaneous camera model or a more sophisticated camera model including motion blur [3.61].
视频信号受到劣化和认为干扰。某些劣化在一定条件下可以接受。但是,凝结帧就令人讨厌了。某些滤波器适用于景物内容,在那种情况下,它们是用来在保持空间和时间边沿的同时去除噪声。边沿保持滤波器的例子包括中值、加权中值、自适应线性均方差以及自适应加权平均滤波。分解块滤波器分为需要劣化过程模型的(反转、受迫、最小平方、维纳滤波)和不需要劣化过程模型的(直方图规范调节对比度和模糊掩蔽)。分解块滤波器平滑时间冗余总量的变化强度。一般地,连续帧通常有大量的相互重叠。假设子象素数量相互关联的帧移动,利用这种冗余就能够获得多重图像区域覆盖下的图像(马赛克)的高分辨率基准。高分辨率重构法采用最小平方估计、后向投影以及基于简单的即时摄像机模型或更复杂的包括运动模糊的摄像机模型的投影自弯曲调整法。
      One of the challenges in digital video processing is to decompose a video sequence into its elementary parts (shots and objects). A video sequence is a collection of shots, a shot is a group of frames and each frame is composed of synthetic or natural visual objects. Thus, temporal segmentation generally refers to finding shot boundaries, spatial segmentation corresponds to extraction of visual objects in each frame and object tracking means establishing correspondences between the boundaries of objects in successive frames.
数字视频处理的课题之一是把图像序列分解为基本单元(镜头与对象)。图像序列是镜头的集合,一个镜头是一组帧,每一帧是由合成或自然的视频对象组成的。因此,时间分割一般涉及寻找镜头边界,空间分割对应于从每一帧里提取视频对象,对象跟踪就是使相继帧中对象的边界相互一致。
      Temporal segmentation methods edit effects as cuts, dissolves, fades and wipes. Thresholding and clustering using histogram-based similarity methods have been found effective for detection of cuts [3.62]. Detection of special effects with high accuracy requires customized methods in most cases and is a current research topic. Segmentation of objects by means of chroma keying is relatively easy and is commonly employed. However, automatic methods based on color, texture and motion similarity often fail to capture semantically meaningful objects [3.63]. Semiautomatic methods, which aim to help a human operator perform interactive segmentation by tracking boundaries of a manual initial segmentation, are usually required for object-based video editing applications. Object-tracking algorithms, which can be classified as boundary region or model-based tracking methods, can be based on 2D or 3D object representations. Effective motion analysis is an essential part of digital video processing and remains an active research topic.
时间分割法编辑特技如切换、叠化、淡变和划变。已经发现用基于直方图的相似法确定阈值和分组可以有效地检测切换。对特技的高准确度检测在大多数情况下需要定制法,这是目前的研究课题。用色键分割对象相对容易,是目前普遍采用的方法。但是,基于色彩、纹理和运动相似性的自动法捕获有意义的对象时常常失败。半自动法,它的目标是通过跟踪人工初步分割的边界帮助人们完成交互分割,通常需要基于对象的视频编辑软件。对象跟踪算法,可以分为边界区域或基于模型跟踪法,可以以2D及3D对象表示为基础。有效地运动分析是数字视频分析的基本部分并仍是活跃的研究课题。
       Storage and archiving of digital video in shared disks and servers in large volumes, browsing of such databases in real time and retrieval across switched and packet networks pose many new challenges, one of which is efficient and effective description of content. The simplest method to index content is by assigning manually or semiautomatically the content to programs, shots and visual objects [3.64]. It is of interest to browse and search for content using compressed data because almost all video data will likely be stored in compressed format [3.65]. Video-indexing systems may employ a frame-based, scene-based or object-based video representation. The basic components of a video-indexing system are temporal segmentation, analysis of indexing features and visual summarization. The temporal-segmentation step extracts shots, scenes and/or video objects. The analysis step computes content-based indexing features for the extracted shots, scenes, or objects. Content-based features may be generic or domain dependent. Commonly used generic indexing features include color histograms, type of camera- motion direction and magnitude of dominant object motion entry and exit instances of objects of interest and shape features for objects [3.66, 3.67]. Domain-dependent feature extraction requires a priori knowledge about the video source, such as new programs, particular sitcoms, sportscasts and particular movies. Content-based browsing can be facilitated by a visual summary of the contents of a program, much like a visual table of contents. Among the proposed visual summarization methods are story boards, visual posters and mosaic-based summaries.
数字视频的存档在共享盘和服务器中要占据大量空间,对这样的数据库的实时浏览和通过包交换网络的重现引出许多新的挑战,其中之一是内容描述的效率和有效性。检索内容最简单的办法是人工或半人工地给节目、镜头和视频对象做目录。重要的是,用压缩的数据对内容进行浏览和检索,因为几乎所有的视频数据可能都是用压缩格式保存的。视频索引系统可以用基于帧、基于景物以及基于对象的视频表示。视频索引系统的基本组成是时间分割、索引特征分析和画面摘要。时间分割阶段是提取镜头、景物和/或视频对象。分析阶段是对提取的镜头、景物以及视频对象计算基于内容的索引特征。基于内容的特征可以随类或域而定。一般用类索引特征包括色彩直方图、摄像机运动的类型、主要对象的运动方向和幅度、重要对象进出的情况、对象的形状特征。与域有关的特征摘要需要关于视频源的知识,例如新节目、一部连续剧、比赛实况转播和一部电影。基于内容的浏览可以借助于节目内容的视频摘要,它很像内容的视频表格。被推荐的视频摘要法有故事板、视频海报和基于马赛克的摘要。
  评论这张
 
阅读(169)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018