注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

我的博客

就是我的博客

 
 
 

日志

 
 

多媒体通信系统(3.4)  

2003-10-13 16:25:00|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
3.4 Challenges of Multimedia Information Processing 
Novel communications and networking technologies are critical for a multimedia database system to support interactive dynamic interfaces. A truly integrated media system must connect with individual users and content-addressable multimedia databases. This will be a logical connection through computer networks and data transfer.
新的通信和网络技术必须支持交互动态接口的多媒体数据库系统。一个真正的集成媒体系统必须连接各个用户和内容可检索的多媒体数据库。这将是一种通过计算机网络和数据转移的逻辑连接。
      To advance the technologies of indexing and retrieval of visual information in large archives, multimedia content-based indexing would complement the text-based search. Multimedia systems must successfully combine digital video and audio, text animation, graphics and knowledge about such information units and their interrelationships in real time.
为了改进大量档案中视觉信息的检索与重现技术,多媒体的基于内容检索将补充基于文本的检索。多媒体系统要能够实时地顺利组合数字视频、音频、字幕、图形和有关这些信息单元及其相互关系的知识。
The operations of filtering, sampling, spectrum analysis and signal representation are basic to all of signal processing. Understanding these operations in the multidimensional (mD) Case has been a major activity since 1975 [3.15, 3.16, 3.17]. More key results since that time have been directed at the specific applications of image and video processing, medical imaging, and array processing. Unfortunately, there remains considerable cross-fertilization among the application areas.
滤波、抽样、频谱分析以及信号表示等操作全部基于信号处理。1975年以来,理解多维(mD)情况下的这些操作已经成为主要活动。从那时以来,很多关键结果已经指导着图像和视频处理、医学图像以及阵列处理等专业应用。不幸的是在这些应用中残存了大量的杂交。
      Algorithms for processing mD signals can be grouped into four categories:
Separable algorithms that use 1D operators to process the rows and columns of a multidimensional array 
Nonseparable algorithms that borrow their derivation from their 1D counterparts
mD algorithms that are significantly different from their 1D counterparts
mD algorithms that have no 1D counterparts.
      mD信号处理算法可以归纳为四类:
用1D算子处理多维阵列的行和列的分离算法
借用1D算法的非分离算法
显著不同于1D的mD算法
非1D的mD算法
Separable algorithms operate on the rows and columns of an mD signal sequentially. They have been widely used for image processing because they invariably require less computation than nonseparabte algorithms. Examples of separable procedures include mD Discrete Fourier Transforms (DFTs), DCTs and Fast Fourier Transform (FFT)-based spectral estimation using the periodogram. In addition, separable Finite Impulse Response (FIR) filters can be used in separable filter banks, wavelet representations for mD signals and decimators and interpolators for changing the sampling rate.
      分离算法继续用于对mD信号的行和列的运算。由于与非分离算法相比它们总是可以用较少的计算,所以一直广泛的用于图像处理。分离规程的例子包括mD离散傅立叶变换(DFT)、DCT和以快速傅立叶变换(FFT)为基础的用周期图的频谱估计。另外,离散有限冲激响应(FIR)滤波器可用于离散滤波器单元、mD信号的小波表示和改变抽样速率的抽值器和内插器。
The second category contains algorithms that are uniquely mD in that they cannot be decomposed into a repetition of 1D procedures. These can usually be derived by repeating the corresponding 1D derivation in an mD setting. Upsampling and downsampling are some examples. As in the 1D case, bandlimited multidimensional signals can be sampled on periodic lattices with no loss of information. Most 1D FIR filtering and FFT-based spectrum analysis algorithms also generalize straightforwardly to any mD lattice [3.18]. Convolutions can be implemented efficiently using the mD DFT either on whole arrays or on subarrays. The window method for FIR filter design can be easily extended, and the FRI'' algorithm can be decomposed into a vector-radix form, which is slightly more efficient than the separable row/column approach for evaluating multidimensional DFTs [3.19, 3.20]. Nonseparable decimators and interpolators have also been derived that may eventually be used in subband image and video coders [3.21]. Another major area of research has been spectral estimation. Most of the modern spectral estimators, such as the maximum entropy method, require a new formulation based on constrained optimization. This is because their 1D counterparts depend on factorization properties of polynomials [3.22]. An interesting case is the maximum likelihood method, where the 2D version was developed first and then adopted to the 1D situation [3.23].
第二类是唯一不能分解为重复1D规程的mD算法。它们通常通过在一个mD框架内重复相应的1D推导而推导出来。升抽样和降抽样就是它们的例子。如同1D的情况下,带限多维信号可以信息无损地按照周期晶格抽样。大多数1D FIR滤波和基于FFT的频谱分析算法也直接归为任一mD晶格。用mD DFT对阵列或子阵列都可以有效地进行卷积运算。FIR滤波器设计的窗口法易于扩展,FRI的算法可以分解为矢量基数形式,它比用分离的行/列逼近法求多维DFT的值效率稍高一些。不可分离的抽值器和内插器也已被导出,可最终用于子带图像和视频编码器。研究的另一个主要领域已经是频谱估计。最新的频谱估计器,例如最大熵法,需要一种基于强迫优化的新的表述。这是因为它们的1D副本依赖于多项式的因数分解性质。一种有趣的情况是最大似然法,首先开发出来的是2D版本,然后才被采用于1D。
      There are also mD algorithms that have no 1D counterparts, especially algorithms that perform inversion and computer imaging. One of these is the operation of recovering an mD distribution from a finite set of its projections, equivalently inverting a discretized Radon transform. This is the mathematical basis of computed tomography and positron emission tomography.
也有mD算法不存在1D副本,特别是进行反转和计算机图像的算法。其中之一是从它的投影的有限集合复原一个mD分布,等价地反转一个离散Radon变换。这是计算机层析成像和正电子层析成像的数学基础。
 Another imaging method, developed first for geophysical applications, is Fourier integration. Finally, signal recovery methods unlike the 1D case are possible, The mD signals with finite support can be recovered from the amplitudes of their Fourier transforms or from threshold crossings [3.24].
另一种首先为地球物理学应用开发的图像法是傅立叶综合。最终,信号恢复法不像1D情况是可能的,具有有限支持的mD信号能够从它们的傅立叶变换的幅值或者从阈值交叉中恢复。
3.4.1Pre and Postprocessing 
In multimedia applications, the equipment used for capturing data, such as the camera, should be cheap, making it affordable for a large number of users. The quality of such equipment drops when compared to their more expensive and professional counterparts. It is mandatory to use a preprocessing step prior to coding in order to enhance the quality of the final pictures and to remove the noise that will affect the performance of compression algorithms. Solutions have been proposed in the field of image processing to enhance the quality of images for various applications [3.25, 3.26]. A more appropriate approach would be to take into account the characteristics of the coding scheme when designing such operators. In addition, pre- and postprocessing operators are extensively used in order to render the input or output images in a more appropriate format for the purpose of coding or display. 
在多媒体应用中,用于采集数据的设备,例如摄像机,或许很便宜,很多人都能买得起。这样的设备与那些价格高的专业设备相比质量差。必须在编码之前进行处理,以提高最终图片的质量和去掉噪波,否则将影响压缩算法的性能。用于改善各种应用中图像质量的图像处理领域已经有了解决方案。适当的办法是在设计这样的处理器时考虑编码方案的特性。另外,为了在编码或显示时以比较适当的格式输入或输出图像,也广泛地使用预处理器和后处理器。
       Mobile communications is an important class of applications in multimedia. Terminals in such applications are usually subject to different motions, such as tilting and jitter, translating into a global motion in the scene due to the motion of the camera. This component of the motion can be extracted by appropriate methods detecting the global motion in the scene and can be seen as a preprocessing stage. Results reported in the literature show an important improvement of the coding performance when a global motion estimation is used [3.27].
在多媒体中移动通信是一类重要应用。这类应用终端一般处于不同的运动中,例如倾斜和抖动,由于摄像机运动而转化过来的景物的全向运动。可以用适当的方法通过检测现场的全向运动提取这个运动分量, 并把它作为预处理步骤。文献报告显示,采用全向运动估计时编码性能得到重大改善。
       It is normal to expect a certain degree of distortion of the decoded images for very tow-bit- rate applications. However, an appropriate coding scheme introduces the distortions in areas that are less annoying to the users. An additional stage could be added to reduce the distortion further due to compression as a postprocessing operator. Solutions were proposed in order to reduce the blocking artifacts appearing at high compression ratios [3.28, 3.29, 3.30, 3.31, 3.32, 3.33]. The same types of approaches have been used in order to improve the quality of decoded signals in other coding schemes, reducing different kinds of artifacts, such as ringing, blurring and mosquito noise [3.34, 3.35].
一般认为,在很低比特率场合中解码图像会有一定程度的失真。然而,在某些情况下,为了减少用户的烦恼以适当的编码方案引入失真。可以附加一个步骤作为后处理器,以进一步减小压缩带来的失真。已经提出了解决高压缩比时出现阻塞问题的方法。同样的方法也已经在其它编码方案中用于改善解码信号的质量,减小各类噪声,例如振铃、斑点和哼声。
       Recently, advances in postprocessing mechanisms have been studied to improve lip synchronization of head-and-shoulder video coding at a very low bit rate by using the knowledge of decoded audio in order to correct the positions of the lips of the speaker [3.36], Figure 3.2 shows an example of the block diagram of such a postprocessing operation.
最近,对改善在很低比特率时头肩像视频编码的唇同步问题的后处理机制的研究已经取得进展,这种机制运用解码音频的知识校正讲话者的唇位,图3.2显示了一例这类后处理过程的框图。
  评论这张
 
阅读(151)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018