关键词: 多媒体 , 关键技术 , 系统设计 , 移动
一、 引言
随着基于移动网络的多媒体数据业务的蓬勃发展,移动多媒体应用系统的开发技术日渐成为业内的研究热点。随着3G时代的到来,人们对手机、PDA 等数字终端的功能不再满足于简单的通话、短信、游戏和MP3等,需要支持更强大的多媒体业务功能,如VoIP系统、视频电话、无线多媒体监控系统等。
移动多媒体通信系统,能够实现多媒体信息的实时采集、处理和传输,是为完整的多媒体应用提供信息源,数据打包,协议支持等功能的无线通信系统。然而,多媒体信息尤其是视频信息在无线网络上传输存在着网络带宽有限、误码严重、终端处理能力较弱等问题。针对这些问题,在移动多媒体系统设计时要综合考虑多方面因素。在系统设计时涉及的关键技术包括移动多媒体终端、抗干扰的音视频编解码机制、无线通信网络组网及多媒体传输控制等。
二、 移动多媒体终端设计架构
移动多媒体通信终端,能够实现多媒体信息的实时采集、处理(编解码)和网络传输,提供信息源,数据打包,协议支持等功能。
移动多媒体终端系统组成框图如图1所示。系统一般分为四个部分,微处理器系统、多媒体外设、数据存储设备和无线网络接口。
?
图1 移动多媒体终端系统结构框图
1. 微处理器系统
核心微处理器将采集到的原始多媒体数据经过音视频编码设备根据给定的编码标准(H.263、H.264、MPEG-4…)进行编码,以备本地播放或通过网络传输。同时,还要提供必要的多媒体外设接口、外部存储器接口和网络接口。
目前,比较流行的核心微处理器的选择方案主要有以下几种:
采用特殊用途的数字信号处理器(DSP)芯片。现在,国际上已经推出了不少专用型DSP芯片,特别还有针对H.263、MPEG、JPEG标准的芯片。在这些芯片中,其软件算法已在芯片内部用硬件实现,适用于对速度要求很高的场合。这种方案的缺点是灵活性差,开发工具尚不完善。
利用可编程DSP芯片实现。DSP芯片采用改进的哈佛总线结构,内部有硬件乘法器、累加器,使用流水线结构,具有良好的并行性等,非常适用于不允许有延迟的实时应用领域。而且,一块内嵌的DSP芯片结合外围电路能完成整个系统的压缩编码。这种方案有很强的灵活性,硬件系统完成后,整个系统的升级仅仅需要修改软件即可。
用FPGA等可编程阵列产品实现。可以利于公司专用软件或VHDL等开发语言,通过软件编程用硬件实现特定的音视频压缩算法。这一方案具有通用性的特点,并可以实现算法的并行运算,无论是作为独立的数字信号处理器,还是做为DSP芯片的协处理器,都是比较活跃的研究领域。
2. 多媒体外设
多媒体外设主要包括摄像头、显示设备、音视频处理设备,还包括耳机话筒、网络智能卡、天线和电池等。摄像头采集视频信号,显示设备将从本地或网络得到视频数据打开数据包,进行视频解码,并把得到的视频数据显示出来,同时,如果嵌入式网络多媒体终端需要验证视频压缩的数据的正确性,还可以带有本地解码器,支持解码数据的本地显示。
3. 数据存储设备
数据存储设备包括RAM、ROM、SDRAM和FLASH,用来扩展系统存储空间,存储经过编解码的多媒体数据和终端控制程序。
4. 无线网络接口模块
无线网络接口模块处理音视频编码流,把音视频数据打包为适合网络传输的数据包,并把它通过无线网络传输出去。并支持系统选定的无线网络传输控制协议。如:
5. 以DM642为核心处理器的多媒体终端典型构架
?
图2 以DM642为核心的多媒体终端的系统框图
三、 抗干扰的视频编解码技术
1. 视频编解码技术
为了能在时变、带宽有限、误码率较高的无线信道上传输视频数据,图像视频编码算法必须满足:高效的视频压缩比;较高的传输实时性;较强的视频传输鲁棒性。
目前,图像视频压缩标准有国际标准化组织ISO和国际电工委员会IEC关于活动图像的编码标准MPEG-X,国际电信联盟ITU-T关于视频电话/视频会议的视频编码标准H.26X,以及3GPP提出的第三代移动通信流媒体传输标准。
MPEG-4已应用于Internet流媒体领域,如移动通信和个人通信中的声像业务,以及各种基于无线网络环境的手持式电子产品。今后还将可能应用于多媒体电脑、掌上电脑、网络电视、远程视频监控、视频会议和可视电话等。MPEG-7被称为“多媒体内容描述接口”,为各类多媒体信息提供一种标准化的描述,可以应用于智能多媒体、多媒体编辑、多媒体目录服务、个人的多媒体收集管理系统等。MPEG-21的目标是定义一个交互式多媒体框架,跨越大范围内不同的网络和设备,使用户能够透明地使用多媒体资源,存取、使用并交互多媒体对象,实 现多种业务模型。在MPEG系列中,最适合目前移动多媒体通信技术及移动多媒体终端制造水平的应该是MPEG-4视频编码标准。因此一般采用MPEG-4 简单类作为目前移动多媒体终端的首选视频编解码标准。
ITU-T颁布的H. 261标准,用于可视电话和会议电视。后来又陆续发展了H.263、H.263+、H.264。它们的压缩原理是充分利用视频数据的空间和时间冗余,采用预测与变换的混合编码方法,对残余的数据进行编码,保证了极大的压缩比。H. 263在多媒体电脑、掌上电脑、网络电视、远程视频监控、视频会议和可视电话等都己经有了广泛的应用。目前最新的H. 264标准能够比H. 263节约50%左右的码率,应用范围包括网络广播、网络会议和无线视频监控等。
3G-324M作为3GPP提出的第三代移动通信流媒体传输标准,可确保有线视频传输系统与第三代移动视频传输系统之间的互操作性。与ITU- T H.324中的视讯会议标准有较紧密的联系。3G-324M适用于UMTS移动网络中的64kbit/s电路交换链路,其复用协议为H.223、控制协议为H.245,缺省视频编码器采用H.263及MPEG-4简单类第一级,缺省语音编码器则为GSM-AMR和G.723.1。3GPP2也将类似的标准集应用于3GPP2无线网络电路交换视频会议业务。
2. 编解码中的抗干扰问题
相对于有线传输信道,移动通信所使用的无线传输信道环境要恶劣得多,数据包的接收误码率要高出几个数量级。而压缩视频流对误码非常敏感,即使接收到数据包的误码率很低,也会对解码后的图像质量造成很严重的影响。因此,抗干扰技术成为各种编解码技术中的关键问题。
(1) H.263抗干扰机制
为了提高压缩效率并拓展在无线通信中的适用范围,提出了一种基于H.263编解码标准的改进的H.263+编解码机制。借鉴了基于 Huffman的可逆变长编码(RVLC)的思想,每个RVLC码字可以前向解码也可以反向解码,如果在RVLC中检测到突发误码,解码器将跳到该分段的结束处开始反向解码,结果只是丢弃了碰到误码的分段的部分数据,更多的数据可以恢复。
在H.263+基线模式编码过程中,同步标志不仅可以用来向后同步,也可以用来向前同步,在不降低编码效率的前提下,结合差错掩盖,极大的提高视频图像在无线网络等噪声信道中传输的质量。
在改进的编码器中,为了阻止GOB前半程MB行误码扩撒到后半程,设定后半程MB行的第一个预测运动矢量(MV)的水平和垂直分量都为0,其后宏块(MB)的运动矢量(MV)采用运动矢量差(MVD)来预测编码。
差错监测和差错定位。传输差错可以通过视频信号的内在特征或编解码器的句法来检测,如相邻宏块(MB)或者块(block)的边界存在剧烈的跳变,冲突的码字,无效的运动矢量等都可以认为出现了误码。
(2) MPEG-4抗误码工具
MPEG-4 提供了多种抗误码工具,承载流媒体业务的实时网络传输层及底层移动通信系统可以根据传输信道的质量、系统需要提供的图像质量,以及在图像压缩效率和抗误码性能间的权衡,自适应地选择抗误码工具,改善流媒体传输的抗误码性能。MPEG-4的 抗误码工具包括:
包的重同步标识,每隔固定的比特数周期性地插入重同步标识,并在视频编码时去除两个不同视频包之间所有数据的依赖性。解码器在解码过程中识别到不可纠正的错误时,就会依据下一个重同步标识重新编码流同步信息,这样,就减少了由于失步而不得不丢弃的数据量。
数据分割(DP),使用运动边界标记(MBM)将视频数据分为运动部分和纹理部分,可以更严格的检查位移估值数据的合法性,主要用于误码检测及提高错误定位能力。
头信息扩展编码(HEC),在视频码流中保护重要的头信息等,视频头信息可以在特定的视频包中重复发送。
可逆的变长编码(RVLC),解码检测到误码后,可以从下一个重同步标识开始,反向解码直到误码处。
(3) 第三代移动通信的抗误码性能
第三代移动通信是建立于直接序列扩频、软切换及快速功率控制等最新通信技术上的,因此具备抗窄带干扰、抗多径衰落及抗时延扩展等能力。同时,第三代移动通信系统也采用了卷积码及TURBO码作为前向纠错编码(FEC),大大提高了移动环境下数据传送的抗误码性能。而且,由于直接序列扩频技术允许为移动终端用户分配多个语音或数据业务逻辑信道,为在视频流媒体传送中采用数据分割优先级传输技术提供了可能。压缩视频流中更重要的部分,如同步头或运动矢量信息可以单独占据一个优先级较高的逻辑信道,而相对次要的部分,如纹理信息可以只占用优先级较低的逻辑信道,这样可以确保在同样的传输环境条件下,视频质量受到误码的影响相对较小。
四、 移动通信网络
目前,能传输多媒体业务的宽带无线接入技术有多种,如VSAT宽带卫星广域接入、以IEEE 802.16为代表的宽带无线接入系统(BWA,包括MMDS、LMDS)、中距离的无线本地环路技术、以IEEE 802.11系列和HiperLAN为代表的无线局域网接入、以IEEE 802.15无线个人域网WPAN,包括蓝牙、红外、超宽频以及HomeRF为代表的短距离无线互连技术。最近,作为一种解决“最后一公里”瓶颈的解决方案,自由空间光通信(Free Space Optical Communication)技术也浮出水面。
1. 基于2.5G公众移动通信网络
中国联通采用的CDMA2000 1X制式,是基于码分多址的移动通信技术,通过一个标准的(lx)CDMA频道能够支持语音和数据服务,具有许多优越的性能。首先,它的容量接近于以前 CDMA 1X系统容量的两倍(比TDMA和GSM更好),从而能够适应不断增长的语音服务和无线互联网新型服务的需要。其次,它的最高下载速度可以达到 153kbit/s,现网实测可以达到100kbit/s左右。
中国移动采用的GPRS技术,是基于GSM 网络发展而来的新型分组交换数据应用业务。与传统的GSM 电路拨号交换相比,GPRS在资源利用效率、交换容量和性能上都有一个质的飞跃。GPRS 抛弃了传统的独占电路交换模式,采用分组交换技术,每个用户可同时占用多个无线信道,同一无线信道又可以由多个用户共享.有效地利用了信道资源,带宽理论最高可达171.2kbit/s,现网测试也可达到35kbit/s左右。
2. 基于无线局域网络
无线局域网络(WLAN)是利用射频或红外线的技术,以无线的方式连接两部或多部需要交换信息的移动多媒体设备。相较于以有线方式所构成的区域网络,无线局域网络具有存取架构简单、高移动性等优势。
为了保证多媒体文件的稳定传输就必须有足够的网络带宽,不同的多媒体文件对网络带宽的要求各不相同,为了达到更好的视频质量,网络带宽就更为重要。无线网络标准协议IEEE802.11b/g/a定义的网络带宽包括多种标准:11Mbps/22 Mbps/54Mbps,其中有效数据传输带宽分别为5Mbps/10Mbps/22Mbps,完全可以满足各种类型的多个并发多媒体文件稳定传输,保证高质量的视频信息。
3. 未来发展方向——3G
随着3G移动通信系统走向实用,高至2MHz的带宽将为移动多媒体通信提供更加强有力的支持。此时视频的质量将会有极大的改善。显示屏、 CPU 内存、电池和解码软件等关键技术领域的发展也使得移动终端的功能日益增强,更多适合移动多媒体业务的终端不断涌现。此外,未来的3G系统也将考虑公众移动通信网络与WLAN系统的融合,用户将有可能真正实现“任何时间、任何地点、任何终端”的无缝式移动多媒体通信。
五、 SIP将成为无线多媒体传输的主流控制协议
在移动多媒体系统应用中,控制协议决定了整个系统的效率、兼容性、安全性等诸多重要问题,是系统运转的指挥中心。
传统的通信协议是通过TCP建立端到端的连接,连接建立的延迟较大,传递的私有信令内容简单,不但无法满足兼容性要求,而且使得系统功能单一,缺乏进一步的控制能力。
当前,基于SIP(Session Initiation Protocol即会话启动协议)的新型实时控制协议,是IETF制定的多媒体通信系统框架协议之一的应用层(信令)控制协议,具有灵活、简单、可扩展性强的特点,在无线通信领域的应用前景极为广阔。
基于SIP协议,采用UDP传输信令,请求建立连接与媒体能力协商过程同时进行,大大缩短了连接建立的延迟,在会话过程中SIP可以通过 UPDATE方法随时修改媒体能力参数,通过re-INVITE方法重新建立连接。SIP因其系统架构支持移动性,能够保证监控双方的双方均可以自由移动。此外,SIP拥有比较完善的端到端的鉴权机制,具有更高的安全性。
采用SIP作为移动多媒体系统的控制协议,不但能够实现有线网络和无线网络的平滑过渡,还保留了向上兼容的特性,采用时间通告机制避免了大量冗余数据的传输,保障了网络资源的合理利用同时减轻了用户端设备的负担。
3GPP在R5阶段提出了IMS(IP多媒体子系统)的概念,旨在集语音、视频、消息和基于web的技术于一体并实现有线和无线的融合。为实现接入的独立性和无线终端与Internet互操作的平滑性,SIP成为IMS中最适合的会话控制机制。SIP同样适合其它的无线通信方式如WLAN、 WiMax等,从根本上说,SIP适用于任何采用分组交换的通信方式,这种特性使它成为NGN中的热门协议。
六、小结
建立于更高性能的移动多媒体终端、抗干扰的音视频编解码标准、新型的无线传输控制协议及第三代移动通信技术之上的无线实时多媒体通信系统具有宽带、高压缩比、码率可扩展及抗误码等特性,可以乐观的预计:在未来移动通信网络中,各类高速实时移动多媒体系统的应用前景将会是十分广阔的,此外,基于多网融合,实现多媒体的有线网络与无线网路业务的融合,也是必然的发展方向。 ?