Ad Hoc网络由于拓扑变化以及节点的移动导致路径经常性中断,使得Ad Hoc网络信道误码率和传输丢包率高,这给视频传输带来了新的挑战。因此,研究适合Ad Hoc网络的视频编码和传输方法成为了当今一大热点。在结合Ad Hoc网络传输特性的基础上,从视频编码、传输和接收端同时入手,对目前Ad Hoc网络视频传输的研究现状和主要方法进行了系统的论述,并对适合Ad Hoc网络传输视频的新机制及其关键技术进行了展望。 Topology change and nodes move in Ad Hoc networks leads to regular interruption of the path, making Ad Hoc network channel bit error rate and transmission packet loss rate very high .This brings a new challenge for video transmission. As a result, research on video coding and transmission methods that suitable for Ad Hoc networks has become a hot spot today. On the basis of transmission characteristics of Ad Hoc networks, it starts with video encoding, video transmission and the receiver all together, gives a systematic introduction to the current research status and main methods of video transmission in Ad Hoc networks, moreover forecasts the future of the key technologies and new mechanisms which are suitable for video transmission in Ad Hoc networks.
随着人们对摆脱有线网络束缚、随时随地可以进行自由通信的渴望,一种新的网络技术——Ad Hoc网络技术应运而生。作为一种新的组网方式,Ad Hoc网络可以在任何时刻、任何地点不需要硬件基础网络设施的支持,快速构建起一个移动通信网络。它的建立不依赖于现有的网络通信设施,具有一定的独立性;Ad Hoc网络没有严格的控制中心;所有节点的地位平等,节点可以随时加入和离开网络;任何节点的故障不会影响整个网络的运行,具有很强的抗毁性。Ad Hoc网络的这些特点使得它能满足许多应用领域的特殊需求,如军事通信网络、应急救灾等[1-3]。
Ad Hoc网络在带来便利性的同时,也增加了网络节点的复杂度和网络拓扑的变化,加之无线信道本身的物理特性,使得它提供的网络带宽相对有线信道要低得多。除此以外,考虑到竞争共享无线信道产生的碰撞、信号衰减、噪音干扰等多种因素,移动终端可得到的实际带宽远远小于理论中的最大带宽值,使得Ad Hoc网络面临许多问题,包括带宽问题、能量消耗、链路断合、传输延时、数据丢失等。因此,目前Ad Hoc仍以传输简单数据为主。由于视频信息具有表达直观、内容丰富等特点,高质量的视频传输已经成为了一个重要的研究课题[4-6]。但是,由于无线节点的移动性,已经建立起来的从源节点的路由在视频传输过程中可能会丢失,这会导致目的节点接收到时断时续、抖动的视频信号;无线Ad Hoc网络较高的随机丢包率、网络信道误码率以及视频对延迟的严格要求等都会影响到传输视频的质量。因此,Ad Hoc网络进行可靠视频传输还有许多挑战[7-10],且已经引起国内外学者的关注。
本文将结合Ad Hoc网络的特点和视频编码特性,从编码、传输和解码等角度,对Ad Hoc网络中鲁棒视频传输的研究现状和关键技术进行了综述。
针对Ad Hoc网络丢包率和误码率高、带宽有限、传输延迟等特点,目前视频传输所采用的编码方式主要有:分层编码(LC)、多描述编码(MDC)以及结合两者优点的分层多描述联合编码等[11,12]。它们与传统编码的明显不同之处在于:传统编码方式每次只生成一个传输码流,而这几种编码方式下,每次均可以生成两个或两个以上的子码流。尽管构成LC和MDC的编解码器还是采用传统的编解码方式(如基于DCT或小波的Codec),但相对于传统编码器而言,由于编码结构的改善,可以有效保护对视频解码贡献更大的信号成分,在一定程度上提高了接收端解码视频信号的 PSNR 值和重构视频的质量,更适合高丢包率和带宽有限的Ad Hoc网络中的视频传输。
LC编码器的基本结构是将原始视频序列分解成一个基本信息层(简称基本层,BL)和若干个增强信息层(简称增强层,EL)如图1所示。
图1. 分层编码模型
LC的优点在于可以通过控制增强层的码流速率来适应不同的网络带宽。然而它的致命弱点在于基本层信号的丢失会导致原始信息完全不可恢复。因此,在差错网络环境尤其是Ad Hoc网络中传输时,LC必须通过ARQ等相应的信道控制机制来保证基本层信息的可靠传输。Shiwen Mao,Meng-Yen Heieh,T. Schierl等人利用多径传输以及带有重传机制的分层编码进行视频传输,将视频流分解为基层(BL)和增强层(EL)流,使用多路径传输技术在两条互不相交的路径上分别传输BL和EL分组流,并采用ARQ机制来保护BL分组,取得了一定的效果[13-18]。但是,如果承载基层分组的信道出现故障,视频传输质量将急剧下降。
针对差错网络环境和LC的缺陷,另外一种编码策略——多描述编码(MDC)被用于视频编码中。编码模型如图2所示。
MDC对原始信号生成多个描述,并假定这些描述在发送端和接收端之间的多个独立的、并行的信道上传输。这些生成的多个描述没有优先级的安排,它的接收质量仅取决于接收到的描述的数量。MDC的优点在于通过冗余(多个描述)来抵抗差错网络的影响从而提高接收端的解码性能。Ad Hoc网络的路径经常
图2. 多描述编码模型
中断,如果采用单描述编码,当传输该描述的信道出现问题或中断时,接收端就无法对其进行恢复,多描述编码则很好的解决了这一问题。文献[1,5,19-26]结合多径传输和多描述编码进行视频传输,每个信号首先被分解为多个描述,然后每个描述被独立地编码。多描述编码是非分层编码机制,每个子信号都包含足够的信息可以使接收端重构质量可以接受的信号,额外收到的子信号可以提高信号质量。多描述通过在源编码器引入冗余来克服信道质量变化带来的影响。然而,多描述编码方法没有考虑图像中不同内容对图像的作用,同时不能根据信道的传输状况自适应地调整冗余度,也没有涉及减少错误扩展的相关机制。文献[27,28]进一步提出了利用参考帧选择机制减少错误的扩展,同时提高编码效率。在参考帧选择机制中,奇数帧和偶数帧通过不同的信道进行传输,接受端发送反馈信息,编码端根据反馈信息确定编码下一帧的参考帧,但在误码率很高的情况下并不适用。
结合分层编码和多描述编码两者优点的分层多描述联合编码技术MDLC最近被一些学者提出,并通过仿真实验证明该方法有着比分层编码和多描述编码更好的网络适应性和鲁棒性。吕庆江,邹静娴等对分层多描述联合编码技术进行了研究,证明了该方案能在一定程度上提高视频通信的质量[
目前,广泛运用于视频编码压缩的统计编码、预测编码和变换编码技术大多以像素或块作为编码的对象,没有利用图像的结构特点,因此,编码性能有待进一步提高。此外,这类技术在设计编码器时也没有考虑人类视觉系统的特性和图像内容的重要性。而Ad Hoc网络丢包率高、带宽有限,并且路径经常中断,因此在编码时对重要的内容进行保护就显得尤为重要。MPEG-4提供了基于内容的视频编码工具,基于ROI内容的编码技术也被采用到无线网络中[
视频通信需要可靠的传输信道,同时包丢失和传输延迟也需尽可能小,以便通过差错控制和错误隐藏进行恢复。目前针对Ad Hoc网络上的视频可靠传输的研究主要集中在路由选择、传输层差错控制和错误恢复以及多径传输等方面。
路由选择是Ad Hoc网络中的一个基本问题,反映了Ad Hoc网络所能提供的服务质量。
文献[33,34]分析了目前用于Ad Hoc网络视频传输的几种主要路由协议:动态源路由(Dynamic Source Routing, DSR)协议、按需距离矢量路由协议(AODV)、目的序列距离矢量(Destination Sequenced Distance Vector,DSDV)路由协议,并通过仿真实验结果表明:DSR协议仅能传输一般要求的视频,但不能保证视频数据的连贯性和流畅性;DSDV在试验中各项性能均无法满足多媒体业务的要求;较其他Ad Hoc网络路由协议,AODV协议传输多媒体数据具有延时抖动小、网络收敛时间短的优势,特别有利于实时视频数据的传输,但是,3种协议中,没有一种协议可以有效地保证实时要求较高的传输,其平均延时都超过了能保证QoS的范围。因此,如何在Ad Hoc网络环境下,通过完善协议将延时参数控制在多媒体数据能够容忍的门限值以下仍然是一个研究难点。
在Ad Hoc网络中按路径的数目可将路由分为两种:单路径路由和多路径路由。当使用多路径路由时,分组可以在多条路径中传输,因此比使用单路径路由具有更好的灵活性。一些针对无线Ad Hoc网络的多路径路由协议己经在文献[35-37]中被提出。然而,这些协议的性能只在某些特定的场景中通过仿真被评估。一些文章也曾提出了分析模型对多路径路由协议的不同方面加以研究[38-44]。在对无线Ad Hoc网络中负载分布研究方面,提出了一个分析模型评估了使用最短路径路由时Ad Hoc网络中的负载问题。对多路径路由,则假定流量均匀分布在网络中,并没有考虑多路径数目以及如何选路的问题。
在Ad Hoc网络中,节点的移动性和网络拓扑频繁变化的特性,使得彼此间的连接易于断裂,从而导致一些节点处于非连接状态。当两个要通信的节点不在它们传输范围内,而恰好有视频信息需要传递给这些节点,就会导致信息传送失败。另外,网络的多跳路由、动态拓扑等特性又很难保证网络的QoS。若要找到一条可行路径,使其既能满足一系列端到端的QoS约束,同时又可以有效的利用网络资源是一个很困难的问题。因此,优化Ad Hoc网络路由,特别是容错路由,对于合理利用的网络资源,提高网络生存能力具有重要的意义。
研究表明,当传输超过3跳时,重建视频质量将严重下降。尽管对重要信息,如纹理信息、对象信息等可采取重传、FEC等机制。但是,当网络处于拥塞时,重传会恶化网络性能,这对带宽受限的Ad Hoc网络来讲是无法容忍的。因此,为了保证视频数据在网络中的可靠传输,必须根据Ad Hoc网络的特点,研究新的差错控制与错误恢复技术。现有的传输层差错控制技术FEC会对信道的其它传输特性造成一定的影响,如流量、时延和抖动等[45,46]。ARQ的一个关键问题是时延。为克服ARQ时延过大的缺点,可以采用时延受限的重传机制。同FEC相比,ARQ需要一个从接收端到发送端的反馈信道。Ad Hoc由于存在相互独立的多个信道,因此,满足这一要求。此外,由于视频编码输出的码流对重建质量的影响是不同的,一旦码流的重要信息发生了错误,必将造成视频重建质量的严重下降。在传输时需要根据所传输的信息的重要程度来决定对各部分采取不等的保护措施。为此,需结合分层编码与视频对象信息编码,研究不等错误保护机制ARQ和不等错误保护机制的混合差错控制机制。
如前所述,现有传输模式主要为分层传输和多径传输。所采用的方法通常是结合多描述编码与多路径传输或分层编码与多描述编码结合再利用多径传输[13,14,19,20,37-40]。文献[41,42]采用基于聚类的多径传输协议,将视频资源同时由几个源节点用多路径传输,实行了多对一传输编码后的视频,有效地解决了Ad Hoc网络动态拓扑变化的问题。文献[
通过在多径传输中加入负载平衡机制及优化路径,可有效地提高传输可靠性以及网络的吞吐率,降低丢包率,保证视频的鲁棒传输。然而,因Ad Hoc网络环境的特殊性,仍不免会产生丢包现象,这就需要在解码端利用有效手段尽可能恢复传输中丢失的信息,提高重构帧的质量。目前可采用的方法有:在解码端进行错误隐藏和差错控制;采用多源动态信息融合技术进行帧重构等。
在宽带视频传输以及无线视频传输等方面,错误隐藏技术得到了有效的应用[
尽管现有的错误隐藏方法可以达到一定的效果,然而,并没有利用视频中的对象信息,还属于第一代错误隐藏方法[
Ad Hoc网络所传输的视频信息存在一定的冗余性,对网内冗余数据进行综合处理,即数据融合,可以提高重构视频的质量、优化网络传输效率、节省节点宝贵的能量资源,并可以有效减轻网络传输拥塞,消除单个节点因外界环境影响造成传输数据的误差,提高数据精度和可信度。
多路径动态主动信息融合分为三个部分:节点的选择机制、动态主动融合操作、解码(融合的决策)。由于所有在网络中传输的信息都是随时间动态变化的。各个节点都有自身的数据信息,不同节点所传输信息的可信度也有很大的差别,并且在节点中的数据存在着不完备性(包括数据丢失、数据不准确等)。因此可以利用一个节点选择机制,通过一些预先定义的代价函数,用一个新颖的启发式的方法找到网络节点的最优的融合函数的映射,有效的选择最优节点作为信息融合的信息源。动态主动融合操作可以应用一个融合函数对单一信息源、多个信息源或者信息源集合和另外一些融合函数的流数据序列进行融合。其中这个融合操作包含了数据同步、结构管理、相关性控制、计算量管理、内存管理以及信息源与融合函数之间的反馈等问题。最后根据动态主动融合进行解码,得到传输的视频信息。经过动态信息融合之后解码得到的视频信息可以尽可能的保持原始的信息。
因此在解码端可采用动态多源融合技术,并结合多径传输有效地进行高质量视频重构以及提供同步机制,从而实现视频的可靠性传输。
本文从视频编码、传输和接收端同时入手,对目前Ad Hoc网络的视频传输的研究现状和主要方法进行了系统的论述。对适合Ad Hoc网络传输视频的新机制及其关键技术作了进一步的展望:
1) 在编码端采用基于内容的分层编码和多描述编码相融合的编码方法,可为重要信息提供多路传输和渐进式重传机制以及在多描述编码中提高其冗余度;
2) 在传输层采用结合基于内容的视频差错控制技术,可对重要信息加以特殊保护,并通过强化学习、聚类分析等措施优化路径。同时,采用负载平衡策略,使网络运行在高吞吐率、低丢失率和低延迟的状态下,可为要求时延保证的业务提供一种良好的实现机制;
3) 在解码端采用多源动态信息融合技术,并结合多径传输、差错控制、错误隐藏有效地进行高质量视频重构以及提供同步机制,从而可实现视频的可靠性传输;
4) 压缩感知理论的提出是信号领域的重大突破,采用压缩感知技术可以针对信号的稀疏程度以低于奈奎斯特速率的采样率对数据进行压缩采样,合适的稀疏域就可以实现信号近乎完全的重构。分布式视频编码自身适合应用于编码端复杂度较低的无线终端,压缩感知理论与分布式视频编码的结合DCVS(Distributed Compressive Video Sensing)就是一种“强强联合”[49-51]。国外已有部分学者已经开始着力研究此方面在Ad Hoc网络上的应用,这也是未来方向之一。
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[