ABSTRACT

It is always a challenging task to share video resources between isomerous video surveillance systems. A hierarchical system for isomerous video surveillance integration based on the technique of virtual device interface (VDI) is proposed, which is composed of sever kernel level, virtual device drive level, protocol transformation level and physical equipment interface level. By incorporating the VDI technique into our system, the proposed system is compatible with various different video equipments and capable of transformation of different communication protocols as well as the video coding algorithm. Our experimentations show that our system can integrate video devices produced by different manufacturers, thus video sources can be shared with each other effectively, which also validates the expansibility and compatibility of the proposed system.

Keywords:Video Surveillance System, Video Compression, Video Transmission, Virtual Device Interface

基于虚拟设备接口技术的视频综合监控系统

单勇¹，程环环²，王建强³

¹空军工程大学信息与导航学院，陕西 西安

²空军94188部队，陕西 西安

³空军西安飞行学院，陕西 西安

Email: sy95122@163.com

收稿日期：2015年3月9日；录用日期：2015年3月20日；发布日期：2015年3月27日

摘 要

针对异构视频监控系统中的视频资源共享问题，本文提出了一种基于虚拟设备接口技术的视频综合监控系统的集成方案。该系统体系结构分为四层，分别为：核心服务层、虚拟设备驱动层、协议转换层和物理设备接口层。运用虚拟设备驱动一体化解决方案，通过虚拟设备驱动完成设备功能转换和通信协议转换，从而能够兼容多种视频设备，并且实现各种通信协议和视频解码算法的转换。经过初步试验验证，表明该系统能有效集成多种厂家的视频设备，实现视频资源的合理共享，具有一定的扩展性和兼容性。

关键词 :视频监控系统，视频压缩，视频传输，虚拟设备接口

1. 引言

近年来，城市人口的快速增长及城市环境的日益复杂，群体性事件、骚乱、恐怖袭击等城市突发社会安全事件严重影响着城市公共安全。视频监控系统作为保障社会安全的一种重要手段，被越来越广泛的应用到了银行、交通、商业宾馆、机场等重要的行业和机构当中，这些监控系统被用来监控和记录重要信息，在维护正常业务操作、防范非法活动、保障社会安全等方面起到了非常重要的作用[1] 。

在1996年至1999年间，美国国防高级研究项目署(DARPA: The US Defense Advanced Research Projects Agency)设立了以卡内基梅隆大学为首联合美国十几所高等院校和研究机构参加的视频监控重大项目(VSAM: Video Surveillance and Monitoring)。这个项目主要是通过利用多传感器融合、视频理解、网络通信等技术来实现对未来战场、工厂、城市等场所的自动监控。

2006年，IBM公司宣布已经开发完成一种用于分析实时视频监控系统数据安全的软件，这款软件具有发现监控场景中潜在的安全威胁并自动报警。这一新产品被IBM公司命名为“智能监控系统”(Smart Surveillance System)，简称“S3”。S3系统可以将监控系统中各个监控点获取的视频信息通过计算机网络传递到整个系统软件上，进行远程监控，同时S3系统是一个开放框架的智能视频监控，能够使各种处理和分析模块方便的嵌入S3系统，并提供多摄像机的数据融合和事件关联分析。

在国内，视频监控系统得到了国家的高度重视，863项目为此开展了重大项目研究，公安部也为此在全国开展城市报警与监控系统建设“3111”试点工程[2] 。中科院自动化所，清华大学电子工程系和自动化系等处于研究的前列。中科院自动化所生物识别与安全技术研究中心研发了智能视频监控系统对场景中的运动目标进行检测、跟踪、识别，并对人体异常行为识别与报警。清华大学智能系统与技术国家重点实验室将人工智能引入视频监控系统中，从事智能机器人、机器学习等方面的研究。北京大学视觉与听觉信息处理国家重点实验室主要是从事高度智能化的机器感知系统方面的研究，并在言语听觉技术、三维视觉信息处理、智能机器人研究领域取得较多成果[3] -[17] 。

国内从事视频监控系统相关软、硬件产品的生产知名厂商主要有：海康、大华、汉邦、黄河、朗弛、金三立等。这些厂家都有各自的与设备配套的监控客户端，但出于商业上的原因各厂家对自己的产品都有保护，客户端软件只能接收自家设备发送的数据码流[6] [8] 。

但是，由于视频监控领域长期缺乏可供遵循的权威标准，使得目前视频监控设备种类繁多、品牌混杂，资源无法共享，系统无法互相融合，主要表现在以下两个方面：

1) 资源共享困难。在视频监控系统的建设中，视频压缩算法、视频格式和通信协议没有统一的标准，相互之间难以兼容使用[3] [4] ，各单位部门建设的视频信息系统千差万别、五花八门，视频信息利用率低，严重阻碍了视频资源的有效共享和综合利用[7] -[10] 。

2) 存在重复建设问题。多数部门已建立了各自独立的视频监控系统，但因为采用不同开发商的产品，这些系统并没有互联互通，各个监控系统形成了一个个孤岛。视频监控工程系统的兼容性和扩展性非常差，一旦需要添加不同厂家的监控设备，或与其他监控工程系统进行互联，就必须使用多个视频监控软件来管理各种设备，使得系统的使用、管理、维护和整合变得更加困难。要实现城市监控系统的统一管理，必须使用同一开发商的产品，存在重复建设问题[12] -[16] 。

对于企业内不同地域或不同城市之间的部门，在建设视频监控系统时，由于选择的视频设备生产厂家的不同，使得视频系统无法互连互通、视频资源无法共享，成为目前企业在使用视频监控系统时需要解决的主要问题[10] -[17] 。

基于以上的分析，资源共享和重复建设已成为阻碍视频监控系统统一化、智能化的主要原因。因此，研究统一的视频监控设备平台技术，对实现视频资源共享、系统联网、产品兼容以及对推动信息化建设具有重要的实际意义[4] [5] [10] 。

针对目前视频监控设备种类繁多、视频信息共享受到制约的现状，本文重点围绕建立基于客户端/浏览器形式的综合的视频监控系统为目标，实现多厂家视频设备的集中管理和使用。

2. 系统体系结构

2.1. 虚拟设备接口(Virtual Device Interface, VDI)

虚拟设备这一术语是从设备和虚拟化得出的组合概念。所谓计算机设备是指具有特定功能和有限配置能力的计算装置。设备自己应该具有硬件、操作系统、和应用程序，但最终用户仅通过设备接口与设备进行交互，而设备内部结构是对用户来说是透明的。虚拟设备是设计用于在虚拟化技术下运行的最小虚拟机映像。虚拟设备是完全预安装和预配置的应用程序和操作系统环境，而虚拟机本身没有应用软件。虚拟设备最突出的优点就是消除了对设备的硬件依赖性，使得在进行系统开发的过程中不需要为不同的硬件设备设定不同的产品型号。

虚拟设备在实现的过程中往往采用的是虚拟设备驱动一体化解决方案，通过虚拟设备驱动完成设备功能转换和通信协议转换[6] 。这类解决方案的结构图如图1所示。这种方案的优点是结构简单，在应用程序和物理设备之间只有一层，其访问方式和直接访问物理设备一致，只是对原设备驱动程序重写。缺点是虚拟设备驱动要完成应用程序交互、硬件交互、协议转换三部分工作，过程复杂且不方便调试。此外在这种方案中，每种虚拟设备驱动只能用于单一类型的设备转换，扩展性差，所以这种方案比较适合一些简单的、单一设备转换。

由于目前视频监控网络的结构多样、设备多样及核心技术多样，例如不同的监控网络可能采用不同的音视频编解码方法[7] [8] ，使得采用传统的虚拟设备方案来融合多种异构网络变得非常复杂和困难。因此需要研究新的模式来解决这个问题。

2.2. 系统结构模型

为了能兼容多厂家的视频设备，读取各种视频设备的数据，同时克服虚拟设备一体化方案对多种设备和协议扩展性差的不足，本文提出了一种基于虚拟设备接口技术的视频综合监控系统，该系统体系结构分为四层，分别为：核心服务层、虚拟设备驱动层、协议转换层和物理设备接口层(如图2所示)。

· 核心服务层

图1. 虚拟设备一体化方案

图2. 基于虚拟接口技术的视频综合监控系统体系结构

核心服务层针对不同的设备提供相应的服务，主要包括存储服务、报警服务、日志服务、显示服务、用户管理服务等。并根据不同厂家的设备为每种类型的设备虚拟一个中心服务器，通过这个虚拟的中心服务器，将同一类型的设备统一管理。通过核心服务层，管理员可以针对不同的用户设置其使用服务的数量和等级。增加一个新的设备只需要增加一个新的相关设备的中心服务器，不用对系统进行修改。

· 虚拟设备驱动层

虚拟设备驱动对同一类目标设备来说是一致的，也就是说对于硬盘录像机或视频服务器来说，不论是哪个厂家的产品，都是相对独立的，在进行多种设备到一种设备转换时可以重用。

虚拟设备驱动和物理设备驱动类似，向上层提供一样的功能接口，只是和下层的通信机制不一样。虚拟设备不是向硬件发出指令或者请求数据，而是将应用程序提交的请求传递到下一层(协议转换接口层，如图2)并等待应答。整个过程可能是同步也可能是异步的，与应用程序的调用模式没有关系，即便是应用程序采用的是同步方式，而整个交互过程是一个异步的，也可以通过事件等待等处理将异步转换为同步，这个过程不会影响应用程序调用，使得应用程序就像是在访问一个物理设备一摸一样。

为了实现增加设备不影响系统的运行，我们为每种类型的设备设计一个虚拟设备接口，即VDI，在系统中以动态链接库(DLL)的形式存在，每个DLL对应一种厂家的设备。增加一种设备只需要添加一个DLL文件，通过服务器端对其进行调用就可实现对该类型设备的兼容，提高了系统的扩展性和可移植性。在这个VDI中，封装了所有设备的存取服务，包括流媒体服务，存储服务等。这个DLL内含通信，线程等。这个DLL本身又是对等的。即一个客户端的VDI会自动匹配到服务器端的对等VDI，这两个VDI完全一致。只是因为在不同的环境，启用了不同的服务。

· 协议转换层

在本文提出的体系结构中，最下两层是协议转换层和物理设备接口层，这是因为被转换设备所使用的协议不同，尤其是音视频编解码算法和网络传输协议，而不同接口的物理设备可能使用相同的协议，所以协议转换层和设备接口层是分离的，能够更好的体现通用性和可移植性。

协议转换层主要实现两种功能：一是实现对两种不同总线通信协议的转换，早期的视频设备主要以板卡的形式插在计算机的主板上，而新的视频设备以网络设备为主，因此同时读取两种设备的音视频信号必须对它们的通信协议进行格式转换。另一种功能是对视频编解码算法的转换，目前视频监控领域的主流压缩算法是H.264和MPEG-4，不同厂家的设备采用的算法不统一，而且H.264算法也存在3种不同的设置，导致网络中的视频码流格式不一致。为了能在同一个系统中读取不同的码流，需要对码流格式进行统一。

· 物理设备接口层

该层的主要作用是建立到物理设备的信道。类似于网络参考模型中的网络层。面向协议转换层提供有保障或者无保障的数据通信。因为是和物理设备相关，所以这部分和物理设备配套提供的，或者是物理设备提供了通信接口标准。与TCP/IP网络模型相比，这一层相当于网络层。负责提供信道管理和数据帧传输。

3. 系统详细设计

视频综合监控系统主要采用客户端/服务器的架构，由服务器端、管理端和客户端组成。采用VDI技术，使快速接入设备成为可能，各种设备接入彼此互不干扰，加入一个设备只要加入一个dll即可，完全不用修改其他任何高层程序代码。

3.1. 服务器端设计

服务器包括中心管理服务器、综合服务器(设备控制服务器、点播及存储服务器、流媒体转发服务器、报警采集服务器、动态域名解析服务器)、报警联动服务器等。

· 中心管理服务器

中心管理服务器的核心是数据库服务(图3)，所有模块以中心管理服务器为核心，视频设备、其他应用类型的服务器、客户端及管理端都通过中心管理服务器对数据库进行访问，获得相应的数据。视频综合监控系统的数据库采用MySQL系统，MySQL是一个多线程的、开放源码的关系数据库管理系统，由于性能高、成本低、可靠性好，已经成为最流行的开源数据库，被广泛地应用在Internet上的中小型网站中。随着MySQL的不断成熟，它也逐渐用于更多大规模网站和应用。结构化查询语言(SQL)数据库服务器，它的执行性能非常高，运行速度非常快，并容易使用。服务器端的数据库总共设计有47张表，主要涉及设备列表、用户管理、域名表格、远程管理、注册、实时播放、报警等表格，每张表格包含若干属性字段

· 综合服务器

综合服务器主要包括设备控制服务器、点播及存储服务器、流媒体转发服务器、报警采集服务器和动态域名解析服务器等，这些服务器都是以软件的形式实现的，在服务器端运行。

· 报警联动服务器

接收来自报警采集服务器的报警信号，根据报警预案抓图、录像、声音文字提醒等任务分配给相关服务器(图4)。

3.2. 管理端设计

系统管理端采用分布式管理架构(图5)，为用户提供多级、多域联网功能，实现不同区域监控系统的独立管理、独立存储，同时在授权情况下又有访问其他独立区域的能力。域之间使用转发服务器将视频

图3. 中心管理服务器

图4. 报警联动服务器

图5. 管理端架构

流、控制流进行转发，转发服务器可实现多级转发功能。

3.3. 客户端设计

客户端主要针对用户，方便用户实时监控、浏览、录像，提供报警服务和相关设置的功能。为了能做到简洁，主要为客户端设备了四大功能，即实时播放、录像、视频回放与检索和报警联动。

4. 系统测试

4.1. 测试环境

为了获得真实的试验数据，搭建了仿真的试验环境。网络中的主要视频设备有黄河的视频服务器，海康、大华、汉邦的硬盘录像机，海康数字高清摄像机和普通球机、枪机、网络摄像机，目前主要实现了4种不同厂家设备的互联互通。

考虑到监控系统的重要性和系统用户的多样性，以及与其它软件和平台的兼容性和可集成性，操作系统、数据库、开发工具确定如下：

机器配置：CPU: Intel(R)Core(TM)2 Duo CPU T5450双核1.66 GHz，1.67 GHz；内存3 GB；10/100 Mbps以太网卡。

操作系统：Windows XP Professional。

开发工具：Dephi7.0。

4.2. 人机界面

视频综合监控系统是基于虚拟设备接口技术、数据采集技术、图像处理技术、网络技术和软件技术的一套网络视频监控系统解决方案，对城市、企业的视频监控设计了有效的实施方案。方案的设计力求功能全面、系统完备，能很好的应用于实际监控领域。

服务器端(图6(a))的核心为数据库服务，是核心的数据访问中间层。客户端(图6(b))平台主要显示视频设备传递的信息。客户端启动时中心管理服务器必须在网络中的一台电脑上运行，客户端与服务器通讯后，获得视频设备的各种参数信息，才能正确的接收网络中的视频信息。

4.3. 性能测试

我们对系统进行了功能测试和性能测试。在功能测试中，主要针对系统的各功能点，模拟用户使用，对功能点一一进行测试；在性能测试中，通过对客户进行多通道、实时播放测试、浏览帧率、传输速率等方面的测试，验证了本系统的性能。下面给出了部分的试验结果。

系统功能测试为模拟用户正常使用时，系统各项功能是否正常，测试结果显示系统符合设计逻辑，运行结果正常。我们还对服务器端、管理端和客户端的性能进行了测试，图7给出了服务器端测试结果，从多次的测试结果中可以看到，中心管理服务器、报警联动服务器运行正常，各厂家设备VDI都能在服务器端中检测到，且运行正常没有冲突。因此，服务器端整体运行良好，能正常使用。

实时性是视频监控平台的一个很重要的评价因素，表1为客户端实时播放测试结果，服务器与客户端与前端监控设备均在同一个局域网内，通过对1~16路视频多次测试，计算平均时延(时延即流媒体服务器发送数据包的时间戳与接收到的数据包时间的差值)、平均帧率和平均传输速率。测试结果显示时延能够很好的满足视频监控系统的实时监看需求，从画面个数的增加与帧率的变化情况来看，在带宽足够的情况下帧率的波动情况不大，且帧率可保证在每秒20帧以上，人眼不会感受到视频图像是在一帧帧的变动。从画面个数的增加与传输速率的变化情况来看，传输速率随着通道路数增加成正比增长。在带宽足够的情况下，视频图像能够稳定的播放。

5. 总结与展望

本文提出一种基于虚拟设备接口的视频综合监控系统解决方案，利用虚拟设备接口技术设计了一个

图6. 视频综合监控系统人机界面

图7. 服务器端测试结果

表1. 客户端实时播放测试结果

四层结构的视频综合监控系统，以核心服务层和虚拟设备驱动层为关键，把不同厂家的视频设备整合在一起，每个厂家的设备作为系统中的插件运行，由内而外实现异构视频监控系统的集成。通过实验验证，该系统已实现目前主流视频设备的互连互通，可使不同厂家的视频设备共享资源。

在后续的研究中，需要对以下几个方面做进一步的研究和完善：1) 平台的进一步优化，当前的系统在不同的层中有不同的功能角色。作者认为，四层的划分还可以进一步细化，以更加抽象的形式形成中间层，实现更加全面和完整的兼容功能[12] ；2) 功能的进一步优化；3) 提高智能化，在完善系统的同时提高系统智能性是下一步的工作，例如把智能监控和切换结合起来[13] ，当某个监控点出现异常时，系统智能切换到这个监控画面，这不仅能够保证远程终端不错过任何一个重要画面，在一定程度上降低了监控人员的工作量。

致谢

感谢杭州锐虎科技有限公司为本文提供了大量的实验环境。

项目基金

陕西省自然科学基金资助(2013JM8025)。

文章引用

单 勇,程环环,王建强, (2015) 基于虚拟设备接口技术的视频综合监控系统
Video Integrated Surveillance System Based on Technology of Virtual Device Interface. 软件工程与应用,01,1-9. doi: 10.12677/SEA.2015.41001

参考文献 (References)