基于FPGA视频图像采集及显示系统的设计与实现 Design and Implementation of a Video Image Capture and Display System Based on FPGA

doi:10.12677/CSA.2014.41004

设为首页加入收藏期刊导航网站地图

期刊菜单

文章导航

Computer Science and Application 计算机科学与应用, 2014, 4, 19-22

http://dx.doi.org/10.12677/csa.2014.41004 Published Online January 2014 (http://www.hanspub.org/journal/csa.html)

Design and Implementation of a Video Image Capture and

Display System Based on FPGA

Hui Peng

Department of Information Technology and Management, Zhejiang Police Academy, Hangzhou

Email: penghui@zjjy.com.cn, 47437998@qq.com

Received: Nov. 29th, 2013; revised: Dec. 22nd, 2013; accepted: Jan. 5th, 2014

use, distribution, and reproduction in any medium, provided the original work is properly cited. In accordance of th e Creative Commons Attribution

and by Hans as a guardian.

Abstract: For the high-demand field of r eal-time image processing, this system designs and implements a video image

acquisition and display system based on FPGA using the latest syste m-on-programmable-chip technology. It is based on

the NIOS II core controller, and integrates the image acquisition, image processing and storage, image display function on

a single programmable logic d evice FPGA. The experimental results show that th e system is easy to transplant, conve-

nient for custom specific application, greatly reduces the cost a nd provide s a n im portant reference for other similar design s.

Keywords: System-On-Programmable-Chip; Image Acquisition; VGA; FPGA; Real T im e

基于 FPGA 视频图像采集及显示系统的设计与实现

彭辉

浙江警官职业学院信息技术与管理系，杭州

Email: penghui@zjjy.com.cn, 47437998@qq.com

收稿日期：2013 年11 月29 日；修回日期：2013 年12 月22 日；录用日期：2014 年1月5日

摘要：针对图像处理实时性要求高的领域，利用最新的可编程片上系统技术，设计并实现了基于可编程逻辑

器件 FPGA 的视频图像采集及显示系统｡系统以NIOS II软核为主控制器，将图像采集､图像处理及存储､图像显

示等功能集成在单片可编程逻辑器件 FPGA 上，实现了实时视频图像的采集､处理及显示｡实验结果表明，系统

有着易于移植､便于针对特定应用定制､成本大幅降低等优势，具有较高的工程应用与参考价值｡

关键词：可编程片上系统；图像采集；VGA；FPGA；实时

1. 引言

随着可编程逻辑器件的发展，使得它在图像尤其

是视频图像领域的应用趋于广泛，并已经成为对图像

处理实时性要求高的领域如动态目标跟踪､生物特征

识别､车辆车牌识别等中重要的研究对象[1,2]｡因此，本

文将深入研究基于 FPGA 视频图像采集及显示系统，

对于开发实时高速图像处理系统有着重要的参考意义｡

2. 视频图像采集及显示系统总体框架

本系统的总体框架如图 1所示，采用 Altera 的

Cyclone I V EP4CE115F29器件作为核心控制器，基于

SOPC 技术将主要功能模块集成在同一个可编程逻辑

器件上，同时将一个NIOS II软核处理器嵌入到里面，

负责对整个系统的管理和配置，另外内部各模块通过

Avalon总线互连和通讯[3]｡系统前端图像采集器采用

OPEN ACCESS 19

基于 FPGA 视频图像采集及显示系统的设计与实现

FPGA

VGA显示终

端

E2PROM

FPGA配置器件

VGA解码器

CMOS图像

传感器

SDRAM

控制器

FLASH

控制器

NIOS II

CPU

Avalon交

换总线

MDIO

控制器

MAC控

制器

IIC控制

器

图像采

集及数

据压缩

模块

图像处理

模块

VGA控

制器

UART

控制器

RS485

控制器

SDRAM

2x64MB

FLASH

1x8MB

千兆以太网收

发器

1000BASE-

T/TX

1000BASE-X

RS232

串口

Figure 1. Video capture and display system block diagram

图1. 视频图像采集及显示系统总体框架图

CMOS 数字图像传感器，CMOS 图像传感器输出的数

字图像信号，由FPGA 采集及数据转换模块将其转化

为30 位的 RGB 信号，并存储到外部 SDRAM 图像缓

存器，经过图像处理模块的预处理后再通过 VGA 显

示模块直接输出到显示终端上，另外也可以通过千兆

以太网通信通道将图像信息传输到后台计算机后处

理｡

3. 视频数据采集及存储

本系统采用 CMOS 数字图像传感器 D5M，最大

输出图像像素为 2592 × 1944，图像颜色格式为 Bayer

格式，图像输出格式可以通过 I2C 总线进行配置，支

持多种常用的格式比如 VGA､SVGA､XGA 等，另外

增益、暴光时间等参数也可以动态调整。CMOS 图像

传感器将接收的光信号转换成电信号，并通过片内 12

位A/D 转换器将模拟信号转换成12 位的数字信号，

图像数据输出时序如图 2所示｡

由于视频数据量较大，实时性要求较高，所以本

系统的图像存储部分由两片数据位宽为 16 位的

SDRAM 芯片构成，通过 ALTERA 专用AVALON 总

线连接到 NIOS II软核。本系统中 CMOS 图像传感器

输出的 Bayer 图像数据转换成 30 位RGB 数据后，为

了提高存储器带宽利用率，将 R[9:0]和G[9:5]存入到

第一片 SDRAM 中，将 G[4:0]和B[9:0]存入到第二片

SDRAM 中，并且采用乒乓缓存思想，将 SDRAM划

分成两块独立存储块，当其中一片存储块用于采集后

图像数据写入时，另一片存储块用于显示图像数据的

读出，具体实现过程为系统初始化后，将两帧图像数

据分别存入两块存储块，后续当偶数帧的帧同步信号

下降沿时触发控制器去读前一个奇数帧所在存储块，

OPEN ACCESS

基于 FPGA 视频图像采集及显示系统的设计与实现

如此循环，周而复始｡

4. 视频图像显示

处理后视频图像数据经过数模转换芯片 AD7123

转换成一定格式的模拟信号，最终在VGA 显示设备

上显示，显示模块的具体连接关系如下图所示｡VGA

的同步信号由 FPGA 直接产生，VGA 标准时序如图

3所示[4]｡

根据图 4所示时序编写VGA 显示控制程序，产

生VGA 相关同步信号，同时送出 25 MHz 给AD7123，

将RGB 视频数据输出到 VGA设备上｡

本系统中的显示模块可以根据前端图像采集模

块的输出自动通过 NIOS II配置输出其他常用格式的

视频，比如 SVGA(60 Hz)､XGA(60 Hz)等｡

5. 实验结果

使用编程工具将编译好的FPGA 配置文件下载到

硬件平台上，采集及显示效果如图5所示｡系统可以

实时采集并显示图像，完全达到了本文的设计要求｡

6. 结束语

本文设计并实现了以 FPGA NIOS II软核为核心

的视频图像采集及显示系统，由于采用了片上可编程

系统技术，使整个图像采集显示系统有着易于移植､

便于针对特定应用定制､成本大幅降低等优势，具有

较高的工程应用与参考价值｡

像素时钟

帧有效

行有效

图像数据 P0 P1 P2 P3P4 P5 Pn

垂直消隐水平消隐有效图像数据水平消隐垂直消隐

Figure 2. CMOS image sensor data output timing

图2. CMOS图像传感器数据输出时序

Figure 3. Functional parts connection relationship diagram in display module

图3. 显示模块各功能部件连接关系图

OPEN ACCESS 21

基于 FPGA 视频图像采集及显示系统的设计与实现

有效视频数据

RGB

视频数据

水平同步同步脉冲宽度

行消隐后肩行消隐前肩

有效视频数据

RGB

视频数据

场同步同步脉冲宽度

场消隐后肩场消隐前肩

3.8us

1.9us 0.6us

25.4us

2行

33行10行

480行

Figure 4. VGA standard timing

图4. VGA 标准时序图

Figure 5. Video capture and display result

图5. 采集及显示效果图

参考文献 (References)

[1] 雷元武, 窦勇, 郭松 (2012) 基于 FPGA的高精度科学计算加

速器研究.

计算机学报

, 1, 112-122.

[2] 石美红, 房超, 张卫军, 仇涵 (2009) 基于 FPGA 的线阵 CCD

图像采集控制的实现微计算机信息.

微计算机信息

, 5-2,

177-178.

[3] 刘松, 付扬, 郭培源 (2010) 基于 FPGA的数字视频监控系统

设计.

电视技术

, 3, 92.

[4] 徐遵磊, 贾建援, 张大兴 (2008) 基于 FPGA的视频信息采集

系统设计.

微计算机信息

, 14, 76.

OPEN ACCESS