admin 管理员组

文章数量: 1086019


2023年12月17日发(作者:微信小程序开发教程试卷答案)

文章编号:1002—8692(201 1)23--0057-04 基于ARM的红外视频处理系统设计 李玲,裴海龙 (华南理工大学自动化科学与工程学院,广东广州510640) 【摘要】研究并搭建了基于ARM的红外视频处理系统。首先搭建了红外视频处理系统的的硬件平台,然后对红外视频处理 系统的软件进行实现。该系统利用实验室现有ARM硬件平台,采用软件实现红外视频处理的任务,减少了开发的工作量和成 本。实验表明,该系统流畅地完成了红外视频处理任务,基本达到了实时性要求,可以作为后续红外图像处理、火灾识别的基础。 【关键词】ARM;红外视频处理;软硬件设计 【中图分类号】TN919.8;TP368.1 【文献标识码】A Design of Infrared Video Processing System Based on ARM LI Ling,PEI Hailong (College ofAutomation Science and Engineering,South China University of Technology,Guangzhou 510640,China) 【Abstract]An infrared video processing system based on ARM is studied and implemented here.Firstly,the overall design of hardware and software used in this system is introduced.Secondly,the ̄ware implementation of the system is described in detail.The system is desined on tghe hardware platform already exiting in my lab,and he ttask of ifrared video processinng is completed in software.As a result,the workload and cost is reduced a lot. Relevant experiment shows that the system can process he itfrarned video stream successfully and the later process,such as image processing and fire de- tection,can be further developed on it. 【Key words]ARM;ifrnread video processing;software and hardware design 0 引言 系统可以分为以下4类:1)基于PC的视频处理系统,其 统方案,而视频处理则是红外视频图像火灾探测的基础。 目前实验室图像处理及火灾探测系统的开发均在ARM 考虑到成本和设计复杂度,结合应用目标和实验室 根据硬件平台和开发方式的不同,目前的视频处理 平台上进行。 特点是开发周期短、费用低、实时性不高,该方案广泛应用 研究现状,选择搭建基于ARM平台的红外视频处理系 在日常视频监控等实时性要求不高的领域中…;2)基于 统,系统的采集、压缩、传输等模块均采用软件实现,以利 数字信号处理器DSP的方案,可快速实现数字信号处理 用实验室现有平台,减少系统开发的工作量和成本,从而 算法,但专用DSP算法固化,通用DSP 片设计存在着资 降低整个系统的功耗,为红外视频图像的火灾探测系统提 源不能灵活配置的问题 ;3)基于微处理器ARM的方 供有力的支持。系统硬件部分包括红外摄像头、图像采集 案,支持高级语言编程,有丰富的接口,设计灵活,但在实 卡、ARM开发板、上位机Pc等;系统软件部分包括基于 时视频处理上有局限性 ;4)FPGA与ARM相结合、FP. v412(video for Linux two)的图像采集、基于ffmpeg开源库 GA与DSP相结合、FPGA与SOP相结合等方案,这些方 的H.264压缩编码以及基于流媒体开源库live555的 案设计比较灵活,能对图像进行比较复杂的处理,但是系 RTSP传输,视频的播放采用开源流媒体播放器vlc。 统成本较高,软硬件设计复杂 。 视频处理在现代生活中得到了广泛应用,如视频监 系统的应用目的是:为基于红外视频图像的火灾探测系统 1 视频处理系统总体设计 系统硬件部分包括红外摄像头、图像采集卡、ARM开 控、视频会议、多媒体信息传递等。本文提出的视频处理 1.1硬件系统 提供高质量的可用视频流。红外图像相对于可见光图像, 发板、上位机PC等。硬件组成框图和实物图如图1 其像素间具有良好的空间相关性,图像中目标边缘结构简 所示。 单;红外摄像头透过烟尘能力强,可昼夜工作 。因此针 红外摄像头采用Photon 320非制冷型热像仪,负责红 对火灾探测问题,提出了基于红外视频图像的火灾探测系 外视频信号的采集。Flir生产的Photon320机芯,是一种 基金项目:教育部科技创新工程重大项目培育资金项目(7081169);国家自然科学基金重点项目(60736024) 洲锑ss卷第 电视总第 期 y i5 ge o,E n,qine e ring 1 技

高灵敏度、高可靠性的非制冷长波(7.5~13.5 m)红外 编程接口;fmpeg是一个开源的音视频流方案,内含音频/ 热像探测器,它采用324×256的焦平面阵列,像素大小 视频编解码库libavcodec等,可移植性和编解码质量高; 38×38,可探测小于或等于85 mK的温差,工作温度范围 live555是一个C++开源项目,为流媒体提供解决方案,它 为一40一+80。C。红外摄像头通过AV接口输出帧频为 实现了对标准流媒体传输协议的支持,支持多种音视频编 8.3 Hz的PAL制模拟视频信号。 图1 系统硬件组成框图及买物图 USB图像采集卡具有AV输入接口、USB2.0输出接 口;它所用的编解码芯片是EMPIA公司的EM2860。USB 图像采集卡通过AV接口接收红外摄像头采集到的模拟 视频信号,然后将其转换为PAL制式的数字视频信号,再 通过USB2.0接口传送给ARM板进行处理。 考虑到效率、重量、体积、功耗等因素,视频处理系统的 核心板选取了Compulab公司的cm—t3530。cm—t3530是基 于TJ的omap3530开发的,功耗低,体积小(66 1Tim× 44 arin x7 ln/n),支持Linux操作系统,集成了720 MHz ARM Codex—A8内核等,为视频图像的处理提供了有力的硬件 支持。cm—t3530内置WiFi接口实现了工业标准的无线 网络连接,通过WiFi无线网络使用远程主机访问核心板 并进行操作,方便了实验和多用户操作;通过WiFi无线网 络传输视频流,使系统不受布线条件的限制 L位机Pc 与核心板的相对位置可以移动。视频处理系统的主要工 作(采集、压缩、传输)都在核心板上完成,处理后的视频 流通过WiFi网络传送给上位机PC。 上位机PC负责视频的接收和播放,可使,}{{_Linux或 Windows操作系统,配置可以播放流媒体的播放器即可。 1.2软件系统 系统软件部分包括基于v412的 像采集、基于ffm. peg开源库的H.264压缩以及基于流媒体开源库live555 的RTSP传输,视频的播放采用开源流媒体播放器vk。 软件系统框图如图2所示。 视频处 翊 呈1”毫  糍蠢H絮耀委 銎嚣簋}L 一一  vk播放器I 软件环境配置I匝I  i 至 应用程序 j 核I设备驱动、v412 API I 操作系统 I inux/Windmvs ARM硬件 机I (: 图2软件系统框图 v412是Linux操作系统为影音图像开发提供的应用 ;8 2Oll ̄35@第 第 似期 码格式的音视频数据的流化、接收和处理等。本文的采集 模块使用v412接口编程,压缩编码采川基于ffmpeg开源库 的 264压缩编码,视频传输采用基于流媒体开源库 live555的RqSP传输,播放器采刚开源流媒体播放软件vlc。 2视频传输系统软件实现 2.1 Linux内核和软件环境配置 视频处理系统在Linux操作系统下实现。使用 Linux2.6.32内核,重要的内核配置选项有:内核对v412的 支持;兼容新旧二进制接口文件;USB网络摄像头驱动 uvcvideo;USB图像采集卡解码芯片EM2860的驱动。此 外还需将ffmpeg,live555,x264等交叉编译到核心板上。 2.2基于v412的视频采集 Linux操作系统为影音图像的开发提供了应用编程接 口v412,可以使用v412编程接口方便地实现视频采集。基 于v412的视频采集流程如图3所示。将采集程序打包成为 webeam类,对外提供接口函数AVFrame read data()。 图3 视频果集流程图 2.3基于ffmpeg的H_264视频压缩 视频流的数据量巨大,为降低无线网络传输的压力, 以低带宽和低码率获得尽可能好的图像质量,考虑采用 H.264视频编码标准。 2.3 1 H.264视频编码标准 国际标准化组织和国际电信联盟于2003年共同提出 了 264视频编码标准。与以往的视频编码标准相比, H.264视频编码标准有以下特点: 1)具有更高的编码效率; 2)具有高质量的视频画面; 3)低延时; 4)采用混合编码结构; 5)编码选项较少; 7)提供了丰富的错误处理工具和解决网络传输丢包 

问题的工具 。 2.3.2基于ffmpeg的H.264视频压缩软件实现 类WebcamDeviceSource的设计是传输程序的关键, 其架构为 Class WebcamDeviceSource:public FramedSource{ 采用开源的ffmpeg函数库进行编程,对原始视频数 据进行H.264编码,程序流程图如图4所示。 圃+  J 压缩一帧图像 J l注册所有编码器格式l ● l 初始化存储空间l ti 设置编码器参数(像大小与格式、帧率等)l位率、图l  l 打开编码器 ● l l关闭编码器,释放内存空间I 图4视频压缩流程图 将视频压缩程序打包为一个类encoder,对外提供接 口函数encode(AVFrame tmp_picture,uint8_t outbuf)。 2.4基于live555的流媒体传输 视频处理系统是红外视频图像火灾探测系统的基础, 视频的采集、传输、播放并不是最终目的。为保证图像识 别、火灾探测等后续处理的实时眭,必须保证视频传输的实 时性,因此本文研究了实时流媒体技术及相关的传输协议。 2.4.1 实时流媒体传输技术 流媒体指在网络中使用流式传输技术的连续时基媒 体,如音频、视频或多媒体文件。流式媒体在播放前并不 下载整个文件,只将开始部分内容存人内存,流式媒体的 数据流随时传送随时播放,只是在开始时有些延迟。流媒 体实现的关键技术是流式传输。 实时流协议RTSP(Real Time Streaming Protoco1)定义 了一对多的应用程序如何有效地通过IP网络传送多媒体 数据的方法。RTSP在体系结构上位于实时传输协议RTP (A Transport Protocol for Real Time Applications)和实时传 输控制协议RTCP(Real Time Control Protoco1)之上,这是 一个应用层协议。它建立并控制一个或几个时间同步的 连续流媒体,充当多媒体服务器的网络远程控制的角色, 通常其本身并不发送连续流。RTSP可以选择发送通道 (如UDP、组播UDP和TCP)并基于RTP的发送机制。 RTSP与RTP、RTCP等更低层的协议一起,提供了基于In. ternet的整套流化服务…。 2.4.2基于live555的流媒体传输软件实现 开源流媒体库live555在嵌入式流媒体开发中应用广 泛,本文采用live555编程实现视频的RTSP流式传输。 1)将采集模块和压缩模块打包成一个类WebcamDe— viceSource,作为传输程序的数据源,它调用类webcam的 接口函数和类encoder的接口函数,在采集、压缩视频后 将数据放在指定位置上。 public: Static WebcamDeviceSource createNew(UsageEnvironment&env,int WIDTH,int HEIGHT);//对外接口函数,创建类实体,完成采集压缩所需 的准备工作 protected: WebcamDeviceSource(UsageEnvironment&env,int width,int height);// 构造函数,其中也进行了webcam类和encoder类的构造 virtual~WebcamDeviceSource();//析构函数 private: virtual void doGetNextFrame();//重定义该虚函数,用于判断图像数 据是否准备好 void deliverFrame();//传一帧图像数据及后续处理,该函数调用 webcam类和encoder类的接口函数完成视频的采集和压缩,这些数据作 为数据源,存放在指定区域 Webcam cain; Encoder h264encoder; …//其他变量,用于测试等 f; 2)编写类MyH264VideoStreamer和类MyH264Video- RTPSink。live55库中关于H.264数据流的传输给出了2 个类H264VideoStreamer和类H264VideoRTPSink,但是没 有完全实现。在此基础上进一步编写完整的类MyH264. VideoStreamer和类MyH264VideoRTPSink。类MyH264- VideoStreamer主要用来取出数据中的NAL单元,作为一 个数据帧,交给MyH264VideoRTPSink;类MyH264一Video— RTPSink主要用来给NAL单元加上RTP包头,通过网络 接口向外发送到接收端,然后调度发送下一个RTP包。 传输程序数据流向如图5所示。 MyH264VideoStreamFramer ‘ MyH264VideoRTPSink 图5传输程序数据流向 3)将传输程序作为整个视频处理系统的主程序,在 主程序中使用类WebcamDeviceSource,程序流程图如图6 所示。在上位机PC端,打开vlc播放器,输入流媒体url 地址rtsp://主机IP(本文试验用地址为rtsp://169.254. 7.50),便可向ARM板上的视频传输模块发起连接。视频 传输模块接收到该连接,就将发送器中的数据通过网络发 送到PC端,v1c播放器就可以播放红外摄像头采集到的 实时视频了。 洲锑 肌总第 期) 视狡舔 ̄g ndine e rin8 159 

了红外视频处理系统,用软件实现了红外视频的采集、压 获取主机环境,建立基本任务 ‘ 缩、传输和播放,用较小的工作量及成本完成了系统的开 立服务器媒体会话和子会话 ‘ 读主机网络地址 发。实验表明,该系统流畅地完成了视频处理任务,视频 播放端可实现最小延时达300 ms的播放,可以作为以后 图像处理、火灾识别的基础。系统的待改进之处:视频处 理的延时问题需要进一步研究,以提高实时性;程序需要 创建RT RT(:P套接字 I l  ̄RTSP selweY的llrl地址 ‘ 从RTP套接字创建“H264 videI1 RTP’’sink 接收器videosink ● 从webcamDevi( ̄esouree数据 源,建立数据发送器 videosource ‘ 为 i te0sinkg,J建RTCP实例, 自动开启流控 ● 启用媒体会活激据包读取和 发送循环进行 ‘ 进一步优化,以减少系统运行时所占的资源。 参考文献: [1]李鹏.基于DSP的嵌入式视频处理系统设计与实现[D].大连:大连 海事大学,2009. 建立流媒体服务器RTsP server。 任务调度循环博待连接 图6视频传输流程图 3 实验及结果分析 搭建硬件系统,将编写的程序交叉编译到ARM板上, 对系统进行测试。实验表明,该系统可以对红外摄像头采 小延时达到300 ms的稳定播放,基本满足了实时性要求。 [2]蔡玉强.基于FPGA的OLED视频处理系统的研究[D].成都:电子科 技大学,2010. [3]李骏.基于SOPC的视频处理系统关键技术研究[D].南京:南京理工 大学,2009. 4]刘媛瑁.双波段野外火灾图像识别及目标定位方法研究[D].南京: 集到的视频流进行流畅的处理,PC端vlc播放器可实现最 [南京航空航天大学,2009. 对视频进行抓图,结果如图7所示。从中可见采集到的视 [5]王丽萍.面向航天应用的视频压缩算法的研究与应用[D].北京:中 国科学院研究生院,2007. 频经过压缩、传输、解码播放后,与原图像相比有一定的信息 [6]毛年胜,卓力.基于H_264SVC的IP网络视频传输系统的实现[J]. 损耗,但保持了图像的重要信息,可以作为后续处理的基础。 测控技术.2010,29(5):5 . ■曩■ a 实物图像 b红外摄像头采集 到的图像 C PC端用vlc播放 看到的图像 [7]孙倩.基于RTSP的媒体服务器流媒体功能研究与实现[D].北京:北 京邮电大学,2010. 作者简介: 图7视频抓图 李玲(19鹞一1,硕士生。主要研究嵌入式系统、图像处理; 裴海龙(1965一),教授。博士生导师,主要研究嵌入式系统、智能机 4 结语 本文在实验室现有ARM平台的基础上,研究并搭建 器人系统、自适应自组织控制等方面。 责任编辑:时雯 收稿日期:2o1l—05_16 (上接第152页) 参考文献: [1]蔡波.视频实时图像处理系统研究及设计[J].电视技术,2005,29 (5):23-25. [8]顾韵华,傅德胜,王兴.XML安全技术分析与应用[J].计算机科学, 2009(5):118—120. [9]陈东,蒋朝根.DSP和RSA密码体制在电子商务中的应用[J].计算 机工程与应用,2004(34):168—169. [2]Texas Instruments.TMS320C6000 Programmer’s Guide[EB/OL]. [201 l_03I25].http://www.doein.com/p-13851643.htm1. [1O]梁迅.基于NDK的DSP网络编程[J].计算技术与自动化,2005 (3):79—81. [3]Texas Insturments.TMS320 DSP/BIOS User’S Guide[EB/OL]. [2011-O3-25].http://www.docin.com/p-56498147.htm1. [11]TANENBAUM A S.计算机网络[M].4版.潘爱民,译.北京:清华大 学出版社,2004. [4]自沽.视频监控网络图像系统研究与实现[D].西安:西北T业大学, 2004. [5]郑均辉,孙泽军,李笑凇.基于嵌入式技术的网络远程视频监控系统 的研究与实现[J].安防科技,2007(5):37-39. [6]王明高,王琰.一种基于相关特征匹配的移动目标检测方法[J].中国 图象图形学报,2007(8):1372-1376. 作者简介: 陈圣熙(1985一 )。工程师。硕士生。主研方向为嵌入式系统和硬件 设计、信息安全: [7]刘成,鲍可进.基于图像处理的嵌入式自动报警系统[J].计算机工程 与设计,2007(17):4198-4199. 硕士生,主研方向为视频图像处理。 陆盛浩(1986一 )。责任编辑:任健男 收稿日期:2011-06-25 160 年第ss卷第 第删钥 


本文标签: 视频 系统 处理 传输 图像