您现在的位置: 通信界 >> 视频通信 >> 技术正文  
 
基于ARM11+Linux的无线视频监控系统[图]
[ 通信界 / 佚名 / www.cntxj.net / 2016/4/25 22:48:55 ]
 

1 引言

随着无线网络的普及,ARM处理器运算的能力不断地增强以及计算机处理图像的技术不断地提高,基于ARM 的视频监控正越来越广泛的应用于学校,社区,酒店,网吧,医疗等各种各样地领域。传统的视频监控系统布线复杂,设备庞大,智能化低,以及软硬件资源得不到充分的发挥。而ARM 嵌入式系统的小型化、占用空间小、成本低廉、结构紧凑、支持无线网络等特点,使得利用S3C6410 的ARM11+linux系统构成各种各样的无线网络数字监控系统具有广泛的应用价值。

2 系统整体设计

2.1 硬件总体设计

本系统采用韩国三星公司ARM11 内核的S3C6410 作为微处理器,该款处理器体积小,尺寸仅相当于一个48mm*67mm 方块的大小,同时集成了丰富的接口,32 位数据总线和32 位外部地址总线,SROM 控制器、 SRAM 控制器、NAND 闪存控制器、64 个中断源的中断控制器、五个三十二位定时器、四个UART、四个DMA 控制器、STN 与TFT LCD 控制器、看门狗、IIS 音频接口、IIC-Bus 接口、两个USB host口、一个USB device 口、两个串行外围接口电路、三个SD 卡接口、camera_if 接口、TV_out 接口、MFC接口、2 路SPI、Touch Screen 接口,其主频可达800MHz,扩展总线最大频率133MHz.在此基本上,还进行了相关的扩展,引出了一个四线RS-232 串口,该串口用于开发主机与S3C6410 开发平台进行通信;配置了1GB 的NANDflash,用于存放嵌入式linux操作系统,应用程序和数据,128MB 的DDR 内存,用于存放运行程序,摄像头捕获的数据;扩展了一个WIFI 模块,用于开发平台与服务器传输视频数据,通过无线网络实现视频远程监控。

2.2 软件总体设计

软件总体结构包括引导加载程序Bootloader、操作系统内核,设备驱动程序和应用层程序,其软件结构如图1 所示。

图1 软件总体结构框图

该系统上电后,先运行引导加载程序Bootloader,该程序的作用是初始化硬件设备、建立内存空间的映射表,引导和加载操作系统内核,然后启动嵌入式操作系统linux,接着加载Nand flash 驱动程序、LCD 驱动程序、WIFI 驱动程序等一些必要的驱动程序。

3 视频数据采集和编码设计

3.1 基于V4L2 视频数据采集设计

在Linux 系统下,对视频设备的各种操作是通过Video4Linux2 实现的,简称V4L2.应用程序通过V4L2 提供的接口函数实现视频设备的操作。整个视频数据采集的过程如图2 所示。

(1) 打开视频设备, int open( const char *pathname, int flags)。调用该函数,若返回值为-1,表示打开失败,否则,表示所打开设备的文件描述符。

(2)取得设备信息。通过ioctl(cam_fp, VIDIOC_QUERYCAP, &cap)函数来取得设备文件的属性参数并存储于cap 结构中,其中cam_fp 指的是打开的视频设备的文件描述符。

(3)选择视频输入方式。通过ioctl(cam_fp,VIDIOC_ S_INPUT, &chan)函数设置视频设备的输入方式,其中chan 的数据结构类型是v4l2_input,用来指定视频的输入方式。

(4 ) 设置视频帧格式。通过ioctl(cam_fp ,VIDIOC_S _FMT, &fmt)函数设置视频的帧格式,其中fmt 的数据结构类型是v4l2_format,用来指定视频的宽度、高度、像素大小等。

(5)读取视频数据。通过read(cam_fp, g_yuv,YUV_ SIZE)函数,把摄像头一帧的数据存放到g_yuv中,其中YUV_ SIZE 指的是每帧数据的大小。

(6)关闭视频设备。通过close(cam_fp)函数来实现视频设备的关闭。

图2 视频数据采集流程框图。

3.2 视频数据的H264编码

为了提高视频数据编码速度,本系统采用的是H264 硬编码方式,硬编码具有不占用CPU 资源,运算速度快等优点,从而满足视频数据实时性的要求。

具体编码的过程如图3 所示。

(1)创建H264 编码结构。调用SsbSipH264EncodeInit (width, height, frame_rate, bitrate, gop_num)函数实现的,其中width 表示图像的宽度,height 表示图像的高度,frame_rate 表示帧频,bitrate 表示比特率或码率,gop_num 表示两个相离关键帧之间最多包含多少个帧(B 或P 帧)。

(2)初始化H264 编码结构,调用SsbSipH264Encode Exe (handle)函数。

(3)获取视频输入地址,SsbSipH264EncodeGetInBuf (handle, 0)函数来实现,该函数返回视频输入的首地址,存放在p_inbuf 中。

(4)输入视频数据,调用memcpy(p_inbuf, yuv_buf, frame_size)函数实现,p_inbuf 存放需要编码的数据,yuv_buf 存放原始视频数据,frame_size 表示数据的大小。

(5)编码视频数据,对p_inbuf 内容进行H264编码,调用SsbSipH264EncodeExe(handle)函数实现。

(6)输出已编码的数据,SsbSipH264EncodeGetOutBuf (handle, size),该函数返回已编码图像的首地址,size 表示已编码图像的大小。

(7)关闭硬编码设备,调用SsbSipH264EncodeDeInit (handle)函数实现的。

图3 H264 编码流程框图。

4 视频数据的传输和显示

4.1 视频数据传输模块设计

现代无线通信网络标准主要有3G(第三代移动通信),WI-FI,Bluetooth,Zigbee(紫蜂)等,具体详见表1.

表1 常用无线通信网络标准的基本比较

由于WI-FI 具有传输率高,支持的协议多,安装及设置简单,成本低等优点,所以本系统采用的无线网络标准是WI-FI.

4.1.1 WI-FI 无线网络搭建过程

(1)加载WI-FI 模块。通过insmod 命令加载,这里需要加载2 个文件helper_sd.bin、sd8686.bin,这2 个文件可以从Marvel 官方网站下载。

(2)搜索WI-FI 网络。先用ifconfig eth1 up 命令把WI-FI 网络接口卡打开,然后用iwlist eth1 scanning命令搜索WIFI 网络。

(3)设置eth1 的ip 地址和子网掩码。

(4)设置ESSID.通过iwconfig eth1 essid 402命令实现的,ESSID 用来区分不同的网络。

(5)设置密码。通过iwconfig eth1 key s:your_key命令实现的,其中your_key 就是登陆密码。

4.1.2 基于RTP 协议的视频数据传输

RTP 是实时传送协议( Real-time TransportProtocol)的缩写,代表一个网络传输的协议,为音频、视频上传中的常用协议[5].RTCP 和RTP 一起提供流量控制和拥塞控制服务,它们能以有效反馈和最小开销使传输效率最佳化,因而特别适合传送实时的数据,所以采用该协议传输视频数据。

本系统采用开源代码Jrtplib 提供的RTP 协议栈,由于Jrtplib 对RFC3550 的实现进行了封装,使得传输视频数据更加简单。由于本系统的网络最大有效载荷为1500 字节,因此设置RTP 包大小的上限为1400 字节,如果发送的数据大于1400 字节,则采用拆包的方法再发送,具体传输过程如图4 和图5 所示。

图4 发送端流程框图。

图5 接收端流程框图。

发送端主要过程如下:

(1)创建RTP 会话并设置目标地址。调用Create方法得到RTP 会话实例,然后调用AddDestination 方法设置目标IP 以及目标端口号。

(2)获得数据,调用Get_Data()函数得到。

(3)发送数据,通过SendPacket()方法实现。

接收端主要过程如下:

(1)创建RTP 会话。调用Create 方法来创建一个会话实例,并且在创建会话的同时设置端口号,要与发送端的端口号保持一致。

(2)接受RTP 数据。调用RTPSession 类的PollData()方法接收数据。

(3)保存RTP 数据报。通过创建了一个指针数组,里面存放的是RTP 数据报的指针,只要将刚接收到RTP 数据报的指针赋给这个指针数组即可,这样可以节省数据拷贝的时间。

(4)判断是否接收完成,如果没有,则跳转到第b 步,否则接收端程序退出。

4.2 视频数据的解码和显示

由于接收到的数据是经H264 编码的数据,因此,先要对该数据进行解码,然后才能显示。而在服务器端,对视频数据解码用到FFmpeg.FFmpeg 是一个开源免费跨平台的视频和音频流方案,属于自由软件。

解码时主要涉及FFmpeg 下的libavcodec 库、libswscale库和libavformat 库,其中第一个库是一个包含了所有FFmpeg 音视频编解码器的库,第二个库是格式转化库,因为解码后的数据是YUV420 格式,而要在计算机上显示该数据,则需要的是RGB 格式的,该库功能就是把YUV420 格式转化成RGB 格式,第三个库是一个包含了所有的普通音视格式的解析器和产生器的库。

4.2.1 初始化解码线程

(1) 注册全部的文件格式和编解码器,调用av_register_all()函数完成注册。

(2) 设置AVFormatContext 结构体。该结构体是FFmpeg 格式转换过程中实现输入和输出功能,保存相关数据的主要结构,通过av_open_input_file 函数设置该结构体。

(3) 检查视频流的信息,通过调用av_find_stream_info(pFormatCtx)函数,pFormatCtx-》streams 就填充了正确的视频流信息,pFormatCtx 类型是AVFormatContext.

(4) 得到编解码器上下文,pCodecCtx= pFormatCtx -》 streams[videoStream]-》codec,pCodecCtx 指针指向了流中所使用的关于编解码器的所有信息

(5) 打开解码器,先通过avcodec_find_decoder 函数找到相应解码器,然后调用avcodec_open 函数打开解码器。

(6) 申请内存用来存放解码数据, 通过调用avcodec_alloc_frame 函数实现,由于解码的数据是YUV420 格式的,因此还需要将该数据转换成RGB 格式,因此,再次调用avcodec_alloc_frame 申请内存用来存放RGB 格式数据。

(7) 申请内存用来存放原始数据,因为H264 解码时,对于P 帧需要参考前面一个关键帧或P 帧,而B帧需要参考前后帧,因此需要存放原始数据,首先,用avpicture_get_size 来获得需要的大小,然后调用av_malloc 函数申请内存空间。

(8) 通过调用avpicture_fill 函数将帧和新申请的内存结合起来。

(9) 创建格式转换上下文,通过img_convert_ctx=sws _getContext(src_w, src_h,src_pix_fmt, dst_w, dst_h,PIX_FMT_RGB24, SWS_BICUBIC, NULL, NULL,NULL)方法实现。其中,src_w 表示源图像的宽度,src_h 表示源图像的高度,src_pix_fmt 表示源图像的格式,dst_w 表示目标图像的宽度,dst_h 表示目标图像的高度,PIX_FMT_RGB24 表示目标图像的格式。

4.2.2 对数据进行H264 解码

(1) 获得需要解码的一帧数据,由于前面接收端线程已经把接收到的数据存放在一个指针数组中,因此,解码线程只需要从指针数据中获取数据即可。

(2) 解码数据。调用解码函数avcodec_ decode_video(pCodecCtx , pFrame , &finished , encodedData,size)来解码视频文件。其中,参数pCodecCtx是前面得到视频流编码上下文的指针;参数pFrame存储解码后的图片的位置,参数finished 用来记录已完成的帧数;参数encodedData 是输入缓冲区指针,指向要解码的原始数据;参数size 是输入缓冲区的大小。

(3) 将已解码的视频数据YUV420 格式转换成RGB 格式,通过调用sws_scale()函数实现格式转换。

4.2.3 视频数据的显示

本系统使用QT 下的QImage 显示视频数据,由于QImage 能够存取单个像素,这样在显示前一帧图像的时候,将该图像保存下来,当显示后一帧图像的时候,如果该像素值与前一帧相同,则不必修改该值,从而节省了大量的时间,即哪里变修改哪里,显示过程的具体步骤如下:

(1) 取得已解码的视频数据,且该数据是RGB 格式的。

(2) 循环取得视频数据的R 分量、G 分量、B 分量。

(3) 判断该点的像素值是否与前一帧对应位置的像素值相同,若相同,跳转到第2 步,否则,保存该像素值。

(4) 对取得的RGB 各自分量,构造该像素点的颜色值,通过调用qRGB(R,G,B)构造方法实现。

(5) 设置相应点的像素值,首先生成QImage 类的对象,然后调用该类的setPixel(x,y,rgb)。其中,x 是图像的x 坐标值,y 是图像的y 坐标值,rgb 是该点的颜色值。

(6) 显示图像,通过调用update()方法,该方法会触发绘画事件,因此,在绘画事件里,写入显示图像代码,即可显示刚生成的QImage 对象,通过调用drawImage()方法绘制图像。

5 结论

本系统在视频图像采集时,为了降低数据量,采用YUV420 的采样格式。视频数据编码采用H264 硬编码方式,极大地提高了编码速度。而在无线网络传输时,考虑到丢包问题,将编码数据进行拆包然后发送,降低了丢包率。经测试,本系统采集一幅OV9650摄像头拍摄的且分辨率为320X240 的图像,经H264硬编码,编码后的图像数据大致为5KB 左右,降低了数据传输量,并且硬编码每秒可编码25 帧图像数据,达到实时视频数据编码的要求。对于WI-FI 无线网络的传输率一般在11-54Mbps 左右,因此,该无线网络可以满足实时传输视频的需求。本系统构建了高实时性,低成本,低功耗的数字化无线视频监控平台,在该平台基础上,可以搭建各种各样的应用,比如,路况实时监控,人脸识别,仓库报警等应用,该系统具有一定的实用价值。

 

作者:佚名 合作媒体:不详 编辑:顾北

 

 

 
 热点技术
普通技术 “5G”,真的来了!牛在哪里?
普通技术 5G,是伪命题吗?
普通技术 云视频会议关键技术浅析
普通技术 运营商语音能力开放集中管理方案分析
普通技术 5G网络商用需要“无忧”心
普通技术 面向5G应运而生的边缘计算
普通技术 简析5G时代四大关键趋势
普通技术 国家网信办就《数据安全管理办法》公开征求意见
普通技术 《车联网(智能网联汽车)直连通信使用5905-5925MHz频段管理规定(
普通技术 中兴通讯混合云解决方案,满足5G多元业务需求
普通技术 大规模MIMO将带来更多无线信道,但也使无线信道易受攻击
普通技术 蜂窝车联网的标准及关键技术及网络架构的研究
普通技术 4G与5G融合组网及互操作技术研究
普通技术 5G中CU-DU架构、设备实现及应用探讨
普通技术 无源光网络承载5G前传信号可行性的研究概述
普通技术 面向5G中传和回传网络承载解决方案
普通技术 数据中心布线系统可靠性探讨
普通技术 家庭互联网终端价值研究
普通技术 鎏信科技CEO刘舟:从连接层构建IoT云生态,聚焦CMP是关键
普通技术 SCEF引入需求分析及部署应用
  版权与免责声明: ① 凡本网注明“合作媒体:通信界”的所有作品,版权均属于通信界,未经本网授权不得转载、摘编或利用其它方式使用。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:通信界”。违反上述声明者,本网将追究其相关法律责任。 ② 凡本网注明“合作媒体:XXX(非通信界)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。 ③ 如因作品内容、版权和其它问题需要同本网联系的,请在一月内进行。
通信视界
华为余承东:Mate30总体销量将会超过两千万部
赵随意:媒体融合需积极求变
普通对话 苗圩:建设新一代信息基础设施 加快制造业数字
普通对话 华为余承东:Mate30总体销量将会超过两千万部
普通对话 赵随意:媒体融合需积极求变
普通对话 韦乐平:5G给光纤、光模块、WDM光器件带来新机
普通对话 安筱鹏:工业互联网——通向知识分工2.0之路
普通对话 库克:苹果不是垄断者
普通对话 华为何刚:挑战越大,成就越大
普通对话 华为董事长梁华:尽管遇到外部压力,5G在商业
普通对话 网易董事局主席丁磊:中国正在引领全球消费趋
普通对话 李彦宏:无人乘用车时代即将到来 智能交通前景
普通对话 中国联通研究院院长张云勇:双轮驱动下,工业
普通对话 “段子手”杨元庆:人工智能金句频出,他能否
普通对话 高通任命克里斯蒂安诺·阿蒙为公司总裁
普通对话 保利威视谢晓昉:深耕视频技术 助力在线教育
普通对话 九州云副总裁李开:帮助客户构建自己的云平台
通信前瞻
杨元庆:中国制造高质量发展的未来是智能制造
对话亚信科技CTO欧阳晔博士:甘为桥梁,携"电
普通对话 杨元庆:中国制造高质量发展的未来是智能制造
普通对话 对话亚信科技CTO欧阳晔博士:甘为桥梁,携"电
普通对话 对话倪光南:“中国芯”突围要发挥综合优势
普通对话 黄宇红:5G给运营商带来新价值
普通对话 雷军:小米所有OLED屏幕手机均已支持息屏显示
普通对话 马云:我挑战失败心服口服,他们才是双11背后
普通对话 2018年大数据产业发展试点示范项目名单出炉 2
普通对话 陈志刚:提速又降费,中国移动的两面精彩
普通对话 专访华为终端何刚:第三代nova已成为争夺全球
普通对话 中国普天陶雄强:物联网等新经济是最大机遇
普通对话 人人车李健:今年发力金融 拓展汽车后市场
普通对话 华为万飚:三代出贵族,PC产品已走在正确道路
普通对话 共享退潮单车入冬 智享单车却走向盈利
普通对话 Achronix发布新品单元块 推动eFPGA升级
普通对话 金柚网COO邱燕:天吴系统2.0真正形成了社保管