您现在的位置是:首页 > 家电

视频、音频和定位信息的数据采集传输器的设计

2021-11-07 16:44:37

地理信息系统( GIS)、全球定位系统( GPS)的广泛应用使人们享受到了基于位置服务所带来的诸多便利。传统G IS 是以地图为可视化主要手段, 然而人类获取信息的70%来自于视觉,因此将地理位置信息和视频信息有机结合可以极好的丰富G IS的内容, 产生许多新的应用。比如微软的Windows Local Live、影像城市武汉等网站都相继推出了实景地图, 让人们在网络上能直观、全面和便捷的了解各个城市。GPS信息和视频信息的结合, 还有利于对地理信息系统进行3D 建模, 如日本岩根研究所推出的3DV ideoG IS软件, 通过陆地上以及空中拍摄的具有定位信息的全景视频图像, 可以自动生成相应的高逼真的3D 场景模型。

为了针对以上这些应用需求, 本文中提出了一种一体化的视频、音频和定位信息的数据采集传输器。

本采集器不仅可以通过网络直播的方式提供一个更自然、更真实、更及时的地理信息系统环境, 采集数据能为实景地图和3D 场景地图的构建提供素材, 还可以实现基于定位信息的视音频数据的分割和检索。

1  系统整体方案

为了实现采集器的高质量定位视音频压缩采集、实时的定位视音频传输, 以及低功耗以便携等要求, 系统中采用了T I公司的TMS320DM642作为了采集器的主控芯片。DM642 是TI公司推出的一款专门面向多媒体应用的TMS320C6000 家族中性能最高的定点DSP, 具有8路并行的运算器、3个视频专用和2个音频复用接口, 集成10 /100Mbit / s以太网MAC。该芯片具有的这些优点非常适合视音频信息的采集、压缩和传输。

图1为采集器的硬件框图。GPS定位数据通过串口由TL16C752B 读入; 音频信号由TLV320A IC23B以8 kH z, 16bit量化采样; 视频信号通过TVP5150采集。进入DM642 的定位数据一路通过低码率的H 264视频编码后与G. 723的音频编码信号同步合成后, 通过无线网络发送到远程服务器, 另一路采用高码率编码后存储到2. 5寸硬盘。

视频、音频和定位信息的数据采集传输器的设计

图1  采集器硬件框图

2  系统硬件设计

2. 1  视频信号的采集

视频信号的采集如图2 所示, SCLK 为时钟,GPCL为使能信号, Yout为8位BT. 656信号。系统中将DM642的VP0配置为VP0A + McASP模式, 其中VP0A 配置为8位BT. 656视频输入, 用来接一路视频输入。TVP5150PBS是一款高性能的视频编码器, 它将视频信号模拟摄像头输出的NTSC /PAL模拟信号转换成数字色差信号( YUV4: 2: 2), 输出格式为ITU-R BT. 656。

视频、音频和定位信息的数据采集传输器的设计

图2  视频采集硬件框图。

2. 2  音频信号的采集

图3为音频输入框图, BCLK 为位时钟, LRC IN和LRCOUT分别为帧同步输入、输出, D IN 和DOU分别为音频输入、输出。McASP同时接入4路音频输入和输出, 系统中将McASP设置为突发帧同步模式。TLC320A IC23B 为音频编码器件, 支持麦克风、立体声输入和立体声输出, 根据G. 723 编码的要求, 话筒输入的电信号通过TLC320A IC23B进行8 K采样, 16比特量化。TLC320A IC23B 采用DSP模式与M cASP交换数据。

视频、音频和定位信息的数据采集传输器的设计

图3  音频采集硬件框图。

2. 3  GPS信号的采集

图4为GPS信号采集框图, TX 和RX分别是串行数据发、收信号。TL16C752B 采用8位异步步行存储器接口, 支持的波特率最高可达到1 Mbyte / s,与DM642的外部存储器EM IFA 连接, 地址A 2 A0用于对TL16C752B 的8 个寄存器寻址。MAX3160是多协议收发器, 可以将串口接口电平配置为RS232 /RS422 /RS485 等多种接口电平标准。GPS采集模块采用Ho lux M - 89, 它的灵敏度为159 dBm, 支援NMEA0183数据通讯协定,其定位精度小于3 m, 高于S iRF芯片, 因此除了能很好完成高速移动定位,更适合做步行等低速定位。

视频、音频和定位信息的数据采集传输器的设计

图4  GPS采集硬件框图。

2. 4  网络数据的传输

网络数据传输连接图如图5所示。DM642的网络接口是与PCI、HPI复用的, 系统中通过PCI总线的B3和B10配置为HPI16+ 以太网接口。以太网接口由EMAC(网络的数据通路)和MD IO( EMAC的状态和控制接口)两部分组成。系统中采用Broadcom 公司的BCM5221作为10 /100M 以太网的收发器(物理层)。

为实现无线网络传输, 采用了3G路由器和无线网卡通过EVDO 网络传输数据。3G 路由器采用Tenda 的3G611R, 该路由器兼容EVDO、HSPA、TD HSDPA三种3G网络。无线网卡采用中兴的AC2746, 该卡支持下行3. 1Mb it / s, 上行1. 8Mbit / s速率。

视频、音频和定位信息的数据采集传输器的设计

图5  网络传输硬件框图

3  系统软件设计

3. 1  总体流程图

图6为系统软件流程图。为了实现网络的实时传输且保证后期的定位视音频处理, 系统中采用了G. 723. 1音频压缩编码、H. 264视频压缩编码, GPS数据仅保留经度、纬度、时间和高程四项数据以用于后期处理。由于G. 723的编码是每30 ms一帧, 为实现视音频和定位信息的同步, GPS间隔也设置为30 ms, 而实际的GPS 刷新速率为1次/ s, 因此需要通过经纬度内插的方式进行GPS 定位信息与视频图像的匹配。为压缩视频速率实现无线实时播放且实现视音频的同步, 视频编码设置为90m s一帧, 视音频编码的对应关系为1:3。

视频、音频和定位信息的数据采集传输器的设计

图6  系统软件流程图

3. 2  GPS数据的采集

系统中采用查询方式读取TL16C752B 中的GPS数据, 由于GPS数据是循环不间断发送, 软件设计时利用了TL16C752B 缓存资源,采用了间断提取的方案以减小对DM642的占用。由于GPS数据传输速率设置为4 800 Baud, TL16C752B 的缓存为64字节, 因此只要以小于133ms的时间间隔去读取TL16C752B中的GPS数据, 总能避免GPS 数据的覆盖。由于编码3帧G. 723. 1音频的时间为90ms, 小于133ms, 因此每90ms读取GPS数据1次, 读取11~ 12次后就可以完整的读完一组GPS数据。

3. 3  音视频数据的采集和编码

音频数据的采集由M cASP完成, 将采集缓存长度设置为480字节, 采集速率设置为8 kHz, 量化比特数设置为16 bi,t 则每30 ms将会返回一个采集缓存满的标志, 通过查询读取该标志可以实现音频数据的无丢失采集。视频数据的采集由EDMA 完成,发送视频采集指令后,由EDMA 完成将视频采集的原始视频数据搬移到指定内存。因此视音频数据的采集都不会占用DM642 的资源。G. 723. 1 的音频编解码是将ITU T 的参考程序移植并优化使用,经测试优化后的G. 723. 1的编码时间小于5ms。

H264的视频编码采用Seed公司的H264库, 该库支持C IF( 352* 288) 100 kb it / s到800 kbit / s的编码速率, D1( 704* 576) 500 kbit/ s到4 000 kbit/ s的编码速率。程序中, 硬盘存储采用D1、2. 4M 编码,网络传输采用C IF、300 kbit/ s编码, 经测试CIF 编码时间小于5m s, D1编码时间小于11m s。

3. 4  硬盘数据存储

系统中采用的硬盘操作方式是直接输入输出方式( PIO), 为了防止每帧存盘占用过长的系统时间, 因此存盘任务采取了存盘缓冲的方案, 当缓冲区数据足够大时, 方进行硬盘操作。为防止硬盘文件过大, 超出了FAT32的存储范围(小于4 Gbyte), 采取了当存盘文件大于800MB时, 重建一个序号相连的文件的方案。经测试硬盘读写速度最高可达到11. 8Mbyte / s, 因此完全可以满足系统存储速度约为3Mbyte / s的要求。

3. 5.网络数据传输

系统中的网络操作采用T I公司的NDK 库,该库支持TCP、UDP、HTTP等常见的网络协议。该库的处理能力为每b it / s需要1. 66 个处理周期, 以300 kb it / s的平均传输速率计算, 每帧需要492 k个处理周期, 系统中DM642 运行速率为600 MH z, 则平均每帧发送时间为0. 82 ms。为了实现实时播放, 系统中以UTP 协议传输编码后的数据, TCP 协议传输网络控制指令。

4  测试结果和结论

图7为车载环境下的实时传输到服务器并显示的结果图。系统测试采用了步行和车载两种模式, 步行路线为南京师范大学1号门到3号门, 步行速度为5 km /h, 车载路线为南京师范大学1号门到中北校区, 车载速度为60~ 80 km /h, 网络传输采用江苏电信的EVDO网络。通过测试证明了该采集器能很好的采集存储定位视音频数据, 在步行和车载环境下能通过EVDO网络传输的实时传输定位视音频数据。

视频、音频和定位信息的数据采集传输器的设计

图7  测试结果图

本采集器实现了定位视音频的网络直播, 提供一个更丰富及时的地理信息系统环境。除此外本采集器的采集数据可以为实景地图和3D 场景地图的构建提供素材, 还可以实现基于地理定位信息的视音频分割和检索, 将极大的丰富地理信息系统的应用。