米尔淘宝店| 米尔电子| 米尔微博| English

玩转FPGA边缘视觉——4k视频图像抓取

文章来源:米尔科技 发布日期:2020.5.8 浏览次数:396 次
无标题文档

随着现代图像及视频处理技术的不断发展,人们对图像处理提出了新的要求,最近几年,图像的分辨率和扫描频率都有了较大范围的提升,1080P分辨率的视频已经非常流行,2K甚至4K分辨率的图像也在火热发展中。


 


基于软件的图像处理方法存在着一些局限性,尤其是计算速度和算法效率方面。所以大家很自然的就想到了FPGA作为嵌入式图像应用的平台。许多图像处理本身就是并行计算的,并且FPGA的编程硬件,本质上也是并行的。 


FPGA(Field-Program mable Gate Array),即现场可编程门阵列,它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的,既解决了定制电路的不足,又克服了原有可编程器件门电路数有限的缺点。 


 


下面以米尔VECP边缘视觉套件作为图像处理的硬件平台,带你玩转FPGA之视频图像抓取。

FPGA功能描述图示:

 

MYD-CZU3EG-ISP 提供4K分辨率的摄像头功能,同时输出4K分辨率的图像显示到图像输出接口,下面带一起来体验FPGA的图像抓取和图像显示的操作和应用。 


一、前期准备工作
将产品资料光盘中的镜像文件和摄像头测试文件复制到TF卡中,并安装光盘中的工业相机采集软件OCT SDK工具,同时去cypress官网下载FX3 SDK工具进行固件烧录。(具体文件路径请看板卡配套资料) 


 

二、操作过程

(1)将开发板的启动模式switch 开关SW1 的1 拨到OFF,2 拨到ON,3拨到OFF,4 拨到ON,设置成TF 卡启动模式;

 
(2)插入已存入文件的TF 卡,连接串口,波特率设置为115200,开发板上电;
(3)开发板将引导进入Ramdisk 文件系统,进入Linux 命令行:

Welcome to myir board 


myir login: root 


[[email protected] ~]# 



(4)打开OCT SDK 工具,如下图,选择“OCAM Technology”,点击右键选择Connect>Window:1:

 
光标移到右侧视屏区,点击右键,选择Start
(5)发送控制指令,设置Gige(网络接口)为输出接口的视频源为1,选择PS VDMA为输出的视频源;
[[email protected] ~]# cd /mnt/mmcblk1p1/
[[email protected] mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 02 ff
(6)抓取摄像头图像,输入如下命令,将会生成图像文件rgb888;
[[email protected] mmcblk1p1]# ./ispcaptest
(7)显示抓取摄像头图像;
[[email protected] mmcblk1p1]# cat rgb888 >/dev/fb0

(8)OCT 工具将会显示抓取的摄像头图像;


 


三、HDMI接口显示

如果要用hdmi 接口的4k 显示器显示摄像头图像,输入如下命令,将会显示如下图的摄像头图像。
[[email protected] ~]# cd /mnt/mmcblk1p1/
[[email protected] mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 01 ff
[[email protected] mmcblk1p1]# ./ispcaptest
[[email protected] mmcblk1p1]# cat rgb888 >/dev/fb0 


 



四、USB显示输出

如果要用usb 显示摄像头图像,按照“MYD-CZU3EG-ISP 功能描述和编译”的文档生成包含usb 显示图像的功能的BOOT.bin,替换TF 卡中的BOOT.bin文件,将会显示如下图的摄像头图像。
[[email protected] ~]# cd /mnt/mmcblk1p1/
[[email protected] mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 04 ff
[[email protected] mmcblk1p1]# ./ispcaptest
[[email protected] mmcblk1p1]# cat rgb888 >/dev/fb0 


 



五、HDMI 显示QT 界面

将开发板的启动模式switch开关SW1 的1 拨到OFF,2 拨到ON,3拨到OFF,4 拨到ON,设置成TF 卡启动模式;
插入已存入烧写文件的TF 卡,连接串口波特率为115200,开发板上电;
开发板将引导进入Ramdisk文件系统,进入Linux 命令行,输入命令开始更新:
Welcome to myir board
myir login: root
[[email protected] ~]#/updatesys.sh /mnt/mmcblk1p1 


脚本将把BOOT.bin,devicetree.dtb,Image 烧写到QSPI-Flash,把rootfs.tar烧写到eMMC。
烧写完成之后,将开发板的启动模式switch 开关SW1的1拨到ON,2拨到OFF,3拨到ON,4拨到ON,
设置成Qspi flash 启动模式,重新上电,进入烧写的rootfs文件系统,输入如下命令。
Welcome to myir board
myir login: root
[[email protected] ~]# /mnt/mmcblk1p1/setispcmd 81 01 12 00 01 00 01 ff
[[email protected] ~]# /usr/lib/qt/examples/widgets/painting/deform/deform


六、选择视频源的指令说明

选择视频源的指令说明见下表,查看ISP 控制指令集,请参考《MYD-CZU3EG -ISP图像控制指令手册》文档。


ISP 视频源控制指令集

Command Set

Command

Command Packet

Comments

PL Output
Port Video
Source Select

PL Video
Output
Select

81 01 12 00 01 00 0Y ff

Y的bit0、1、2分别表示HDMI、Gige、U3V输出接口的视频源选择:0表示选择PL ISP输出的视频、1表示选择PS VDMA输出的视频。


VECP边缘视觉套件简介 


 



MYD-CZU3EG开发板由MYC-CZU3EG核心板加MYB-CZU3EG-C-ISP底板组成。核心板采用了Xilinx最新的基于16nm工艺的Zynq UltraScale+ All Programmable SoC平台,集成了四核Cortex™-A53 处理器,双核Cortex™-R5 实时处理单元以及Mali-400 MP2图形处理单元及16nm FinFET+可编程逻辑相结合的异构处理系统。 


 
底板搭载的接口包括PL端的HDMI输出,千兆网口,USB3.0 device接口,MIPI接口,高速扩展IO,以及PS端的USB3.0 HOST接口,千兆网口,TF卡接口,USB 转调试串口等,拥有超低延时4k图像处理技术,并且图像处理IP支持定制。


ARM相关新闻

市场活动

研讨会议

培训课程

无线通讯市场

消费类电子产品

行业相关新闻

招聘动态

棋牌游戏下载送十元 福彩华东15选5专家杀号 vv时时彩平台黑钱 股票配资平台ˉ选杨方配资靠谱 排列5历史开奖号码结果 浙江6+1开奖结果走势图带连线 股票融资程序 江西十一选五开奖走势 辽宁35选7开奖结果查询 全国 今天 炒股要如何开户 沪市权重股 幸运28走势 安徽快3开奖数据 云南11选五走势图 一分时时彩走势图 河南快三中奖奖金多少 青海11选5全天开奖号