论文部分内容阅读
摘要：本文阐述了以FPGA为视频显示系统的控制核心，辅以OpenMV机器视觉模块实现对图像进行采集、处理，最终实现在HDMI接口显示器上显示。通过FPGA可以进行多种视频处理模式的选择，包括中值滤波、均值滤波、椒盐噪声滤波等多种滤波方式的选择，边沿检测、二值化等多种处理方式选择。系统具有抗干扰性较强、小巧、灵活、低功耗、通用性及可扩展性强等特点，即适合工业领域，又适合家居使用。
关键词：FPGA；OpenMV；视频处理；HDMI
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）29-0248-03
Abstract： In this paper， the video display system based on FPGA is designed， which is supplemented by OpenMV machine vision module capturing and processing video information. Finally， the processed image is displayed on the displayer with HDMI interface. Various video processing modes can be selected by FPGA， including median filtering， mean filtering， salt and pepper noise filtering， edge detection， binarization and others. The system has the characteristics of high anti-interference， compact， flexible， low power consumption， high versatility and extendibility， which is not only suitable for industrial areas， but also for home use.
Key words： FPGA； OpenMV； Video Processing； HDMI
随着社会信息化的快速发展，信息的可视化需求也急剧扩大，而设计一款小巧、便捷、灵活、低功耗、低成本、适应性强的视频采集及处理系统已经引起了人们的注意。而高清晰度多媒体接口HDMI（High-Definition Multimedia interface）作為一种专用数字音视频传输接口，已经在液晶显示器、液晶电视、高清相机等产品中得到广泛应用[1]。本文设计提出的以FPGA作为控制核心的视频采集及显示系统，不仅可以通过OpenMV机器视觉模块对像素、滤波方式等进行灵活多样的设置[4]，而且可以实现HDMI接口芯片控制，以适应不同应用场合的需要。
目前，此类系统多采用ARM、DSP等作为控制核心[2]，而此智能小车以FPGA作为核心控制芯片，其拥有大量逻辑单元和布线资源，可方便地实现各种逻辑功能，并可现场编程。其具有低功耗、并行控制优势，实时反映、快速处理、可靠性高、可扩展性强等优点[3]。
1系统总体设计方案
本系统是由FPGA核心板、视频采集及预处理模块、GPRS远程通信模块组成，HDMI显示器组成，如图1所示。
系统工作原理。 ① FPGA核心板采用Altera的CycloneIV系列 4CE115 FPGA作为控制中心，接收由按键设置的模式信息，经过同步处理、去抖处理后，作为控制模式转换的依据；并将模式信息通过UART接口发送给视频采集及预处理模块。②FPGA接收从视频采集及预处理模块，通过UART接口反馈回来的视频信息，产生HDMI接口芯片控制时序，完成图像在HDMI接口显示器上显示。③视频采集及预处理部分采用OpenMV机器视觉模块，通过Python编程，并根据FPGA控制中心的模式信息，调整像素设置，并完成滤波、边缘检测等处理功能。④GPRS远程控制模块采用SIM900A GPRS模块，实现与手机的信息交互，通过手机，以短信的方式，对系统的工作模式进行远程设置。
系统工作模式。上电后，首先检测是否存在系统运行模式设置，如果有设定则进入相应模式运行。这里，当选择30万像素摄像头时，所拍摄画面的窗口大小可以设置为：640ⅹ480、320ⅹ240等模式之一，通过选择更高像素的摄像头，可以提高窗口大小的设置；选用的滤波方式可设置为：中值滤波、均值滤波、边缘检测等模式，图像显示可设置为彩色原图像、灰度图像、二值化黑白图像、边缘检测、动态目标捕捉后图像五种模式可选。
2视频采集及处理模块
传统的视频采集，通常采用通用摄像头模组，采集图像后，经过白平衡等简单处理后，传送给单片机或其他中央处理单元，完成滤波等处理后，最终在显示器上显示出来。视频处理过程相对烦琐、实现周期长。而OpenMV视频采集及处理单元作为易用、低价的机器视觉开发组件，不仅可以采集视频数据，而且可以通过python编程，调用内置的常用算法函数，方便地实现视频窗口大小设置、滤波及各种检测功能，提高了系统开发效率，缩短了开发周期。
OpenMV模块通过UART端口接收来自FPGA核心控制模块的设置指令，当连续接收两个字节的数据，其中，第一个字节为0xFF，则表示第二个字节为设置指令，最多允许0x00～0x7F，共128种设置，波特率设置为115200bps。典型设置如下所示：
① 画面窗口大小可以设置为：VGA模式（640ⅹ480）、QVGA（320ⅹ240）、QQVGA（160ⅹ120）、QQQVGA（80ⅹ60），通过API函数sensor.set_framesize（ ）实现设置。 ②选用的滤波方式可设置为：Midpoint（中值滤波）、Mean（均值滤波）、Edge（边缘检测）等模式。中值滤波可以通过img.midpoint（）函数实现，均值滤波可以通过img.mean（1）实现，边缘检测可以通过img.erode（）实现。
③图像显示可设置为Color（彩色原图像）、Grey（灰度图像）、Bianry（二值化黑白图像）、Edge（边缘检测后图像）、Difference（移动检测
关键词：FPGA；OpenMV；视频处理；HDMI
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）29-0248-03
Abstract： In this paper， the video display system based on FPGA is designed， which is supplemented by OpenMV machine vision module capturing and processing video information. Finally， the processed image is displayed on the displayer with HDMI interface. Various video processing modes can be selected by FPGA， including median filtering， mean filtering， salt and pepper noise filtering， edge detection， binarization and others. The system has the characteristics of high anti-interference， compact， flexible， low power consumption， high versatility and extendibility， which is not only suitable for industrial areas， but also for home use.
Key words： FPGA； OpenMV； Video Processing； HDMI
随着社会信息化的快速发展，信息的可视化需求也急剧扩大，而设计一款小巧、便捷、灵活、低功耗、低成本、适应性强的视频采集及处理系统已经引起了人们的注意。而高清晰度多媒体接口HDMI（High-Definition Multimedia interface）作為一种专用数字音视频传输接口，已经在液晶显示器、液晶电视、高清相机等产品中得到广泛应用[1]。本文设计提出的以FPGA作为控制核心的视频采集及显示系统，不仅可以通过OpenMV机器视觉模块对像素、滤波方式等进行灵活多样的设置[4]，而且可以实现HDMI接口芯片控制，以适应不同应用场合的需要。
目前，此类系统多采用ARM、DSP等作为控制核心[2]，而此智能小车以FPGA作为核心控制芯片，其拥有大量逻辑单元和布线资源，可方便地实现各种逻辑功能，并可现场编程。其具有低功耗、并行控制优势，实时反映、快速处理、可靠性高、可扩展性强等优点[3]。
1系统总体设计方案
本系统是由FPGA核心板、视频采集及预处理模块、GPRS远程通信模块组成，HDMI显示器组成，如图1所示。
系统工作原理。 ① FPGA核心板采用Altera的CycloneIV系列 4CE115 FPGA作为控制中心，接收由按键设置的模式信息，经过同步处理、去抖处理后，作为控制模式转换的依据；并将模式信息通过UART接口发送给视频采集及预处理模块。②FPGA接收从视频采集及预处理模块，通过UART接口反馈回来的视频信息，产生HDMI接口芯片控制时序，完成图像在HDMI接口显示器上显示。③视频采集及预处理部分采用OpenMV机器视觉模块，通过Python编程，并根据FPGA控制中心的模式信息，调整像素设置，并完成滤波、边缘检测等处理功能。④GPRS远程控制模块采用SIM900A GPRS模块，实现与手机的信息交互，通过手机，以短信的方式，对系统的工作模式进行远程设置。
系统工作模式。上电后，首先检测是否存在系统运行模式设置，如果有设定则进入相应模式运行。这里，当选择30万像素摄像头时，所拍摄画面的窗口大小可以设置为：640ⅹ480、320ⅹ240等模式之一，通过选择更高像素的摄像头，可以提高窗口大小的设置；选用的滤波方式可设置为：中值滤波、均值滤波、边缘检测等模式，图像显示可设置为彩色原图像、灰度图像、二值化黑白图像、边缘检测、动态目标捕捉后图像五种模式可选。
2视频采集及处理模块
传统的视频采集，通常采用通用摄像头模组，采集图像后，经过白平衡等简单处理后，传送给单片机或其他中央处理单元，完成滤波等处理后，最终在显示器上显示出来。视频处理过程相对烦琐、实现周期长。而OpenMV视频采集及处理单元作为易用、低价的机器视觉开发组件，不仅可以采集视频数据，而且可以通过python编程，调用内置的常用算法函数，方便地实现视频窗口大小设置、滤波及各种检测功能，提高了系统开发效率，缩短了开发周期。
OpenMV模块通过UART端口接收来自FPGA核心控制模块的设置指令，当连续接收两个字节的数据，其中，第一个字节为0xFF，则表示第二个字节为设置指令，最多允许0x00～0x7F，共128种设置，波特率设置为115200bps。典型设置如下所示：
① 画面窗口大小可以设置为：VGA模式（640ⅹ480）、QVGA（320ⅹ240）、QQVGA（160ⅹ120）、QQQVGA（80ⅹ60），通过API函数sensor.set_framesize（ ）实现设置。 ②选用的滤波方式可设置为：Midpoint（中值滤波）、Mean（均值滤波）、Edge（边缘检测）等模式。中值滤波可以通过img.midpoint（）函数实现，均值滤波可以通过img.mean（1）实现，边缘检测可以通过img.erode（）实现。
③图像显示可设置为Color（彩色原图像）、Grey（灰度图像）、Bianry（二值化黑白图像）、Edge（边缘检测后图像）、Difference（移动检测