课程大纲

课程大纲

视觉信息处理与FPGA实现

课程编码:085401M05001H 英文名称:Visual Information Processing and FPGA Implementation 课时:50 学分:3.00 课程属性:专业普及课 主讲教师:李卫军等

教学目的要求
本课程为微电子、自动化、电子工程、信息安全、电子科学与技术、计算机科学与技术等学科研究生的专业普及课。本课程讲授和讨论视觉信息(图像、视频)处理前沿研究领域的新理论、基础方法、FPGA实现技术及其典型应用。主要内容包括图像/视频处理基础算法的原理及其MATLAB、C++实现技术, 点操作、直方图操作、滤波算法、边缘检测等图像处理算法的FPGA编程、仿真与验证技术,以及图像处理应用技术的新进展。通过本课程的学习,要求学生能掌握视觉信息处理的基本概念、理论、方法和技术,了解本领域最新的研究成果和发展动态,培养理论结合实际、解决具体问题的能力和探索新问题的思维方法。

预修课程
线性代数、信号与系统、程序设计、Verilog数字系统设计

大纲内容
第一章 课程概述与基础 2学时
第1节 视觉信息处理概述与基础
第2节 FPGA实现技术概述与基础(面向视觉信息处)
第二章 视觉系统及其感知特性(一) 4学时
第1节 视觉系统介绍
第2节 视觉基本功能
第3节 视觉感知特性
第4节 课堂讨论
第三章 FPGA开发技术基础 2学时
第1节 CPLD/FPGA介绍
第2节 FPGA开发流程及开发软件
第3节 FPGA开发板介绍
第四章 Verilog HDL 基础及FPGA实现 6学时
第1节 Verilog HDL简介
第2节 Verilog HDL语言要素
第3节 Verilog HDL中的表达式
第4节 Testbench设计及Modelsim 基础
第5节 Verilog HDL编程基本技术
第6节 Verilog HDL编码风格
第7节 Verilog HDL编程实例
第8节 有限状态机( FSM)
第9节 流水线(Pipeline)
第10节 non-block ,block等其它知识点
第11节 可综合性设计
第五章 空间域点操作及高级语言实现 4学时
第1节 数字图像基础
第2节 图像几何(仿射)变换
第3节 图像灰度变换
第六章 图像处理算法的FPGA实现 4学时
第1节 FPGA数字图像处理系统介绍
第2节 FPGA数字图像处理设计流程
第3节 FPGA实现技术(映射技术)
第4节 点操作的FPGA实现(例子, RGB To YCbCr444 )
第5节 直方图FPGA实现
第七章 图像滤波及高级语言实现 4学时
第1节 空间滤波原理
第2节 平滑滤波器
第3节 锐化滤波器
第4节 二维离散傅里叶变换
第5节 频率域滤波原理
第6节 频率域滤波器
第八章 图像滤波及图像变换的FPGA实现 4学时
第1节 均值滤波算法的FPGA实现
第2节 中值滤波算法的FPGA实现
第3节 几何变换算法及FPGA实现
第4节 线性变换图像处理算法的FPGA实现
第九章 图像复原及高级语言实现 2学时
第1节 图像退化/复原模型
第2节 噪声模型
第3节 仅有噪声的图像复原
第4节 退化函数估计
第5节 有退化和噪声的图像复原
第十章 图像分割及高级语言实现 2学时
第1节 基于灰度值不连续性的分割
第2节 基于灰度值相似性的分割
第3节 灰度图像形态学操作
第十一章 视觉仿生技术 4学时
第1节 视觉仿生器件
第2节 仿生图像处理
第3节 形象思维计算
第十二章 运动目标检测及高级语言实现 2学时
第1节 相邻帧差法
第2节 平均背景法
第3节 混合高斯模型
第十三章 人脸检测及高级语言实现 2学时
第1节 机器学习基础
第2节 人脸检测
第十四章 边缘检测及人脸识别FPGA实现 1学时
第1节 边缘检测FPGA实现
第2节 人脸识别FPGA实现思路
第十五章 视觉处理中机器学习算法FPGA加速 1学时
第1节 Zynq SoC—视觉处理FPGA
第2节 HLS Introduction, HLS Example
第3节 视觉处理中的机器学习FPGA加速
第十六章 3D视觉感知技术 2学时
第1节 3D视觉概述
第2节 双目立体视觉
第3节 结构光技术
第4节 飞行时间技术
第5节 主动3D视觉系统
第十七章 视觉建模 2学时
第1节 经典方法的视觉建模
第2节 神经网络辅助的视觉建模
第3节 数据驱动的视觉建模
第十八章 考试 2学时
第1节 考试

参考书
1、 FPGA数字图像采集与处理 从理论知识、仿真验证到板级调试的实例精讲 吴厚航 2020年11月 清华大学出版社

课程教师信息
李卫军研究员
主要从事领域 人工神经网络,模式识别与智能系统
主要工作经历:
2014-12~2015-12,美国 University of Rhode Island, 访问学者 2004-07~现在, 中国科学院半导体研究所, 研究员

目前承担的主要科研任务情况:
( 1 ) 仿生人脸识别技术在ATM系统中的应用技术开发, 主持, 企业委托-其他企业委托, 2010-12--2015-11
( 2 ) 农作物种子的品种真实性快速鉴别技术, 主持, 企业委托-其他企业委托, 2012-10--2015-10
( 3 ) 认知计算研究, 主持, 企业委托-大中型企业委托, 2013-10--2018-10
( 4 ) 基于高维形象几何分析的NIR分析技术研究与软件开发, 主持, 国家任务-国家重大科研仪器装备研制开发项目(科技部), 2014-10--2017-09
( 5 ) 基于同源连续性原理的人脸老化建模与识别方法研究, 主持, 国家任务-国家自然科学基金课题(面上项目), 2016-01--2019-12
( 6 ) 基于高维形象几何分析方法的仿生人脸图像处理与识别方法研究, 主持, 国家任务-国家自然科学基金课题(重大研究计划项目)-培育项目, 2010-01--2012-12

主要科研(学术)成果:
(1) 基于KPCA和近红外光谱的鉴别玉米单倍体方法研究, 光谱学与光谱分析, 2017, 通讯作者
(2) 基于嘴巴状态约束的人脸特征点定位算法, 智能系统学报, 2016, 通讯作者
(3) 基于最小平方误差的单倍体和二倍体分类方法研究, 农业机械学报, 2016, 通讯作者
(4) 基于近红外漫反射与漫透射光谱的玉米单倍体鉴别比较研究, 光谱学与光谱分析, 2016, 通讯作者
(5) Identification of Haploid Maize Kernel Using NIR Spectroscopy in Reflectance and Transmittance Modes: A Comparative Study, Spectroscopy and Spectral Analysis, 2016, 通讯作者
(6) 基于机器视觉的玉米单倍体自动分选系统, 农机化研究, 2016, 第 1 作者
(7) 基于仿生学的不相关局部保持鉴别分析, 计算机研究与发展, 2016, 通讯作者
(8) 一种添加历史数据的近红外光谱特征提取方法研究, 光谱学与光谱分析, 2016, 通讯作者
(9) 仿生模式识别技术研究与应用进展, 智能系统学报, 2016, 第 3 作者
(10) 基于嘴巴状态约束的人脸特征点定位算法, 智能系统学报, 2016, 通讯作者
(11) 基于仿生形象思维方法的图像检索算法的改进, 智能系统学报, 2015, 第 3 作者
(12) 光照强度和光阑孔径对近红外漫透射光谱鉴别单倍体玉米影响研究, 红外技术, 2015, 通讯作者
(13) An Image Fog Removal Method based on Human Visual Property, 2015 8th International Congress on Image and Signal Processing, 2015, 通讯作者
(14) 基于DS算法的玉米近红外定性分析光谱校正方法研究, 光谱学与光谱分析, 2014, 第 3 作者
(15) 近红外定性分析模型的稳健性与适应性分析, 光谱学与光谱分析, 2014, 通讯作者
(16) Facial Gender Recognition Based on Local Gabor Binary Pattern and Orthogonal Linear Discriminant Analysis, Journal of Pattern Recognition and Intelligent Systems, 2014, 第 1 作者
(17) A text location method for web images, Advanced Materials Research, 2014, 通讯作者
(18) 一种网页图像文字分割方法, 计算机工程与应用, 2014, 第 3 作者
(19) 一种基于多特征融合的视频目标跟踪方法, 智能系统学报, 2014, 第 4 作者
(20) 基于特征融合的人脸图像性别识别, Facial Image Gender Recognition method based on Feature Fusion, 智能系统学报, 2013, 通讯作者
(21) 基于三高斯滤波的低质指纹图像增强方法, 智能系统学报, 2012, 通讯作者
(22) 一种自适应的仿生图像增强方法: LDRF算法, 智能系统学报, 2012, 通讯作者
(23) 玉米品种近红外光谱鉴别中的参数漂移问题研究, 光谱学与光谱分析, 2012, 通讯作者
(24) 硬限幅多阈值神经元在组合逻辑设计中的应用, 电路与系统, 2011, 第 2 作者
(25) 一种改进的仿生图像处理方法, An improved biomimetic image processing method, LNCS, 2011, 通讯作者
(26) 图像退化过程中的同源连续性研究, Research on the principle of homology-continuity in image degradation, LNCS, 2011, 通讯作者
(27) 基于DPLS特征提取的LDA方法在玉米近红外光谱定性分析中的应用 , 光谱学与光谱分析, 2011, 通讯作者
(28) 基于遗传算法与线性鉴别的近红外光谱玉米品种鉴别研究, 光谱学与光谱分析, 2011, 通讯作者