视觉信息处理与FPGA实现
课程编码：180093085401M3004Y
英文名称：Visual Information Processing and FPGA Implementation
课时：50
学分：2.50
课程属性：专业课
主讲教师：李卫军等
教学目的要求
本课程是为微电子、自动化、电子工程、信息安全、电子科学与技术、计算机科学与技术等学科研究生的专业普及课。本课程讲授和讨论视觉信息（图像、视频）处理前沿研究领域的新理论、基础方法、FPGA实现技术及其典型应用。主要内容包括图像/视频处理基础算法的原理及其MATLAB、C++实现技术， 点操作、直方图操作、滤波算法、边缘检测等图像处理算法的FPGA编程、仿真与验证技术，以及图像处理应用技术的新进展。通过本课程的学习，要求学生能掌握视觉信息处理的基本概念、理论、方法和技术，了解本领域最新的研究成果和发展动态，培养理论结合实际、解决具体问题的能力和探索新问题的思维方法。
预修课程
《线性代数》、《信号与系统》、《程序设计》、《Verilog数字系统设计》
大纲内容
第一章 课程概述与基础 2.0学时
第1节 视觉信息处理概述与基础
第2节 FPGA实现技术概述与基础（面向视觉信息处理）
第二章 视觉系统及其感知特性 2.0学时
第1节 视觉系统介绍
第2节 视觉基本功能
第3节 视觉感知特性
第三章 计算机视觉技术与应用新进展 2.0学时
第1节 视觉感知技术与应用新进展
第2节 视觉认知技术与应用新进展
第四章 FPGA开发技术基础 2.0学时
第1节 CPLD/FPGA介绍
第2节 FPGA开发流程及开发软件
第3节 FPGA开发板介绍
第五章 Verilog HDL基础及FPGA实现 6.0学时
第1节 Verilog HDL简介
第2节 Verilog HDL语言要素
第3节 Verilog HDL中的表达式
第4节 Testbench设计及Modelsim基础
第5节 Verilog HDL编程基本技术
第6节 Verilog HDL编码风格
第7节 Verilog HDL编程实例
第8节 有限状态机(FSM)
第9节 流水线(Pipeline)
第10节 non-block,block等其它知识点
第11节 可综合性设计
第六章 图像空间域点操作及高级语言实现 4.0学时
第1节 数字图像基础
第2节 图像几何（仿射）变换
第3节 图像灰度变换
第七章 图像处理算法的FPGA实现 4.0学时
第1节 FPGA数字图像处理系统介绍
第2节 FPGA数字图像处理设计流程
第3节 FPGA实现技术(映射技术)
第4节 点操作的FPGA实现(例子, RGB To YCbCr444 )
第5节 直方图FPGA实现
第6节 点操作图像处理FPGA编程实践
第八章 视觉仿生技术 4.0学时
第1节 视觉仿生器件
第2节 仿生图像处理
第3节 形象思维计算
第九章 3D视觉感知技术 2.0学时
第1节 3D视觉概述
第2节 双目立体视觉
第3节 结构光技术
第4节 飞行时间技术
第5节 3D感知技术评价
第6节 主动3D视觉系统
第十章 视觉建模 2.0学时
第1节 经典方法的视觉建模
第2节 视觉数据拟合建模
第3节 数据驱动的视觉建模
第十一章 图像滤波及高级语言实现 4.0学时
第1节 空间滤波原理
第2节 平滑滤波器
第3节 锐化滤波器
第4节 二维离散傅里叶变换
第5节 频率域滤波原理
第6节 频率域滤波器
第十二章 图像滤波及图像变换的FPGA实现 4.0学时
第1节 均值滤波算法的FPGA实现
第2节 中值滤波算法的FPGA实现
第3节 几何变换算法及FPGA实现
第4节 线性变换图像处理算法的FPGA实现
第十三章 图像复原及高级语言实现 2.0学时
第1节 图像退化/复原模型
第2节 噪声模型
第3节 仅有噪声的图像复原
第4节 退化函数估计
第5节 有退化和噪声的图像复原
第十四章 图像分割及高级语言实现 2.0学时
第1节 基于灰度值不连续性的分割
第2节 基于灰度值相似性的分割
第3节 灰度图像形态学操作
第十五章 运动目标检测高级语言实现和FPGA实现 2.0学时
第1节 相邻帧差法
第2节 平均背景法
第3节 混合高斯模型
第4节 运动目标检测FPGA实现
第十六章 边缘检测高级语言高级语言实现和FPGA实现 1.0学时
第1节 边缘检测高级语言实现
第2节 边缘检测FPGA实现
第十七章 人脸检测高级语言实现和FPGA实现 2.0学时
第1节 机器学习基础
第2节 人脸检测高级语言实现
第3节 人脸检测FPGA实现
第十八章 视觉处理中机器学习算法FPGA加速 1.0学时
第1节 Zynq SoC—视觉处理FPGA
第2节 HLS Introduction, HLS Example
第3节 视觉处理中的机器学习FPGA加速
第十九章 考试 2.0学时
第1节 考试
参考书
1、
视觉原理
李铭
2012年6月
世界图书出版公司
2、
多维空间仿生信息学入门
王守觉
2008年1月
国防工业出版社
3、
仿生模式识别与多权值神经元
王守觉
2012年12月
国防工业出版社
4、
数字图像处理（第三版）
何东健
2015年2月
西安电子科技大学出版社
5、
Verilog数字系统设计教程（第4版）
夏宇闻
2017年8月
北京航空航天大学出版社
6、
FPGA数字图像采集与处理—从理论知识、仿真验证到板级调试的实例精讲
吴厚航
2020年11月
清华大学出版社
课程教师信息
李卫军，博士，研究员，博士生导师，中国科学院大学岗位教授，中国科学院稳定支持基础研究领域青年团队计划项目核心成员，中国人工智能学会神经网络与计算智能专委会副主任委员，国际高性能大数据及智能系统会议（International Conference on High Performance Big Data and Intelligent Systems, HDIS）指导委员会委员，HDIS2019~2023程序委员会共同主席。主持国家级、省部级及产学研合作项目20余项，发表IEEE TNNLS/TIP /TCSVT/TSPL、NN、Neurocomputing、Information Fusion、PR、ICLR等国际知名期刊、会议学术论文150余篇，出版学术著作2部，授权发明专利30余项，完成科研成果转化10余项。 肖宛昂，博士，研究员，博士生导师。主要研究方向：无线通信芯片、语音信号处理芯片以及机器学习算法的FPGA加速。