北京大学深圳研究生院计算机视觉研究生课程如何入门?

课程编号Course ID：            开课学期Course Time：1819S1         

总学时Total hours：     48         学分Credit：3

课程名称Course Name： 计算机视觉

英文名称English Name：Computer Vision

教学方式Teaching Style：课堂讲授    

考试方式Examination Method：考查

先修要求Prerequisites： 无

主讲教师Lecturer：  张健               

辅助教师Teaching Assistant：无

学科领域Field of study：多媒体信息处理、人工智能、图像处理

大纲执笔人Syllabus author：张健

制定年月Date ：2018年4月

成绩评定方法Grading：

课程作业占35% + 学生项目占30% + 口头报告占35%

大纲内容简介(300汉字以内)：

Brief introduction of the syllabus(300 words at most)：

计算机视觉是一门关于如何运用照相机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛（照相机）和大脑（算法），让计算机能够感知环境。目前计算机视觉已发展成为计算机科学领域最活跃方向之一，也是信息科学和人工智能的重要组成部分，是计算机科学与技术专业的重要核心课程之一。本课程为选修课程，其目的在于为学生建立计算机视觉的基本概念、基本理论和方法、相关技术和应用技术；培养学生有效地运用所学知识和方法解决实际问题的能力。

大纲详细内容(2000汉字以内)：（请按开课单元撰写，注明学时）

Details of the syllabus(2000 words at most)：（according to the units, state the class hours）

1.  第一周 (3学时)

内容:

课程导论与课程计划

目的：

课程整体介绍及安排，通过对计算机视觉的前沿介绍并以讨论的方式找到每位同学的兴趣点，初步确定每位同学本课程项目报告的研究内容。

2.  第二周 (3学时)

内容:

图像表示与滤波

· 光与色彩空间

· 图像滤波

· 频域表示

· 布置作业1：图像滤波与合成等基本操作

目的：

介绍数字图像的基本表示形式以及在空间和频域上的滤波操作，让学生熟悉在Matlab等平台上进行相应的操作。

3.  第三周 (3学时)

内容:

作业1讲解与分析

特征检测与匹配

· 边缘检测

· 兴趣点及角点检测

目的：

了解传统的图像边缘、兴趣点及角点检测的常用方法，熟悉各种检测算子以及其相应的应用。

4.  第四周 (3学时)

内容:

特征检测与匹配

· 局部图像特征

· 特征匹配

布置作业2：局部图像特征提取与匹配

目的：

了解经典的局部图像特征与特征匹配的方法，动手实现各种方法并运用其进行图像检索与拼接等应用。

5.  第五周 (3学时)

内容:

作业2讲解与分析

机器学习回顾

· 有监督学习

· 无监督学习

目的：

学会区分机器学习与计算机视觉的异同，熟悉机器学习中有监督与无监督两类方法的特点，学会将其引申到计算机视觉当中并进一步扩展。

6.  第六周 (3学时)

内容:

图像识别

· 识别综述与词袋

· 大规模实例识别

目的：

掌握用于图像或视频检索的词袋技术（Bag of Features）,能够利用其对图像或视频进行比对。

7.  第七周 (3学时)

内容:

图像识别

· 大规模场景识别及高级特征编码

· 滑动窗检测技术

布置作业3：利用词袋技术进行场景检测

目的：

掌握大规模数据下，利用视频或者图像中提取的特征进行快速有效的特定场景检测。

8.  第八周 (3学时)

内容:

作业3讲解与分析

深度学习

· 神经网络基本部件

· 经典的神经网络结构

布置作业4：基于卷积神经网络进行MNIST数据分类

目的：

掌握深度神经网络的基本部件知识，学会用主流深度学习平台Tensorflow或PyTorch等搭建数字分类、图像分类等神经网络。

9.  第九周 (3学时)

内容:

作业4讲解与分析

深度学习

· 神经网络超参数设定与网络训练

· 神经网络正则化与压缩

布置作业5：基于稀疏正则化对参数进行压缩

目的：

掌握利用梯度下降算法进行参数更新的原理，懂得深度神经网络训练及设定超参数的技巧，了解利用低秩近似、剪枝与稀疏约束、二值化等技术对神经网络进行压缩。

10. 第十周 (3学时)

内容:

作业5讲解与分析

深度学习

· 循环神经网络

· 优化算法驱动下的神经网络设计

布置作业6：利用循环神经网络“写诗”

目的：

掌握能够描述数据之间长期依赖关系的循环神经网络原理，学会搭建能够自己“写诗”的神经网络，了解利用优化算法展开进行具有结构特性的前沿神经网络设计的技术。

11. 第十一周 (3学时)

内容:

作业6讲解与分析

多视点与运动分析

· 成像与光学

· 相机标定

· 立体成像

布置作业7：相机标定与基础矩阵估计

目的：

掌握在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，建立相机成像几何模型的基本原理，能够熟练地从世界坐标系变换到图像坐标系。

12. 第十二周 (3学时)

内容:

作业7讲解与分析

多视点与运动分析

· 光流

· 实时姿态估计

目的：

掌握图像光流的计算方法，学会利用光流去进行实时的物体姿态估计。

13. 第十三周 (3学时)

内容:

前沿论文研习及个人项目汇报（1）

·每位同学针对第一周选定的感兴趣的计算机视觉内容，与老师确认后，选择精读2篇最新论文和泛读6篇论文，并亲自动手实现精读算法，形成该研究内容的完整报告进行汇报。汇报时间20分钟，答疑10分钟。

目的：

一方面，让学生针对感兴趣的内容做一个项目，充分运用和消化所学知识；另一方面，培养和锻炼学生的文献阅读、动手实践以及科研能力，从而能够在项目的基础上，通过调研、讨论、汇报和答疑等流程形成自己的认识与理解，提出自己的创新和想法。

14. 第十四周 (3学时)

内容:

前沿论文研习及个人项目汇报（2）

·每位同学针对第一周选定的感兴趣的计算机视觉内容，与老师确认后，选择精读2篇最新论文和泛读6篇论文，并亲自动手实现精读算法，形成该研究内容的完整报告进行汇报。汇报时间20分钟，答疑10分钟。

目的：

一方面，让学生针对感兴趣的内容做一个项目，充分运用和消化所学知识；另一方面，培养和锻炼学生的文献阅读、动手实践以及科研能力，从而能够在项目的基础上，通过调研、讨论、汇报和答疑等流程形成自己的认识与理解，提出自己的创新和想法。

15. 第十五周 (3学时)

内容:

前沿论文研习及个人项目汇报（3）

·每位同学针对第一周选定的感兴趣的计算机视觉内容，与老师确认后，选择精读2篇最新论文和泛读6篇论文，并亲自动手实现精读算法，形成该研究内容的完整报告进行汇报。汇报时间20分钟，答疑10分钟。

目的：

一方面，让学生针对感兴趣的内容做一个项目，充分运用和消化所学知识；另一方面，培养和锻炼学生的文献阅读、动手实践以及科研能力，从而能够在项目的基础上，通过调研、讨论、汇报和答疑等流程形成自己的认识与理解，提出自己的创新和想法。

16. 第十六周 (3学时)

内容:

个人成果展示

·每位同学将自己最终完成的项目方案形成最终报告并以PPT的形式在课堂上汇报出来（每人10分钟），专家（拟邀请几位学院老师）和班级其他同学作为评委针对其工作量、创新性以及现场表现进行综合打分。

目的：

锻炼学生写作能力、表达能力以及换位思考能力。

教材Text book：无

参考资料 Reading materials：

1. Richard Szeliski. Computer Vision: Algorithms and Applications, Springer, 2010.

2. Ian Goodfellow and Yoshua Bengio and Aaron Courville. Deep Learning, MIT Press, 2016.