深度学习中卷积神经网络的教学探讨

李睿凡1，陈佳洁2，周延泉1，王小捷1，钟义信1

(1．北京邮电大学计算机学院，北京100876；2．河北省霸州市第四小学，河北霸州065700)

摘要：深度学习是智能科学与技术领域的最新突破性进展，卷积神经网络是其中一个代表性工作。文章探讨如何开展卷积神经网络的教学工作，包括教学内容的安排和教学内容之外的考虑两个方面，旨在将智能科学与技术的这一最新成果介绍给学生，使他们能较早接触学科前沿，提升学习兴趣，激发创新动力。同时，也为广大教师提供一些教学的思路和方法。

教育期刊网 http://www.jyqkw.com
关键词 ：智能科学与技术；深度学习；卷积神经网络；教学建议

第一作者简介：李睿凡，男，讲师，研究方向为多模态智能信息处理与深度学习，rfli@bupt．edu．cn。

1 背景

当前，智能科学与技术在国家经济与社会需求中的作用愈发重要。2015年3月2日，百度公司首席执行官李彦宏在两会提案中建议设立“中国大脑”计划；智能家居、智慧城市等早已经渗入普通大众的生活中。从大学教育的角度，智能科学与技术专业是培养“智能”人才的重要基地，智能专业一级学科的设置也迫在眉睫。传统的人工智能专业课程主要包括人工智能导论、模式分析、机器学习、数据挖掘等，其中通常涉及前向神经网络的教学内容。但近些年，深度神经网络的发展使我们从事智能科学与技术一线教学和科研工作的教师面临新的机遇与挑战。特别值得注意的是，深度学习中的卷积神经网络的发展是深度学习中的一个亮点。卷积神经网络在图像识别和语音语言处理等人工智能的众多领域都取得了突破。

2013年，我们提出将深度学习引入智能科学与技术类专业课教学的建议，包括其必要性和可行性以及初步的实施建议。2014年，我们又探讨在本科生和研究生课程中开展深度学习的教学实施方案‘卅。在科研与教学的实践中，我们体会到卷积神经网络是深度学习中非常重要的内容，非常有必要将精彩的卷积神经网络基本内容带入课堂。

2 卷积神经网络背景

2006年之前，人工神经网络的发展大致可以分为两个时期。1943年，McCulloch和Pitts提出了最早的人工神经元，这种神经元具有学习的能力，这是人工神经网络的开端，这一时期沿着单个神经元研究其学习算法。1969年，Minsky和Papert分析了感知器神经网络模型的局限性，这使人工神经网络的研究很快暗淡下来。80年代中期，诺贝尔奖得主John Hopfield提出了Hopfield神经网络模型，这种Recurrent神经网络具有的动态性有可能用于解决复杂的问题。同一时期，多层前向神经网络的反向传播算法(Back-propagation)也被重新发现。这两个工作使人工神经网络得到重生。这时，人工神经网络已经成为人工智能的一个重要组成部分，但随后的研究由于更多层神经网络学习的失效而再次陷入低潮。文献[5]对神经网络的研究给出了全面的总结。

2006年，神经网络领域的大师Geoffrey Hinton教授与其博士生Salakhutdinov博士发表了题为Reducing the Dimensionality of Data with Neural Networks的论文。该文提出一种学习多层神经网络的方法，并将这种具有多层结构学习的方法命名为深度学习(Deep Learning)。以深层神经网络为代表的深度学习登上学术与工业的舞台，其中一个重要因素是Hinton教授提出的逐层预训练神经网络方法治愈了训练多层神经网络的一个致命伤。

2012年，Hinton教授的研究团队参加了斯坦福大学Fei-Fei Li教授等组织的ImageNet ILSVRC大规模图像识别评测任务。该任务包括120万张高分辨率图片，共包含1000个类比。Hinton教授团队使用了多层卷积神经网络结构，取得了突破性进展，将识别错误率从26.2%降低到15.3%。这一比赛结果破除了计算机视觉领域的大师、美国加州大学伯克利分校的Jitendra Malik教授对深度学习大规模实际应用的质疑。同时，它也加速了神经网络深度学习从学术研究跃人工业应用，为神经网络打开了更为广阔的前景。

在最近5年的多个国际顶尖学术会议( AAAI，ICML、NIPS，CVPR，MM)都有涉及深度学习的主题会议或研讨会。工业界也发生了一系列事件。2014年5月，斯坦福大学的Andrew Ng加盟公司并领导深度学习的研究与应用。2014年8月，卷积神经网络的主要发明者Yann LeCun教授加盟Facebook公司。2015年3月16日，马云在德国CeBIT博览会上为嘉宾从淘宝网购买1948年汉诺威纪念邮票，演示了以多层神经网络为核心技术的蚂蚁金服的Smile to Pay扫脸技术。国际知名的互联网公司都参与到深度学习的学术研究和技术应用中。

3 教学内容编排

在文献[4]中，我们已经讨论了关于研究生深度学习课程教学的内容，但对卷积神经网络的内容强调得不够充分。因此，我们建议如果条件容许，可以扩大卷积神经网络教学内容，甚至采用专题教学的形式。同时，我们认为研究生阶段的教学目标主要是使学生掌握基本而深入的知识，从而对感兴趣的领域提出研究建议，并采取合理的方法完成研究内容并撰写研究报告。

基于以上目标，研究生课程（含36学时）主要涵盖3部分内容：机器学习基础、神经网络基础、神经网络研究论文讨论。第一部分的机器学习基础知识部分（6学时）主要让学生从零起点顺利过度到这门课程。教师讲解机器学习的基本目标和方法、线性分类器和支持向量机、主成分分析和线性判别分析。第二部分的神经网络知识部分（8学时）主要包括前向神经网络及后传算法和卷积神经网络、卷积网络结构的卷积层和抽取层、卷积神经网络的理解和可视化。考虑到神经网络的实践性，我们特别安排神经网络的优化和调试内容。第三部分主要是学生阅读讲解和师生互动的论文研讨部分。此部分进一步划分为4个单元，主要包括受限波尔兹曼机及其扩展、自动编码器及其扩展、多模态和计算机视觉的典型应用。

除理论教学环节之外，该课程强调学以致用。因此，我们给出两部分内容：一个是基本实验项目，主要包括基本的分类器的使用，如最近邻分类器、支持向量机分类器等，重点强调卷积神经网络的训练和应用实验；另一个是强调如何将卷积神经网络方法用于解决实际问题。前两部分讲解完成之后，教师提出具体的研究建议，安排2～3名学生形成一个小组，请他们自己提出可能的讲解问题，确定一个研究主题，写出研究建议书，完成研究，写出研究报告，并在课程的最后，分小组汇报研究情况。

4 教学内容之外的考虑

除教学内容之外，还有一些值得考虑的与卷积神经网络相关的问题。我们主要考虑了如下3个方面。

(1)兴趣是最好的老师，对于卷积神经网络的教学也不例外。如何激发学生的兴趣是教师备课时应该考虑的一个问题。笔者的思路是在课堂教学中引入有趣的相关话题。近期的两个事件令人瞩目，可以用来引导学生。其一，2015年3月16日，在德国举办的汉诺威消费电子、信息及通信博览会(CeBIT)上，阿里巴巴集团董事局主席马云先生为嘉宾从淘宝网购买了1948年汉诺威纪念邮票，演示了蚂蚁金服和Face++ Financial的微笑支付(Smile to Pay)扫脸技术，这项技术改变了传统的采用密码认证的购物方式；其二，2015年3月，斯坦福大学人工智能实验室主任Fei-Fei Li,在TED大会上作题为“当今计算机科学家如何教计算机理解图像”的主题报告，她的报告试图传达一个信息：人工智能和计算机视觉的重要前沿进展之一。这两个事件，一个是信息产业界的大事记，另一个是技术思想普及教育的大事记。两者都涉及深度学习中的卷积神经网络，说明卷积神经网络无论在产业应用和科学前沿都吸引了广大的技术实践者和科学探索者。

(2)教学过程是教师与学生沟通以建立共同语言的过程。教师如何使用恰当的生活语言辅助专业技术的交流，能够很好地起到寓教于乐的作用。笔者在上一节已经谈及卷积神经网络的引子事件，对于以上两个事件的描述，可以用时下的网络用语“高富帅”和“白富美”来夸张地形容事件中的两位主角，以学生的语言给出卷积神经网络发展历程上的有趣描述，能够容易建立师生的共同语言。

(3)调动学生的好奇心能有效地让学生进入良好的学习状态，从而产生内在驱动力。通过以两个事件为引子的课堂导人，学生产生兴趣，对于卷积神经网络，可以使用LeNet的神经网络结构图，标注数字和卷积的教育期刊网 http://www.jyqkw.com
关键词 等信息。这样的绘图必然让学生产生好奇心，让他们期望明白其中的含义，也很想搞清楚这样复杂的网络是如何工作并取得竞赛排名第一的结果。另外一个有效的刺激是课程的评分机制，在卷积神经网络的工作中，应当重点对研究报告部分予以侧重。

5 结语

卷积神经网络是深度学习中备受瞩目的研究主题，卷积神经网络更为细致的内容将在进一步的教学工作中实践，也需要更深入的研究。需要注意的是，深度学习还处于发展状态，内容仍然不够成熟，这给教学工作者提出了更高的要求。

教育期刊网 http://www.jyqkw.com
参考文献：

[1]钟义信，传播创新成果，服务社会需求：论核心课程的设计[J]．计算机教育，2014(19): 22-25.

[2]钟义信，高等人工智能：人工智能理论的新阶段[J]计算机教育，2012(9): 6-11.

[3]李睿凡，王小捷，钟义信，引入深度学习的人工智能类课程[J]计算机教育，2013(19): 61-64.

[4]李睿凡，王小捷，钟义信．探索神经网络深度学习的教学[J]计算机教育，2014(19): 77-79.

[5] Haykin S. Neural networks and learning machines[M].New York: Prentice Hall, 2008.

[6] Hinton G,Salakhutdinov R.Reducing the dimensionality ofdata with neural networks [J]. Science, 2006, 5786(313): 504-507.

[7] Krizhevsky A, Sutskever I,Hinton G.lmageNet classification with deep convolutional neural networks[C]. Lake Tahoe: Neural Information Processing Systems (NIPS) Foundation, 2012: 1106-1114.

[8] Bengio Y.Leaming deep architectures for AI[J].Foundations and Trends in Machine Learning, 2009, 2(1):1-127.

[9] Arel I, Rose D C,Karnowski T P.Deep machine Learning:a new frontier in artificial intelligence research[J].IEEE Computational Intelligence Magazine, 2010, 5(4): 13-18.

[10] Dahl G E,Sainath T N, Hinton G E.lmproving deep neural networks for LVCSR using rectified linear units and dropout[C]// 2013 IEEE International conference on acoustic speech and signal processing. Florence: IEEE Signal Processing Society, 2014.

（编辑：孙怡铭）