课程亮点

科普课程共四期，由浅至深地解密人工智能与深度学习。每期课程包含2~3个专题讲座，一周更新一个主题，视频内容简明扼要。帮助用户快速提升在认知与实践上的知识和技能，使其在学习和实战过程中深度挖掘并解决目前部署过程中遇到的难题，感受到AI的无限魅力。

本期课程：

深入探索神经网络 反向传播（一）

前几期中我们分享了神经网络的“两个传播”——前向传播及反向传播，前向传播内容在上一期已讲完，接下来我们跟着净智老师继续学习反向传播的知识。

反向传播（Backpropagation，简称 BP）是目前用来训练人工神经网络（Artificial Neural Network，简称 ANN）算法最常用、最有效的方法。

反向传播最早出现于 20 世纪 70 年代，但直到 Geoffrey Hinton（杰佛里·辛顿）在1986 年发表了论文《Learning Representations by Back-Propagating Errors》后才得到各界重视。

杰佛里·辛顿是一位英国出生的加拿大计算机学家和心理学家，在类神经网络领域贡献颇多，是反向传播算法的发明人之一，也是深度学习的积极推动者，被称为神经网络和深度学习之父。

反向传播得以实现的关键取决于梯度下降算法

要实现反向传播，还需要依赖一类重要的算法——梯度下降算法（Gradient descent），梯度下降极大地加快了学习过程，可以简单理解为：从山顶下山时，挑一条梯度最陡的路最快。

因为我们需要不断计算输出与实际值的偏差来修改参数（相差越多修改的幅度越大），所以我们需要用误差函数（Error function，也称损失函数,loss function）来衡量训练集所有样本最终预测值与实际值的误差大小。

其中 y^i 为预测结果，yi 为实际结果。

这个表达式衡量的是训练集所有样本最终预测值与实际值的误差大小，仅与输出层的预测类别有关，但这个预测值取决于前面几层中的参数。如果我们不想将狗认为是猫，就需要让这个误差函数达到最小值。

梯度下降算法是其中一种使误差函数最小化的算法，也是 ANN 模型训练中常用的优化算法，大部分深度学习模型都是采用梯度下降算法来进行优化训练。给定一组函数参数，梯度下降从一组初始参数值开始，迭代移向一组使损失函数最小化的参数值。这种迭代最小化是使用微积分实现的，在梯度的负方向上采取渐变更改。使用梯度下降的典型例子是线性回归。随着模型迭代，损失函数逐渐收敛到最小值。

由于梯度表达的是函数在某点变化率最大的方向，通过计算偏导数得到，所以使用梯度下降方式，会极大地加快学习进程。

在实际操作中，理论上要先检查最后一层中的权重值和偏移量会如何影响结果。将误差函数 E 求偏导，就能看出权重值和偏移量对误差函数的影响。

可以通过链式求导法则来计算这些偏导数，得出这些参数变化对输出的影响。求导公式如下：

为得到上述表达式中的未知量，将 zi 分别对 wi 和 bi 求偏导：

然后反向计算误差函数关于每一层权重值和偏移量的偏导数，并通过梯度下降法来更新调整后的权重值和偏移量，直到出错的最初层为止。

这个过程就是反向传播算法，又称 BP 算法，它将输出层的误差反向逐层传播，通过计算偏导数来更新网络参数使得误差函数最小化，从而让 ANN 算法得出符合预期的输出。

课程摘要：

01

解密人工智能与深度学习

解密人工智能与深度学习

深度的运作方式

机器学习及学习任务

02

深入探索神经网络

利用前馈神经网络介绍神经网络运作及学习方法

向前传播（一）

向前传播（二）

反向传播（一）

反向传播（二）

03

深度学习让计算机看得见

介绍卷积神经网络结构 (CNN)

深度学习在机器视觉的应用

04

如何给深度学习装上记忆机制

了解循环神经网络

介绍长短时记忆网络 (LSTM)

长短时记忆网络的应用

讲师介绍：

罗净智

高级讲师

马来西亚理科大学硕士

Skymind 高级深度学习工程师

Skymind 深度学习商业培训课程高级讲师

其研究方向为机器视觉及感应器的信号处理，他在机器视觉及传感器领域内开发基于深度学习的应用程式,设计及利用机器视觉技术进行自动化的产品质量检查,曾开发过针对不同商业领域的应用。

惊喜福利

凡有关课程的问题都可以微信后台留言提问或者进群交流，第五期会做专期答疑解惑，小伙伴们好好学习，天天向上！

凡有关于深度学习就业与授课经验的小伙伴可以一起加入我们的讲师队伍，凡参与竞聘皆可送《深度学习基础与实践》一本，并有丰厚报酬等着您（详情可进群咨询工作人员）。

Skymind

想要和更多志同道合的人一同探索深度学习的知识，获得与大牛共同交流AI行业知识的贴心服务，及时获取AI行业最新技术更新吗？

扫描二维码 ｜ 加入我们

这里是墨子沙龙——中国科学技术大学上海研究院于2016年起开始举办的公益科普论坛，致力于专业、权威、有深度的沙龙科普活动，每月一次，邀请国内外知名科学家为大家讲述科学那些事。关注墨子沙龙，我们在这里等你来。

授权或合作请联系微信号MICIUS-SALON或mozi@ustc.edu.cn，转载微信原创文章可直接后台回复“转载”查看转载说明

墨子沙龙是由中国科学技术大学上海研究院主办、上海市浦东新区科学技术协会及中国科大新创校友基金会协办的公益性大型科普论坛。沙龙的科普对象为对科学有浓厚兴趣、热爱科普的普通民众，力图打造具有中学生学力便可以了解当下全球最尖端科学资讯的科普讲坛。

关于“墨子沙龙”