Skip to content

Commit

Permalink
fix Fixed a description of missing errors
Browse files Browse the repository at this point in the history
  • Loading branch information
YiZhiXiaoGuLI committed Jan 21, 2019
1 parent c1be827 commit 9a96a77
Showing 1 changed file with 1 addition and 1 deletion.
2 changes: 1 addition & 1 deletion chapter_introduction/deep-learning-intro.md
Original file line number Diff line number Diff line change
Expand Up @@ -59,7 +59,7 @@

近年来在统计模型、应用和算法上的进展常被拿来与寒武纪大爆发(历史上物种数量大爆发的一个时期)做比较。但这些进展不仅仅是因为可用资源变多了而让我们得以用新瓶装旧酒。下面的列表仅仅涵盖了近十年来深度学习长足发展的部分原因。

* 优秀的容量控制方法,如丢弃法,使大型网络的训练不再受制于过拟合(大型神经网络学会记忆大部分训练数据的行为) [3]。这是靠在整个网络中注入噪声而达到的,如训练时随机将权重替换为随机的数字 [4]
* 优秀的容量控制方法,如丢弃法,使大型网络的训练不再受制于过拟合(大型神经网络学会记忆大部分训练数据的行为) [3]正则化方法,这是靠在整个网络中注入噪声而达到的,如训练时随机将权重替换为随机的数字 [4]

* 注意力机制解决了另一个困扰统计学超过一个世纪的问题:如何在不增加参数的情况下扩展一个系统的记忆容量和复杂度。注意力机制使用了一个可学习的指针结构来构建出一个精妙的解决方法 [5]。也就是说,与其在像机器翻译这样的任务中记忆整个句子,不如记忆指向翻译的中间状态的指针。由于生成译文前不需要再存储整句原文的信息,这样的结构使准确翻译长句变得可能。

Expand Down

0 comments on commit 9a96a77

Please sign in to comment.