From 9a96a7717d649f3cd64ad3d3bc8baaac0e9de235 Mon Sep 17 00:00:00 2001 From: SunYan <1405024117@st.nuc.edu.cn> Date: Mon, 21 Jan 2019 16:27:43 +0800 Subject: [PATCH] fix Fixed a description of missing errors --- chapter_introduction/deep-learning-intro.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/chapter_introduction/deep-learning-intro.md b/chapter_introduction/deep-learning-intro.md index fb2a60d2c..f1ae55a8e 100644 --- a/chapter_introduction/deep-learning-intro.md +++ b/chapter_introduction/deep-learning-intro.md @@ -59,7 +59,7 @@ 近年来在统计模型、应用和算法上的进展常被拿来与寒武纪大爆发(历史上物种数量大爆发的一个时期)做比较。但这些进展不仅仅是因为可用资源变多了而让我们得以用新瓶装旧酒。下面的列表仅仅涵盖了近十年来深度学习长足发展的部分原因。 -* 优秀的容量控制方法,如丢弃法,使大型网络的训练不再受制于过拟合(大型神经网络学会记忆大部分训练数据的行为) [3]。这是靠在整个网络中注入噪声而达到的,如训练时随机将权重替换为随机的数字 [4]。 +* 优秀的容量控制方法,如丢弃法,使大型网络的训练不再受制于过拟合(大型神经网络学会记忆大部分训练数据的行为) [3]。正则化方法,这是靠在整个网络中注入噪声而达到的,如训练时随机将权重替换为随机的数字 [4]。 * 注意力机制解决了另一个困扰统计学超过一个世纪的问题:如何在不增加参数的情况下扩展一个系统的记忆容量和复杂度。注意力机制使用了一个可学习的指针结构来构建出一个精妙的解决方法 [5]。也就是说,与其在像机器翻译这样的任务中记忆整个句子,不如记忆指向翻译的中间状态的指针。由于生成译文前不需要再存储整句原文的信息,这样的结构使准确翻译长句变得可能。