diff --git a/深度学习入门/assets/1609467376667.png b/深度学习入门/assets/1609467376667.png new file mode 100644 index 0000000..c4aff19 Binary files /dev/null and b/深度学习入门/assets/1609467376667.png differ diff --git a/深度学习入门/assets/1609469515280.png b/深度学习入门/assets/1609469515280.png new file mode 100644 index 0000000..f559a7b Binary files /dev/null and b/深度学习入门/assets/1609469515280.png differ diff --git a/深度学习入门/assets/1609470667941.png b/深度学习入门/assets/1609470667941.png new file mode 100644 index 0000000..4f30be3 Binary files /dev/null and b/深度学习入门/assets/1609470667941.png differ diff --git a/深度学习入门/assets/1609470919296.png b/深度学习入门/assets/1609470919296.png new file mode 100644 index 0000000..165a978 Binary files /dev/null and b/深度学习入门/assets/1609470919296.png differ diff --git a/深度学习入门/第三章——卷积神经网络.md b/深度学习入门/第三章——卷积神经网络.md index 94d64c6..99885e6 100644 --- a/深度学习入门/第三章——卷积神经网络.md +++ b/深度学习入门/第三章——卷积神经网络.md @@ -172,5 +172,4 @@ CV领域发展: ![1609465201423](assets/1609465201423.png) -> 当然层数越多,可能收益越少,但是保证残差一定是小于等于之前的低层数,也就是结果一定是向好的发展。 - +> 当然层数越多,可能收益越少,但是保证残差一定是小于等于之前的低层数,也就是结果一定是向好的发展。 \ No newline at end of file diff --git a/深度学习入门/第四章——递归神经网络与词向量原理解读.md b/深度学习入门/第四章——递归神经网络与词向量原理解读.md new file mode 100644 index 0000000..b0aaaca --- /dev/null +++ b/深度学习入门/第四章——递归神经网络与词向量原理解读.md @@ -0,0 +1,32 @@ +### 第四章——递归神经网络与词向量原理解读 + +#### RNN网络架构解读 + +常规神经网络并不能考虑时间序列的特征(比如前天+昨天+今天或者带有前后关联的特征),现在每个特征都是独立考虑的,那么如果有这样的特征,网络应该怎么学呢 + +![1609467376667](assets/1609467376667.png) + +> 而递归递归网络hidden这里的转回箭头,表示训练完第一个X后,再拿回来去训练第二个X,即前一次训练的结果对后一次的训练结果产生影响。 + +![1609469515280](assets/1609469515280.png) + +> 类似现在有X0、X1、X2 ... Xt,假设X0就是本月的1号,X1就是2号以此类推,Xt就是昨天,这样是不是就是一个时间序列。 +> +> X输入后有了h,h是中间的结果,每个h保证能联合前一个的h。 + + + +#### LSTM网络 + +RNN的问题在于,每一次的h只考虑前一个,当h到最后的时候,它只考虑n-1的h,这样对吗?或者说越后面的时间的数据一定越重要吗?我们是不是应该考虑每个时间的数据 + +![1609470667941](assets/1609470667941.png) + +- C:控制参数,决定什么样的信息会被保留什么样的会被遗忘。 + +- 门:一种让信息选择式通过的方法 + +- 每次计算的结果和前一轮的结果进行比较,选择要更新的信息 + + ![1609470919296](assets/1609470919296.png) +