diff --git a/深度学习入门/assets/1609548160973.png b/深度学习入门/assets/1609548160973.png new file mode 100644 index 0000000..16e5c09 Binary files /dev/null and b/深度学习入门/assets/1609548160973.png differ diff --git a/深度学习入门/assets/1609548501773.png b/深度学习入门/assets/1609548501773.png new file mode 100644 index 0000000..16880be Binary files /dev/null and b/深度学习入门/assets/1609548501773.png differ diff --git a/深度学习入门/assets/1609548578713.png b/深度学习入门/assets/1609548578713.png new file mode 100644 index 0000000..e1af359 Binary files /dev/null and b/深度学习入门/assets/1609548578713.png differ diff --git a/深度学习入门/第四章——递归神经网络与词向量原理解读.md b/深度学习入门/第四章——递归神经网络与词向量原理解读.md index 9e2a4d5..903e09a 100644 --- a/深度学习入门/第四章——递归神经网络与词向量原理解读.md +++ b/深度学习入门/第四章——递归神经网络与词向量原理解读.md @@ -66,3 +66,19 @@ RNN的问题在于,每一次的h只考虑前一个,当h到最后的时候, > 如上图的男人和男孩有相当部分的区域颜色是相似的,只是有的浅了点,有的深了点。同样的地方,对比水,它们之间相差的就非常远,颜色基本没有关联。 + + +#### 训练数据构建 + +输入数据从哪来?首先我们得理解的是,文字单词转换成数值,它并不是仅仅针对该次任务或者该数据的,Thou或者shalt在这里是有这些意思,转成对应的数值,在其它文本其它数据中也是同样的意思,所以只要是符合逻辑的文本,我们都可以拿来训练。目前有Google的预训练bert模型也是这个原理。 + +![1609548160973](assets/1609548160973.png) + +如何训练 + +![1609548501773](assets/1609548501773.png) + +> 我们选中三个单词,以thou shalt 来预测not,也可以不断的往后滑动,如以shalt not来预测make + +![1609548578713](assets/1609548578713.png) +