Add-Building the training dataset

深度学习入门/第四章——递归神经网络与词向量原理解读.md

@@ -66,3 +66,19 @@ RNN的问题在于，每一次的h只考虑前一个，当h到最后的时候，
 
 > 如上图的男人和男孩有相当部分的区域颜色是相似的，只是有的浅了点，有的深了点。同样的地方，对比水，它们之间相差的就非常远，颜色基本没有关联。
 
+
+
+#### 训练数据构建
+
+输入数据从哪来？首先我们得理解的是，文字单词转换成数值，它并不是仅仅针对该次任务或者该数据的，Thou或者shalt在这里是有这些意思，转成对应的数值，在其它文本其它数据中也是同样的意思，所以只要是符合逻辑的文本，我们都可以拿来训练。目前有Google的预训练bert模型也是这个原理。
+
+![1609548160973](assets/1609548160973.png)
+
+如何训练
+
+![1609548501773](assets/1609548501773.png)
+
+> 我们选中三个单词，以thou shalt 来预测not，也可以不断的往后滑动，如以shalt not来预测make
+
+![1609548578713](assets/1609548578713.png)
+