diff --git a/NLP通用框架BERT项目实战/NLP通用框架BERT原理解读.md b/NLP通用框架BERT项目实战/NLP通用框架BERT原理解读.md new file mode 100644 index 0000000..e19bbcc --- /dev/null +++ b/NLP通用框架BERT项目实战/NLP通用框架BERT原理解读.md @@ -0,0 +1,12 @@ +### NLP通用框架BERT原理解读 + +#### 传统解决方案遇到的问题 + +传统的RNN网络 + +![1609724393950](assets/1609724393950.png) + +- 训练速度:无法加速训练,并行等 +- Self-Attention机制(注意力),一段话中,不是每个词都重要,我们只需要关注重要的部分。如:下班后我们一起去吃饭吧,我听说有家面馆挺好吃的,我请客。是不是对于听的人来说主要是“我请客”。 + +- word2vec:训练好词向量就永久不变了,不同的语境相同的词相同的向量,但这合理吗?就想我们在生气的时候说傻子,很开心的时候说傻子,意思是完全不一样的, \ No newline at end of file diff --git a/NLP通用框架BERT项目实战/assets/1609724393950.png b/NLP通用框架BERT项目实战/assets/1609724393950.png new file mode 100644 index 0000000..eca4564 Binary files /dev/null and b/NLP通用框架BERT项目实战/assets/1609724393950.png differ diff --git a/NLP通用框架BERT项目实战/assets/1609725400828.png b/NLP通用框架BERT项目实战/assets/1609725400828.png new file mode 100644 index 0000000..b67af72 Binary files /dev/null and b/NLP通用框架BERT项目实战/assets/1609725400828.png differ