Add. Problems with traditional solutions

pull/2/head
benjas 5 years ago
parent 3f9cf68781
commit e5c4ebb43e

@ -0,0 +1,12 @@
### NLP通用框架BERT原理解读
#### 传统解决方案遇到的问题
传统的RNN网络
![1609724393950](assets/1609724393950.png)
- 训练速度:无法加速训练,并行等
- Self-Attention机制注意力一段话中不是每个词都重要我们只需要关注重要的部分。如下班后我们一起去吃饭吧我听说有家面馆挺好吃的我请客。是不是对于听的人来说主要是“我请客”。
- word2vec训练好词向量就永久不变了不同的语境相同的词相同的向量但这合理吗就想我们在生气的时候说傻子很开心的时候说傻子意思是完全不一样的

Binary file not shown.

After

Width:  |  Height:  |  Size: 43 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 235 KiB

Loading…
Cancel
Save