Update. Transformer里的位置编码方法（原文）

1 year ago · 29136ec781
parent 719e43eb7b
commit 29136ec781
1 changed files with 5 additions and 1 deletions
--- a/人人都能看懂的Transformer/第三章——位置编码.md
+++ b/人人都能看懂的Transformer/第三章——位置编码.md
@ -32,7 +32,7 @@ GPT-2的位置编码是可学习的参数。这意味着模型在训练过程中



-### Transformer里的原始方法
+### Transformer里的位置编码方法（原文）

 ~~~python
 import numpy as np
@ -109,6 +109,10 @@ We chose this function because we hypothesized it would allow the model to easil



+### GPT-2的位置编码方法
+
+
+
 ### 向量加法

 以GPT-2为例（Hugging Face开源的GPT），