diff --git a/人人都能看懂的Transformer/第三章——位置编码.md b/人人都能看懂的Transformer/第三章——位置编码.md index e5f353f..65f4a9a 100644 --- a/人人都能看懂的Transformer/第三章——位置编码.md +++ b/人人都能看懂的Transformer/第三章——位置编码.md @@ -32,7 +32,7 @@ GPT-2的位置编码是可学习的参数。这意味着模型在训练过程中 -### Transformer里的原始方法 +### Transformer里的位置编码方法(原文) ~~~python import numpy as np @@ -109,6 +109,10 @@ We chose this function because we hypothesized it would allow the model to easil +### GPT-2的位置编码方法 + + + ### 向量加法 以GPT-2为例(Hugging Face开源的GPT), \ No newline at end of file