Add. 总结

master
ben.guo 1 year ago
parent 352824cd94
commit 6cb42573bd

@ -229,3 +229,10 @@ tensor(-0.1923, grad_fn=<AddBackward0>)
<img src="../assets/image-20240427183034655.png" alt="image-20240427183034655" style="zoom:50%;" />
### 总结
位置编码使得模型能够理解单词在句子中的位置,从而更好地处理自然语言。无论是通过正弦和余弦函数的固定公式,还是通过可学习的参数,位置编码都为模型提供了理解文本所必需的结构信息。
且个人认为最重要的是在并行化的路上,走的更深了。那些鬼才们为了达到目的可以把每个部分进行拆解选择最优的同时,还能让各个模块联合到一起去达到他们想要的目的。
Loading…
Cancel
Save