Fix: Correct mask expression and image errors

2 weeks ago · 4f00abf62a
parent 9daaa490f6
commit 4f00abf62a
2 changed files with 1 additions and 1 deletions
--- a/assets/image-20240502150743024.png
+++ b/assets/image-20240502150743024.png
--- a/人人都能看懂的Transformer/第五章——多头注意力机制——全流程.md
+++ b/人人都能看懂的Transformer/第五章——多头注意力机制——全流程.md
@ -40,7 +40,7 @@ $$

 这里讲的是生成型任务如语言模型（例如GPT），Mask遮挡的目的是为了防止模型在预测下一个词时“偷看”到未来的信息。这种技术被称为因果遮挡（Causal Masking）或自回归遮挡。在GPT这样的自回归语言模型中，模型被训练为基于之前的词来预测序列中的下一个词。因此，遮挡确保模型在生成当前词时只能使用它之前的词，而不能使用它之后的词，这符合自然语言的生成过程。

-将矩阵的上三角部分（包括对角线）填充为 `-inf`。
+将矩阵的上三角部分填充为 `-inf`。

 <img src="../assets/image-20240502150743024.png" alt="image-20240502150743024" width="550" />