Add. 增加WHY的内容,提高理解

master
ben.guo 1 year ago
parent db57a5996c
commit 699ea9cb52

BIN
.DS_Store vendored

Binary file not shown.

BIN
assets/.DS_Store vendored

Binary file not shown.

Binary file not shown.

After

Width:  |  Height:  |  Size: 143 KiB

@ -4,6 +4,10 @@
<img src="../assets/image-20240421134206905.png" alt="总体架构图" style="zoom:50%;" />
> WHAT自注意力机制模型顾名思义它能够自己找到不同位置的依赖关系。如在序列的任何位置直接计算出其他位置的依赖关系从而有效捕捉长距离依赖。以及位置编码等关键组成。
>
> WHY相比前一代主流的RNN/LSTM它可以并行化意味着它能够提供非常好的用户体验逐渐能够走向大众视野。能较好处理长距离依赖。效果上也是当时多个任务上的最佳性能。
左半边是编码器Encoder右半边是解码器Decoder
这时候大家可能比较迷糊为什么右边Decoder的部分也有输入因为一般模型只有一个输出和一个输出那是因为生成的过程中模型还需要知道之前生成了哪些内容以决定下一个最适合的输出。且两者都同时作用于训练和推理阶段。
@ -36,11 +40,11 @@
### 解码器Decoder概述
> 由于现在GPT是最主流的方向所以后续主要讲decoderencoder的架构也跟decoder差不多理解了decoder也就理解了encoder
> WHY由于现在GPT是最主流的方向所以后续主要讲decoderencoder的架构也跟decoder差不多理解了decoder也就理解了encoder
![汉化decoder](../assets/image-20240421161038387.png)
<img src="../assets/image-20240421161038387.png" alt="汉化decoder" style="zoom:50%;" />
通过上面的英文转中文,大家应该也能理解大致意思,也就是文字会向量化 加上 位置信息编码,输入到多头注意力机制里,去学习语义关系,通过数值缩放再到神经网络层。数值缩放后被线性映射,最后输出成百分比概率。
@ -52,7 +56,11 @@
### 文字向量化 & 位置编码
![文字向量化](../assets/image-20240421205946626.png)
> WHY机器无法理解文字机器底层只能识别数值所以文字需要转换成数值。而由于自注意力机制不具有处理序列顺序的能力位置编码被用来保留单词的顺序信息。
>
> HOW文字的向量化有很多种方法我们后面再详解。
<img src="../assets/image-20240421205946626.png" alt="文字向量化" style="zoom: 50%;" />
> 这里用英文的输入,引文英文输入使用代码更容易理解
@ -64,9 +72,21 @@
### 语义关系学习(多头注意力)
![语义关系学习](/Users/xueweiguo/Desktop/GitHub/AiLearning-Theory-Applying/assets/image-20240421212923027.png)
> WHY捕捉多种语义关系提高模型的表达能力。如LLM是大模型的缩写同时也是法学硕士的缩写。亦或者冬天里的能穿多少穿多少跟夏天里的能穿多少穿多少。
<img src="/Users/xueweiguo/Desktop/GitHub/AiLearning-Theory-Applying/assets/image-20240421212923027.png" alt="语义关系学习" style="zoom:50%;" />
向量传入后通过语义关系学习一系列计算得出一个矩阵维度是4 × 4的矩阵。矩阵里的每个值都是数字数字代表了文字对应其它文字的语义关系越高表示与其它文字的关系越近越小则表示越疏远。
> 实际上是通过三个不同的线性变换生产Q、K和V向量实际是3条线为了简化前面用1条线表达每一份对应一个头如GPT是12头则是向量 × 4 × 3 × 12 份数据。另外需要注意的是每个子模块都会叠加N次如GPT-3就据说叠加了175层。即最终是向量 × 4 × 3 × 12 × 175。当然我们这里只用向量 × 4 × 1 × 1 × 1 即 向量 × 4 × 3 1头1个子模块以方便大家理解。
### 数值缩放
> WHY前面我们讲到矩阵里的数字越大表示
将语义关系学习里输出的矩阵,加上残差(输入语义关系学习)前的向量,再进行值的统一缩放,大部分情况下是缩放到[-1,1]区间()。
<img src="../assets/image-20240423093444733.png" alt="数值缩放" style="zoom:50%;" />

Loading…
Cancel
Save