Fix. 调整表达字眼

master
ben.guo 6 months ago
parent da384435cc
commit a6aef63f4b

@ -104,7 +104,7 @@ torch.Size([1, 4, 768])
<img src="../assets/image-20240426174122893.png" alt="image-20240426174122893" style="zoom:50%;" /> <img src="../assets/image-20240426174122893.png" alt="image-20240426174122893" style="zoom:50%;" />
可以看到最终维度是转成了768列4行。也就对应着4个索引和GPT2的嵌入向量维度768。 可以看到最终维度是转成了768列4行。也就对应着4个索引和GPT2的嵌入向量矩阵的维度768。
注意上面的模型是已经预训练好了我们可以进行微调或从头开始训练那应该怎么做呢这里我们就涉及从0训练Tokenizer和从0训练Model下面我们来演示从0开始训练。 注意上面的模型是已经预训练好了我们可以进行微调或从头开始训练那应该怎么做呢这里我们就涉及从0训练Tokenizer和从0训练Model下面我们来演示从0开始训练。
@ -222,7 +222,7 @@ torch.Size([1, 3, 768])
> 注意每次embedding的值不一定是完全一样的因为每次初始化的权重值都是不一样的这也是深度学习的一大特点。 > 注意每次embedding的值不一定是完全一样的因为每次初始化的权重值都是不一样的这也是深度学习的一大特点。
由于我们训练的tokenizer只有3个词所以可以看到索引是3行embedding的维度还是768我们前面声明了。最终输出的是[1, 3, 768]维度的向量。 由于我们训练的tokenizer只有3个词所以可以看到索引是3行embedding的维度还是768我们前面声明了。最终输出的是[1, 3, 768]维度的向量矩阵
里面又是怎么加工成每个索引的字符对应768个向量呢为了演示我这里将对应参数改成小值`n_embd=10, n_layer=1, n_head=1`只用10维 里面又是怎么加工成每个索引的字符对应768个向量呢为了演示我这里将对应参数改成小值`n_embd=10, n_layer=1, n_head=1`只用10维

Loading…
Cancel
Save