里面包含着我们输入的文字,如果是3个,就会有3个字的列表(1万个字就是1万个字的列表),每个字都有一个概率。预测下一个字,就是找出3个字里概率最高的。当然训练过程肯定不止3个字,如GPT就有xxx个字,那么"LLM with me"的下一个词的概率,一般展示如下:
> 机器人对话场景(如GPT)
如果训练阶段我们的总文本词汇是3个。预测阶段输入"LLM with me",那么对于"LLM with me"中的每个标记,线性层将输出一个长度为3的向量。如果训练阶段的总文本词汇是10,000个,那么输出的则是10,000的向量(可以理解为概率)。预测下一个字,就是找出向量矩阵中概率最高的对应的文字。如"LLM with me"的下一个词的概率,一般展示如下: