LLM

位置编码 # 卷积具有局部性，天然地会注意元素之间的相对位置，但是基于自注意力的transformer模型则对位置不敏感，因此必须要把元素的位置信息在embedding阶段传给元素。 比如：

为什么要有tokenizer # tokenizer的作用是把文本序列转换成数字序列，即token编号，作为transformer的输入。

transformer # transformer是在这篇attention is all you need中提出来的。

attention # 注意力机制，最早是在机器翻译论文**Neural Machine Translation by Jointly Learning to Align and Translate**中提出来的，他的核心是，用一个东西产生的query，去key/value中查询需要的东西。在上述论文中encoder-decoder attention的结构中。