知识笔记

这里放更偏自用检索的材料：学习记录、技术初体验、算法速记和配置备忘。

Llm04 Position Encoding

2026-05-15

Learning LLM Ai Learning

位置编码 # 卷积具有局部性，天然地会注意元素之间的相对位置，但是基于自注意力的transformer模型则对位置不敏感，因此必须要把元素的位置信息在embedding阶段传给元素。比如：

LLM03 Tokenizer

2026-05-09

Learning LLM Learning

为什么要有tokenizer # tokenizer的作用是把文本序列转换成数字序列，即token编号，作为transformer的输入。

LLM02 Transformer

2026-05-08

Learning LLM

transformer # transformer是在这篇attention is all you need中提出来的。

LLM01 Self Attention

2026-05-08

Learning LLM

attention # 注意力机制，最早是在机器翻译论文**Neural Machine Translation by Jointly Learning to Align and Translate**中提出来的，他的核心是，用一个东西产生的query，去key/value中查询需要的东西。在上述论文中encoder-decoder attention的结构中。