Llm04 Position Encoding2026-05-15Learning LLM Ai Learning位置编码 # 卷积具有局部性,天然地会注意元素之间的相对位置,但是基于自注意力的transformer模型则对位置不敏感,因此必须要把元素的位置信息在embedding阶段传给元素。 比如:
LLM03 Tokenizer2026-05-09Learning LLM Learning为什么要有tokenizer # tokenizer的作用是把文本序列转换成数字序列,即token编号,作为transformer的输入。