跳过正文
  1. Tags/

Learning

2026

Llm04 Position Encoding

位置编码 # 卷积具有局部性,天然地会注意元素之间的相对位置,但是基于自注意力的transformer模型则对位置不敏感,因此必须要把元素的位置信息在embedding阶段传给元素。 比如: