分类
Learning
5 篇文章
Llm04 Position Encoding
位置编码 # 卷积具有局部性，天然地会注意元素之间的相对位置，但是基于自注意力的transformer模型则对位置不敏感，因此必须要把元素的位置信息在embedding阶段传给元素。 比如：
LLM03 Tokenizer
为什么要有tokenizer # tokenizer的作用是把文本序列转换成数字序列，即token编号，作为transformer的输入。
LLM02 Transformer
transformer # transformer是在这篇attention is all you need中提出来的。
LLM01 Self Attention
attention # 注意力机制，最早是在机器翻译论文**Neural Machine Translation by Jointly Learning to Align and Translate**中提出来的，他的核心是，用一个东西产生的query，去key/value中查询需要的东西。在上述论文中encoder-decoder attention的结构中。
Rust学习01-所有权
Trait # trait（特征）是一种定义共享行为的机制，可以理解成其他语言中的接口，相当于是不管你底层是什么数据类型，只要定义了这个trait，就一定要实现这个trait的功能。