位置编码 # 卷积具有局部性,天然地会注意元素之间的相对位置,但是基于自注意力的transformer模型则对位置不敏感,因此必须要把元素的位置信息在embedding阶段传给元素。 比如:
最近刚刚入职了某小厂,作为ai实习生,也是开启了自己的牛马生涯。 公司的第一个任务就是做一个电商客服,我在网络上搜罗了一下可能比较成形的方案,最终决定选择使用fastgpt框架调用qwen api+千牛后台。
前情提要 # 什么是RAFT # RAFT-stereo是基于RAFT的扩展。RAFT即Recurrent All-Pairs Field Transforms,是一个很出名的光流估计模型,他的特点是先建立全局匹配关系,再通过循环迭代不断细化结果,每一步更新都会变得更准,而RAFT-stereo是基于这个模型的双目改造。