https://somnus.top/tags/ai/Recent content in Ai on Somnus的博客Hugo -- gohugo.iozh-cnsomnus0917chen@hotmail.com (Somnus)somnus0917chen@hotmail.com (Somnus)© 2026 SomnusFri, 15 May 2026 22:42:47 +0800https://somnus.top/notes/llm04-position-encoding/Fri, 15 May 2026 22:42:47 +0800somnus0917chen@hotmail.com (Somnus)https://somnus.top/notes/llm04-position-encoding/<h2 class="relative group">位置编码 <div id="位置编码" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e4%bd%8d%e7%bd%ae%e7%bc%96%e7%a0%81" aria-label="锚点">#</a> </span> </h2> <p>卷积具有局部性，天然地会注意元素之间的相对位置，但是基于自注意力的transformer模型则对位置不敏感，因此必须要把元素的位置信息在embedding阶段传给元素。 比如：</p>https://somnus.top/notes/fastgpt%E5%88%9D%E4%BD%93%E9%AA%8C1/Tue, 14 Apr 2026 17:18:43 +0800somnus0917chen@hotmail.com (Somnus)https://somnus.top/notes/fastgpt%E5%88%9D%E4%BD%93%E9%AA%8C1/<blockquote><p>最近刚刚入职了某小厂，作为ai实习生，也是开启了自己的牛马生涯。 公司的第一个任务就是做一个电商客服，我在网络上搜罗了一下可能比较成形的方案，最终决定选择使用fastgpt框架调用qwen api+千牛后台。</p>https://somnus.top/p/raft%E8%AE%AD%E7%BB%83%E6%97%A5%E5%BF%971/Sun, 22 Mar 2026 10:57:32 +0800somnus0917chen@hotmail.com (Somnus)https://somnus.top/p/raft%E8%AE%AD%E7%BB%83%E6%97%A5%E5%BF%971/<h2 class="relative group">前情提要 <div id="前情提要" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e5%89%8d%e6%83%85%e6%8f%90%e8%a6%81" aria-label="锚点">#</a> </span> </h2> <h3 class="relative group">什么是RAFT <div id="什么是raft" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e4%bb%80%e4%b9%88%e6%98%afraft" aria-label="锚点">#</a> </span> </h3> <p>RAFT-stereo是基于RAFT的扩展。RAFT即Recurrent All-Pairs Field Transforms，是一个很出名的光流估计模型，他的特点是先建立全局匹配关系，再通过循环迭代不断细化结果，每一步更新都会变得更准，而RAFT-stereo是基于这个模型的双目改造。 <figure><img class="my-0 rounded-md" loading="lazy" decoding="async" fetchpriority="low" alt="" src="https://somnusblog.oss-cn-shanghai.aliyuncs.com/images/20260322114328149.png" ></figure> </p>