韦德体育,韦德官方网站,韦德网站,bevictor伟德官网,bevictor,韦德体育app,韦德官网入口,韦德网址,韦德体育网址,韦德体育下载,韦德体育app下载,韦德体育客户端,betvictor韦德,韦德体育平台,韦德体育世界杯,韦德体育bevictor,韦德体育注册网址,韦德体育网址最新,韦德体育靠谱吗于是，清华大学讲席教授、上海AI Lab主任/首席科学家周伯文教授的团队对这一问题进行了深入探索，使用傅里叶分析工具解读了使用 RoPE 的 Transformer 模型长文本泛化能力不足的原因之一是 RoPE 带来的周期性延拓受到了频谱破坏的影响。进一步地，该文章提出的傅里叶位置编码（Fourier Position Embedding，FoPE）大幅提升了Transformer的长文本泛化能力。

　　作者们通过观察 RoPE 的公式可以发现，它为 Hidden States 的每一维都指定了单一的频率，并假设这一维度的语义信息按照这个波长影响其他位置的语义。所以，RoPE 周期延拓性的起效前提是 “Hidden States 的每一维只存在单一频率的语义”。如果每一维明明存在不同频率的语义，却仍然按照单一频率的波长来估计这部分语义的传递规律，RoPE 所带来的周期延拓将产生混乱，进而无法实现长文本泛化。

　　FoPE 的核心思想是 “打不过就加入”。考虑到线性层和激活函数可以带来更强的表征能力，时域截断又是受到硬件限制无法改变，FoPE 索性就仍然保留了各层中的频谱损坏，转而提出了对于频谱损坏更加鲁棒的位置编码。鲁棒性的提升主要源于两方面：① 既然每一维中不可避免的混杂其他频率的分量，那就干脆在一开始就把每一维都建模成一个傅里叶级数（Fourier Series）。即使这样的建模不会避免频谱破坏，FoPE 却可以在每一维中解码出更多频率的信息（利用三角函数的正交性）；② 既然极低频的分量周期过长，会导致这些频率分量的周期特性无法被学习到，那就将他们裁剪成频率为 0 的直流分量。考虑到直流分量的良好性质（既可以看作周期无限短，又可以看作周期无限长），这个新加入的频率既保证了周期性，又可以让每个词汇的信息向无限远的词汇传递；