超越界限：基于位置编码的长度外推综述
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
在自然语言处理领域，Transformer模型因其卓越的序列建模性能而备受关注。然而，由于其训练时限制了上下文长度，使得它及其基于此的大语言模型都无法有效地处理超过此长度限制的序列，这被称作“有效长度外推”能力的缺失。这导致大型语言模型在处理长文本时表现较差，甚至会出现无法处理的情况。为了解决这个问题，研究者们提出了一系列方法，例如截断式方法、分段式方法和层次式方法等。这些方法旨在通过一些技巧来提高模型的有效长度外推能力，从而使其能够更好地处理超长序列。虽然这些方法在一定程度上缓解了这个问题，但仍需要更多
在自然语言处理领域，Transformer 模型因其卓越的序列建模性能而备受关注。然而，由于其训练时限制了上下文长度，使得它及其基于此的大语言模型都无法有效地处理超过此长度限制的序列，这被称作“有效长度外推”能力的缺失。这导致大型语言模型在处理长文本时表现较差，甚至会出现无法处理的情况。为了解决这个问题，研究者们提出了一系列方法，例如截断式方法、分段式方法和层次式方法等。这些方法旨在通过一些技巧来提高模型的有效长度外推能力，从而使其能够更好地处理超长序列。虽然这些方法在一定程度上缓解了这个问题，但仍需要更多的研究来进一步提高模型的有效长度外推能力，以更好地适应实际应用场景的需求。
文本续写和语言延展是人类语言能力的重要方面之一。在大模型时代，为了将模型的能力有效应用于长序列数据，长度外推成为了一种重要方法。这个问题的研究具有理论和实际的价值，因此相关工作不断涌现。同时，也需要一篇系统性的综述来概览这一领域，不断拓展语言模型的边界。
哈尔滨工业大学的研究者从位置编码的角度出发，系统回顾了Transformer模型在长度外推方面的研究进展。研究者们主要关注可外推的位置编码以及基于这些编码的拓展方法，以增强Transformer模型的长度外推能力。
论文链接：https://arxiv.org/abs/2312.17044
可外推的位置编码
由于 Transformer 模型本身无法捕获序列中每个词的位置信息，因此位置编码成为了一种常见的添加方式。位置编码可以分为绝对位置编码和相对位置编码两种类型。绝对位置编码通过向输入序列中每个单词添加一个位置向量来表示该单词在序列中的绝对位置信息。相对位置编码则是通过对每对不同位置的单词之间的相对距离进行编码。这两种编码方式都可以将序列中的元素顺序信息融入到 Transformer 模型中，提升模型的性能。
鉴于现有研究显示该分类对模型的外推能力至关重要，我们将根据此分类对本节内容进行划分。
绝对位置编码
在原始的 Transformer 论文中，位置编码是通过正弦和余弦函数生成的，这种方法虽然被证明不能很好地外推，但作为 Transformer 的第一个 PE，正弦 APE 对之后的 PE 产生了深远的影响。
为了增强 Transformer 模型的外推能力，研究人员要么通过随机位移将位移不变性融入正弦 APE 中，要么生成随位置平滑变化的位置嵌入并期望模型能够学会推断这一变化函数。基于这些思想的方法展现出比正弦 APE 更强的外推能力，但仍无法达到 RPE 的水平。原因之一是，APE 将不同的位置映射到不同的位置嵌入，外推意味着模型必须推断出不曾见过的位置嵌入。然而，这对于模型来说是一项艰巨的任务。因为在广泛的预训练过程中重复出现的位置嵌入数量有限，特别是在 LLM 的情况下，模型极易对这些位置编码过拟合。
相对位置编码
由于 APE 在长度外推上的表现难以令人满意，而 RPE 天然地由于其位移不变性具备更好的外推能力，并且人们普遍认为上下文中单词的相对顺序更重要。近年来，RPE 已成为编码位置信息的主要方法。
早期的 RPE 来自于对正弦位置编码的简单修改，并常常结合裁剪或分箱策略来避免出现分布外的位置嵌入，这些策略被认为有利于外推。此外，由于 RPE 解耦了位置和位置表示之间的一对一对应关系，因此将偏差项直接添加到注意力公式中成为将位置信息集成到 Transformer 中的一种可行甚至更好的方法。这种方法要简单得多，并且自然地解开了值（value）向量和位置信息的纠缠。然而，尽管这些偏置方法具有很强的外推性，但它们无法表示 RoPE（Rotary Position Embedding，旋转位置编码）中那样复杂的距离函数。因此，尽管 RoPE 的外推性较差，但由于其优异的综合性能，成为近来 LLMs 最主流的的位置编码。论文中介绍的全部可外推 PE 如表 1 所示。
大模型时代的外推方法
为了增强 LLMs 的长度外推能力，研究者们基于现有的位置编码提出了多种方法，主要分为位置插值（Position Interpolation）和随机化位置编码（Randomized Position Encoding）两大类别。
位置插值方法
位置插值方法通过在推理时对位置编码进行缩放，使得原本超出模型训练长度的位置编码在插值后落入已训练位置区间。由于其卓越的外推性能和极低的开销，位置插值方法引起了研究界的广泛兴趣。此外，与其他外推方法不同，位置插值方法已经广泛出现在开源模型中，例如 Code Llama、Qwen-7B 和 Llama2。然而，目前的插值方法仅仅关注 RoPE，如何通过插值使采用其他 PE 的 LLM 具备更好的外推能力仍需探索。
随机化位置编码
简单来说，随机化 PE 只是通过在训练期间引入随机位置来将预训练的上下文窗口与较长的推理长度解耦，从而提高了较长上下文窗口中所有位置的曝光度。值得注意的是，随机化 PE 的思想与位置插值方法有很大不同，前者旨在使模型在训练过程中观察到所有可能的位置，而后者试图在推理过程中对位置进行插值，使它们落入既定的位置范围内。出于同样的原因，位置插值方法大多是即插即用的，而随机化 PE 通常需要进一步微调，这使得位置插值更具吸引力。然而，这两类方法并不互斥，因此可以结合它们来进一步增强模型的外推能力。
挑战与未来方向
评测与基准数据集：在早期研究中，对 Transformer 外推能力的评估来自各下游任务的性能评价指标，如机器翻译的 BLEU；随着 T5、GPT2 等语言模型逐渐统一自然语言处理任务，语言建模所使用的困惑度成为外推的评价指标。然而，最新的研究已经表明困惑度无法揭示下游任务的性能表现，因而亟需专用的基准数据集与评测指标来推动长度外推领域的进一步发展。
理论解释：目前的长度外推相关工作大都是实证性的，尽管有一些解释模型成功外推的初步尝试，但坚实的理论基础仍未建立，究竟有哪些因素影响且如何影响长度外推性能仍然是一个悬而未决的问题。
其他方法：正如本文所述，现有的长度外推工作大多集中在位置编码视角下，但不难理解，长度外推需要系统性设计。位置编码是其中一个关键的组成部分，但绝非唯一的组成部分，更广阔的视野将进一步为这一问题带来激励。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，