重新表达的标题为：字节跳动与华东师大的合作：探索小模型的上下文学习能力
众所周知，大型语言模型（LLM）可以通过上下文学习的方式从少量示例中学习，无需进行模型微调。目前，这种上下文学习现象只能在大型模型中观察到。例如，像GPT-4、Llama等大型模型在许多领域中都表现出了卓越的性能，但由于资源限制或实时性要求较高，许多场景无法使用大型模型那么，常规大小的模型是否具备这种能力呢？为了探索小模型的上下文学习能力，字节和华东师大的研究团队在场景文本识别任务上进行了研究。目前，在实际应用场景中，场景文本识别面临着多种挑战：不同的场景、文字排版、形变、光照变化、字迹模糊、字体多样性等
众所周知，大型语言模型（LLM）可以通过上下文学习的方式从少量示例中学习，无需进行模型微调。目前，这种上下文学习现象只能在大型模型中观察到。例如，像GPT-4、Llama等大型模型在许多领域中都表现出了卓越的性能，但由于资源限制或实时性要求较高，许多场景无法使用大型模型
那么，常规大小的模型是否具备这种能力呢？为了探索小模型的上下文学习能力，字节和华东师大的研究团队在场景文本识别任务上进行了研究。
目前，在实际应用场景中，场景文本识别面临着多种挑战：不同的场景、文字排版、形变、光照变化、字迹模糊、字体多样性等，因此很难训练一个能应对所有场景的统一的文本识别模型。
解决该问题的一个直接方法是收集相应的数据，并在具体场景中微调模型。然而，这个过程需要重新训练模型，计算量很大，并且需要保存多个模型权重以适应不同的场景。如果文本识别模型能够具备上下文学习能力，在面对新场景时，只需要少量标注数据作为提示，就能提升在新场景上的性能，从而解决上述问题。然而，场景文本识别是一个资源敏感型任务，将大模型作为文本识别器会消耗大量资源。通过初步的实验观察，研究人员发现传统的大模型训练方法并不适用于场景文本识别任务
为了解决这个问题，来自字节跳动和华东师大的研究团队提出了自进化文本识别器，E2STR（Ego-Evolving Scene Text Recognizer）。这是一个融合了上下文学习能力的常规大小的文本识别器，能够快速适应不同的文本识别场景，而无需微调
论文链接：https://arxiv.org/pdf/2311.13120.pdf
E2STR 配备了一种上下文训练和上下文推理模式，不仅在常规数据集上达到了 SOTA 的水平，而且可以使用单一模型提升在各个场景中的识别性能，实现对新场景的快速适应，甚至超过了经过微调后专用模型的识别性能。E2STR 证明，常规大小的模型足以在文本识别任务中实现有效的上下文学习能力。
方法
在图1中，展示了E2STR的训练和推理过程
1. 基础文本识别训练
基础文本识别训练阶段采用自回归框架训练视觉编码器和语言解码器，目的为了获取文本识别能力：
2. 上下文训练
上下文训练阶段 E2STR 将根据文中提出的上下文训练范式进行进一步训练。在这一阶段，E2STR 会学习理解不同样本之间的联系，从而从上下文提示中获取推理能力。
如图 2 所示，这篇文章提出 ST 策略，在场景文本数据中进行随机的分割和转换，从而生成一组 "子样本"。子样本在视觉和语言方面都是内在联系的。这些内在联系的样本被拼接成一个序列，模型从这些语义丰富的序列中学习上下文知识，从而获取上下文学习的能力。这一阶段同样采用自回归框架进行训练：
需要进行改写的内容是：3. 上下文推理 改写后的内容：3. 根据上下文进行推理
针对一个测试样本，该框架会从上下文提示池中选择 N 个样本，这些样本在视觉隐空间与测试样本具有最高的相似度。具体来说，这篇文章通过对视觉 token 序列做平均池化，计算出图像 embedding I 。然后，从上下文池中选择图像嵌入与 I 的余弦相似度最高的前 N 个样本，从而形成上下文提示。
将上下文提示和测试样本拼接在一起送入模型后，E2STR会以无需训练的方式从上下文提示中学习新的知识，从而提高测试样本的识别准确率。需要注意的是，上下文提示池只保留视觉编码器输出的令牌，使得上下文提示的选择过程非常高效。此外，由于上下文提示池很小，并且E2STR无需训练即可进行推理，因此额外的计算开销也被降至最低
实验
实验主要从三个方面进行：分别是传统文本识别集、跨域场景识别和困难样本修正
1. 传统数据集
从训练集中随机抽取很少的样本（1000 个，训练集 0.025% 的样本数量）组成上下文提示池，在 12 个常见的场景文本识别测试集中进行的测试，结果如下：
可以发现 E2STR 在识别性能差不多已经饱和的传统数据集上依然有所提升，超越了 SOTA 模型的表现。
需要进行改写的内容是：2. 跨域场景
跨域场景下每个测试集仅提供 100 个域内训练样本，无训练和微调对比结果如下，E2STR 甚至超过了 SOTA 方法的微调结果。
需要进行改写的内容是：3. 修改困难样本
研究人员收集了一批困难样本，对这些样本提供了 10%~20% 的标注，对比 E2STR 的无需训练的上下文学习方法和 SOTA 方法的微调学习方法，结果如下：
相比微调方法，E2STR-ICL显著降低了困难样本的错误率
未来展望
E2STR 证明了使用合适的训练和推理策略，小模型也可以拥有和 LLM 类似的 In-context Learning 的能力。在一些实时性要求比较强的任务中，使用小模型也可以对新场景进行快速的适应。更重要的是，这种使用单一模型来实现对新场景快速适应的方法使得构建统一高效的小模型更近了一步。
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
