利用LLM进行文本嵌入学习实现无需人工标注的跨语言支持，适应数十万下游任务
文本嵌入（wordembedding）是自然语言处理（NLP）领域的基础技术，它能够将文本映射到语义空间，并转化为稠密的矢量表示。这种方法已经被广泛应用于各种NLP任务，包括信息检索（IR）、问答、文本相似度计算和推荐系统等。通过文本嵌入，我们可以更好地理解文本的含义和关系，从而提高NLP任务的效果。在信息检索（IR）领域，第一阶段的检索通常使用文本嵌入进行相似度计算。它通过在大规模语料库中召回一个小的候选文件集，然后进行细粒度的计算。基于嵌入的检索也是检索增强生成（RAG）的重要组成部分。它使得大型语言
文本嵌入（word embedding）是自然语言处理（NLP）领域的基础技术，它能够将文本映射到语义空间，并转化为稠密的矢量表示。这种方法已经被广泛应用于各种NLP任务，包括信息检索（IR）、问答、文本相似度计算和推荐系统等。通过文本嵌入，我们可以更好地理解文本的含义和关系，从而提高NLP任务的效果。
在信息检索（IR）领域，第一阶段的检索通常使用文本嵌入进行相似度计算。它通过在大规模语料库中召回一个小的候选文件集，然后进行细粒度的计算。基于嵌入的检索也是检索增强生成（RAG）的重要组成部分。它使得大型语言模型（LLM）能够访问动态的外部知识，而无需修改模型参数。这样一来，IR系统可以更好地利用文本嵌入和外部知识，提高检索效果。
早期的文本嵌入学习方法如word2vec和GloVe虽然被广泛应用，但它们的静态特性限制了对自然语言中丰富上下文信息的捕捉能力。然而，随着预训练语言模型的兴起，一些新方法如Sentence-BERT和SimCSE通过微调BERT来学习文本嵌入，在自然语言推理（NLI）数据集上取得了显著的进展。这些方法利用BERT的上下文感知能力，能够更好地理解文本的语义和语境，从而提高了文本嵌入的质量和表达能力。通过预训练和微调的结合，这些方法能够从大规模的语料库中学习到更丰富的语义信息，为自然语言处理
为了提高文本嵌入性能和鲁棒性，先进的方法如E5和BGE采用了多阶段训练。它们首先对数十亿个弱监督文本对进行预训练，然后再在几个标注数据集上进行微调。这种策略能够有效地提升文本嵌入的表现。
现有的多阶段方法仍然存在两个缺陷：
1. 构造一个复杂的多阶段训练pipeline，需要大量的工程工作来管理大量的相关性数据对（relevance pairs）。
2. 微调依赖于人工收集的数据集，而这些数据集往往受到任务多样性和语言覆盖范围的限制。
大部分方法使用BERT式编码器，忽略了更好的LLM和相关技术的训练进展。
微软的研究团队最近提出了一种简单而高效的文本嵌入训练方法，以克服之前方法存在的一些缺陷。这种方法不需要复杂的管道设计或人工构建的数据集，而是利用LLM来合成多样化的文本数据。通过这种方法，他们能够为近100种语言的数十万文本嵌入任务生成高质量的文本嵌入，而整个训练过程不到1000步。
论文链接：https://arxiv.org/abs/2401.00368
具体来说，研究人员使用两步提示策略，首先提示LLM头脑风暴候选任务池，然后提示LLM从池中生成给定任务的数据。
为了覆盖不同的应用场景，研究人员为每个任务类型设计了多个提示模板，并将不同模板生成的数据进行联合收割机组合，以提高多样性。
实验结果证明，当「仅对合成数据」进行微调时，Mistral-7B在BEIR和MTEB基准上获得了非常有竞争力的性能；当同时加入合成和标注数据进行微调时，即可实现sota性能。
用大模型提升文本嵌入
1. 合成数据生成
利用GPT-4等最先进的大型语言模型（LLM）来合成数据越来越受到重视，可以增强模型在多任务和多语言上的能力多样性，进而可以训练出更健壮的文本嵌入，在各种下游任务（如语义检索、文本相似度计算、聚类）中都能表现良好。
为了生成多样化的合成数据，研究人员提出了一个简单的分类法，先将嵌入任务分类，然后再对每类任务使用不同的提示模板。
非对称任务（Asymmetric Tasks）
包括查询（query）和文档在语义上相关但彼此不互为改写（paraphrase）的任务。
根据查询和文档的长度，研究人员进一步将非对称任务分为四个子类别：短-长匹配（短查询和长文档，商业搜索引擎中的典型场景），长-短匹配，短-短匹配和长-长匹配。
对于每个子类别，研究人员设计了一个两步提示模板，首先提示LLM头脑风暴的任务列表，然后生成一个具体的例子的任务定义的条件；从GPT-4的输出大多连贯一致，质量很高。
在初步实验中，研究人员还尝试使用单个提示生成任务定义和查询文档对，但数据多样性不如上述的两步方法。
对称任务
主要包括具有相似语义但不同表面形式的查询和文档。
文中研究了两个应用场景：单语种（monolingual）语义文本相似性（STS）和双文本检索，并且为每个场景设计了两个不同的提示模板，根据其特定目标进行定制，由于任务的定义比较简单，所以头脑风暴步骤可以省略。
为了进一步提高提示词的多样性，提高合成数据的多样性，研究人员在每个提示板中加入了几个占位符，在运行时随机采样，例如「{query_length}」代表从集合「{少于5个单词，5-10个单词，至少10个单词}」中采样的。
为了生成多语言数据，研究人员从XLM-R的语言列表中采样「{language}」的值，给予高资源语言更多的权重；任何不符合预定义JSON格式的生成数据都将在解析过程中被丢弃；还会根据精确的字符串匹配删除重复项。
2. 训练
给定一个相关的查询-文档对，先使用原始查询q+来生成一个新的指令q_inst，其中「{task_definition}」是嵌入任务的一句话描述的占位符。
对于生成的合成数据，使用头脑风暴步骤的输出；对于其他数据集，例如MS-MARCO，研究人员手动创建任务定义并将其应用于数据集中的所有查询，不修改文件端的任何指令前缀。
通过这种方式，可以预先构建文档索引，并且可以通过仅更改查询端来自定义要执行的任务。
给定一个预训练的LLM，将一个[EOS]标记附加到查询和文档的末尾，然后馈送到LLM中，通过获取最后一层[EOS]向量来获得查询和文档嵌入。
然后采用标准的InfoNCE loss对批内negatives和hard negatives进行损失计算。
其中ℕ表示所有negatives的集合，
用来计算查询和文档之间的匹配分数，t是一个温度超参数，在实验中固定为0.02
实验结果
合成数据统计
研究人员使用Azure OpenAI服务生成了500k个样本，包含150k条独特指令，其中25%由GPT-3.5-Turbo生成，剩余由GPT-4生成，总共消耗了1.8亿个token。
主要语言是英语，一共覆盖93种语言；对于75种低资源语言，平均每种语言约有1k个样本。
在数据质量方面，研究人员发现GPT-3.5-Turbo的部分输出没有严格遵循提示模板中规定的准则，但尽管如此，总体质量仍然是可以接受的，初步实验也证明了采用这一数据子集的好处。
模型微调和评估
研究人员对预训练Mistral-7B使用上述损失微调1个epoch，遵循RankLLaMA的训练方法，并使用秩为16的LoRA。
为了进一步降低GPU内存需求，采用梯度检查点、混合精度训练和DeepSpeed ZeRO-3等技术。
在训练数据方面，同时使用了生成的合成数据和13个公共数据集，采样后产生了约180万个示例。
为了与之前的一些工作进行公平比较，研究人员还报告了当唯一的标注监督是MS-MARCO篇章排序数据集时的结果，还在MTEB基准上对模型进行了评估。
主要结果
下表中可以看到，文中得到的模型「E5mistral-7B + full data」在MTEB基准测试中获得了最高的平均分，比之前最先进的模型高出2.4分。
在「w/ synthetic data only」设置中，没有使用标注数据进行训练，但性能仍然很有竞争力。
研究人员还对几种商业文本嵌入模型进行了比较，但由于这些模型缺乏透明度和文档，因此无法进行公平的比较。
不过，在BEIR基准上的检索性能对比结果中可以看到，训练得到的模型在很大程度上优于当前的商业模型。
多语言检索
为了评估模型的多语言能力，研究人员在MIRACL数据集上进行了评估，包含18种语言的人工标注查询和相关性判断。
结果显示，该模型在高资源语言上超过了mE5-large，尤其是在英语上，性能表现更出色；不过对于低资源语言来说，该模型与mE5-base相比仍不理想。
研究人员将此归因于Mistral-7B主要在英语数据上进行了预训练，预测多语言模型可以用该方法来弥补这一差距。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。