电商搜索的"两难困境"，ZooClaw.ai是怎么破的？

这项来自ZooClaw.ai研究团队的工作，以预印本形式于2026年6月发表（论文编号：arXiv:2606.27708），对这个方向感兴趣的朋友，可以直接用这个编号去查完整论文。

先想一个场景：你在网购平台上敲下“红色碎花连衣裙”，然后点击搜索。你看到的结果，并不是后台有人工在帮你翻商品目录，而是一套叫做“视觉-语言编码器”的AI系统，在负责把你的文字跟成千上万件商品图片做匹配。这个系统需要同时理解你说的话和衣服的样子，然后在毫秒级内找出最匹配的那一件。听起来并不复杂，但现实中这件事要比你想的棘手得多。

棘手在哪？核心矛盾在于：一个在海量通用互联网数据上训练出来的AI，就像一个见过世面的全才，什么都知道一些，但对于时尚圈的行话和细节，却未必精通。举个例子，“V领”和“圆领”的区别在哪里？“真丝”和“缎面”的质感差异是什么？“修身版型”和“宽松版型”的轮廓又有什么不同？这些细节在时尚检索中是至关重要的，但通用AI往往无法精确区分。

一个直觉上的解决方案是：把这个通用AI拿来，用大量时装数据专门“补课”，让它变成一个时尚领域的专家。事实上，时尚电商领域里已经有先行者这样做了，比如Marqo公司发布的fashionCLIP和fashionSigLIP，确实在时装检索任务上表现优异。然而，补课带来了一个副作用——这个AI在时装检索上变强了，但在其他场景、其他风格的查询上，能力却开始“退步”。这就像一个只专注于某一科目的学生，其ta科目的成绩开始下滑。这就是所谓的“分布外泛化”问题：模型在训练数据范围内很强，但一旦遇到没见过的新数据类型，就力不从心。

对于一个真实的电商系统来说，这个问题是无法回避的。你的用户今天搜“polo衫”，明天可能搜“具有几何图案的弹力黑白裤子”，后天平台可能就要接入一批全新的供应商商品。那么，如何让AI既专业，又不“偏科”？这正是这项研究要解决的核心问题。

ZooClaw.ai的研究人员给出了他们的答案——一个被称为“蒸馏微调”的技术方案，最终产出了一个叫做ZOOCLAW-FASHIONSIGLIP2的模型。这个模型基于谷歌开发的SigLIP2-base架构，通过一套精心设计的训练流程，在保持通用能力的同时，大幅提升了时装检索的精准度。更有意思的是，研究团队还发现，更大的模型、更多的训练数据、更参数节省的训练方式……这些看似合理的直觉判断，在实际实验中全部落败。真正有效的，其实是他们设计的这套“小而精”的组合拳。

一、先搞清楚这个AI是怎么工作的

在深入了解研究方法之前，我们先来搞清楚这个系统的基本工作原理，这样后面会好理解很多。

研究团队使用的基础模型叫SigLIP2-base，这是谷歌开发的一种“视觉-语言编码器”。你可以把它想象成一个翻译官，它的工作是把图片和文字都翻译成同一种语言——一种由数字构成的“坐标语言”。在这套坐标系统里，意思相近的东西，坐标就相近；意思差异大的东西，坐标就相距很远。

当你搜索“黑色皮质斜挎包”，这段文字就会被翻译成一个坐标。与此同时，数据库里每一张商品图片也被翻译成各自的坐标。系统的工作，就是找到坐标最接近的那张图片——那就是最匹配你搜索词的商品。

这类系统通常支持两个方向的检索：一个是“文字找图片”，也就是你输入关键词，系统返回商品图；另一个是“图片找文字”，也就是拿一张图去找到对应的描述文字。研究中两个方向都有考察，但主要关注点在“文字找图片”这个方向，因为这才是电商用户最常用的场景。

SigLIP2相比早期的CLIP模型，有一个重要的改进：它把原来计算损失函数的方式从“softmax”改成了“sigmoid”。用更通俗的话说，早期模型在学习时需要一次性比较一大批样本，就像同时评判一个班所有学生的作文；而SigLIP2可以一对一地独立评判，不依赖大批量样本，训练起来更灵活，还支持多任务同时学习。

二、训练这个AI：一道有三个步骤的“配方”

研究团队的核心方法，可以用一个烹饪的比喻来理解。他们手头有一块“食材”——谷歌预训练好的SigLIP2-base模型，这已经是一道不错的“基础菜”了。他们的目标，是把它改造成一道专为时尚场景定制的“精品菜”，但又不能完全改变原来的“味道”，因为那个“基础味道”——也就是通用理解能力——在遇到新场景时还会用到。

第一步，他们设计了一套“多任务对比训练”。简单来说，AI需要同时学会处理两种截然不同的搜索词风格。第一种是短词搜索，就是用户在搜索框里随手打的那种：平均只有5个词左右，比如“红色缎面鸡尾酒裙”。第二种是长描述搜索，就是那种详细的商品描述，平均40个词左右，比如“一件黑色尼龙材质的宽松版型街头风格羽绒服，正面拉链设计，罗纹袖口，两侧口袋”。这两种风格对AI来说是完全不同的挑战，就像要求同一个翻译官，既能处理简短的口头问题，又能处理详细的书面文档。

在训练过程中，研究团队使用了一种叫“广义对比损失”的学习机制。这个机制的聪明之处在于，它不是简单地把正确答案标记为“对”，把其他所有答案标记为“错”，而是引入了“灰度评分”。每个图文配对都被打了一个0到10分的相关性分数，这样AI在学习时不会把所有“非完美匹配”的样本都视为完全错误的答案。举个例子，你搜索“红色连衣裙”，搜出来的结果里有一件深红色连衣裙，它不是完美答案，但也不是“完全错误”，它应该被稍微惩罚一点，而不是被当作“白色运动鞋”那样完全无关的东西来惩罚。这种方式，让AI的学习更加细腻。

第二步，他们加入了“学而不忘”机制，学名叫“Learning without Forgetting (LwF)”，也就是知识蒸馏。这一步是为了解决“专业化之后忘了通才能力”的问题。做法是这样的：在训练过程中，保留一份原始的SigLIP2-base模型作为“老师”，让正在接受时尚训练的“学生模型”始终不要偏离老师太远。具体来说，对同一张图片，学生模型生成的特征向量（也就是那个坐标）和老师模型生成的坐标之间的距离，被纳入损失计算——也就是说，如果学生偏离老师太多，就会被“惩罚”。这就像一个去学厨艺的学生，在学新菜的同时，每隔一段时间要做一道老师已经会做的经典菜，以防自己把基本功忘光。研究团队发现，把这个惩罚力度设置得强一些（λ=1.0），效果比弱一些（λ=0.5）更好。

第三步，也是整个方案的“点睛之笔”，叫做WISE-FT，也就是“权重插值”。训练结束后，他们手上有两个模型：一个是原始的通用SigLIP2-base，另一个是经过时装数据训练的专业模型。WISE-FT的做法，是把这两个模型的“内部参数”按比例混合。如果把模型的参数想象成一道菜的配料，原始模型是“原味配方”，专业模型是“加辣配方”，那么WISE-FT就是调配一个“介于两者之间的配方”。混合比例用α来表示，α=0就是完全使用原始模型，α=1就是完全使用专业模型，而中间值则代表不同程度的融合。

研究团队系统地测试了α在0到1之间的一系列取值，最终发现α=0.4是一个“甜蜜点”——在这个比例下，模型在时装检索上的能力提升明显，同时在其他不在训练范围内的测试集上的能力也没有显著下滑。

三、训练数据是怎么准备的

有了方法，还需要数据。研究团队从一个叫做Gensmo的商业时装搜索引擎中获取了他们的训练数据。这个搜索引擎索引了数十亿件商品，每件商品都有清洁好的图片和结构化的属性信息，包括标题、品牌、颜色、类目、子类目、面料、风格、场合、适用人群、图案等等。

商品被组织成9个大类（上衣、下装、连衣裙、外套、套装、鞋类、包袋、配饰、内衣），以及超过150个子类。为了让AI在训练时能接触到“难以区分的相似商品”（这在检索中是真实挑战），研究团队进一步把子类与颜色和适用人群交叉组合，形成了1355个细粒度商品组，例如“女款蓝色裹身裙”、“男款黑色皮夹克”、“米色斜挎包”。

训练数据分成三个规模版本：小版本ZC-TRAIN-S含20万条数据，中版本ZC-TRAIN-M含40万条，大版本ZC-TRAIN-L超过80万条。每条数据都包含一张商品图、一条短查询词和一条长查询词，这两种查询词都是用谷歌最新的Gemma-4-31B大语言模型生成的。

短查询词的生成过程是这样的：始终包含商品标题，然后从品牌、颜色、人群、类目等属性中随机抽取1到2个，每个属性有50%的概率被丢弃——这样生成的查询词是“信息不完整但仍能唯一对应目标商品”的，可以模拟真实用户的随手输入。拼凑好属性之后，再交给Gemma-4-31B，把它改写成自然的搜索词，而不是干巴巴的属性罗列。

长查询词的生成则相反：提供完整的所有结构化属性，让Gemma-4-31B写出一段2到3句话的视觉描述，风格要求平实、聚焦属性，不带营销语言，平均长度约40个词。

每个图文配对，还被一个视觉语言模型打了0到10分的相关性分数，用于后续训练中的“软标签”加权。

四、用来评测的三个“考场”

光有训练数据不够，还需要评测标准。研究团队设计了三套测试，分别代表不同的挑战场景。

第一个考场是他们自己建的ZooClaw-Fashion基准测试集。从他们的商品目录中，划分出一个独立的评测分区，包含1.2万张商品图片和2000条查询（其中一半是短查询，一半是长查询），覆盖1355个细粒度商品类别，相关性标注由视觉语言模型完成。这个考场代表的是“自家训练场”，考察模型在本类数据上的表现。

第二个考场是H&M数据集，来自H&M服装公司在Kaggle平台发布的个性化推荐竞赛数据。该数据集包含10.5万张商品图片，涵盖131种商品类型，代表快时尚大众市场的风格，与ZooClaw的精选商品目录风格截然不同。研究团队用同样的属性采样和大语言模型改写流程，为H&M生成了2000条短查询，作为评测使用。这个考场考察的是模型能否适应“风格不同的新商场”。

第三个考场是Fashion200k，这是时尚检索领域最广泛使用的公开基准之一。它包含20万余张商品图片，配有2000条自然语言描述（平均约30个词）作为查询词。Fashion200k的存在，使得ZOOCLAW-FASHIONSIGLIP2的表现可以直接与文献中的其他方法进行对比。

然而，这里有一个重大发现值得特别说明。研究团队发现，Fashion200k原有的“标准答案”（学术上叫qrels）存在严重的偏差。具体来说，Fashion200k的标准答案是这样构建的：先为一张商品图自动生成一段描述文字，再用这段描述文字作为查询词，然后把那张原始商品图标记为“正确答案”。问题在于，数据库里有大量外观相似、同样符合查询描述的商品图片，但这些图片都没有被标记为相关——因为它们不是那个“文字的原始来源图”。

这个问题的严重性在于：如果你恰好是用和Fashion200k一样的数据管道训练的模型，你就会在这个测试上占便宜，因为你的模型更容易“回忆”起那张原始来源图，而不是真正理解查询的语义。用一个类比来说，这就像考语文阅读题时，偏偏押中了原题，而不是真正理解了文章的意思。

为了解决这个问题，研究团队采用了一套叫做“TREC风格池化重评”的方法。TREC是信息检索领域的权威评测框架。具体做法是：把所有参与对比的模型（包括他们自己的模型和所有基准方法）对同一批查询的检索结果汇总到一起，形成一个“候选池”，然后用Gemma-4-31B对每个（查询，图片）对进行独立的1到5分相关性评分，最后根据这些新的相关性评分，重新计算各模型的指标。这一次，任何一张与查询描述相关的图片都会得到肯定，无论它是不是那张“原始来源图”。

重新评测的结果非常有说服力：在原始标准答案下，Marqo-fashionSigLIP的R@10指标比ZOOCLAW-FASHIONSIGLIP2高2.7个百分点；但在池化重评之后，ZOOCLAW-FASHIONSIGLIP2反超，在所有细粒度相关性指标上均领先或持平。这一发现被研究团队总结为论文的重要侧线贡献：他们不仅展示了自己模型的优越性，还揭露并修正了一个被广泛使用的基准测试中存在的系统性偏差。

五、实验结果：什么有效，什么无效

研究团队的主要对比实验结果，可以用几个核心发现来归纳，每一个都揭示了一种直觉判断与现实结果之间的落差。

ZOOCLAW-FASHIONSIGLIP2在三个测试集的所有指标上全部领先。在ZooClaw-Fashion的长查询测试中，R@1（找到第一个就找对了的概率）达到0.449，R@10（前10个结果里有正确答案的概率）达到0.795，均优于Marqo-fashionSigLIP的0.412和0.765，也优于零样本SigLIP2-base的0.322和0.679。在短查询测试中，同样全面领先。在H&M测试中，R@10达到0.136，优于Marqo-fashionSigLIP的0.114和SigLIP2-base的0.120。在Fashion200k的池化重评中，也在所有相关性阈值下领先或持平。

关于全量微调与LoRA的对比，这是一个关于“省力与实效”的经典矛盾。LoRA是一种“节省计算资源”的微调方法，它不修改模型的全部参数，而只在原有参数上附加一个低秩的“小补丁”，训练起来更快、更省内存。研究团队对LoRA进行了大量实验，测试了不同的秩（rank）、不同的正则化强度、不同的适配范围和不同的数据量，但没有任何一个LoRA配置能在所有测试集上同时匹敌全量微调的结果。研究团队认为，这是因为对比学习产生的梯度（可以理解为模型调整自身的“方向信号”）非常强烈，会把模型的嵌入空间向任务特定的方向大幅推动；而LoRA的低秩约束就像给这个调整过程戴上了镣铐，反而让少数几个“主方向”承受了过大的压力，导致泛化能力损失更严重。全量微调则把这种调整分散到所有参数上，能更精细地保留预训练模型原本的结构。

关于模型规模的对比，这是另一个反直觉的发现。研究团队测试了SigLIP2家族从86M参数（SigLIP2-base）到1B参数（SigLIP2-giant）的全部零样本模型，发现ZooClaw-Fashion上的表现确实随规模单调提升，但Fashion200k上的表现反而从base（0.261）略微下降到giant（0.239），H&M在so400m时已经饱和。也就是说，更大的模型对于跨分布的时装检索场景并没有带来持续的好处，甚至可能因为模型把更多容量分配给了预训练数据的分布特征，反而与评测数据的分布产生了更大的偏差。这意味着，想要解决分布外泛化问题，单纯堆砌更多参数是行不通的，需要针对性的分布对齐干预。

关于外部数据的对比，研究团队还测试了加入Marqo公司发布的时装数据集（约73.3万条）作为额外训练数据的效果。结果出乎意料：加入外部数据之后，模型在ZooClaw-Fashion和Fashion200k两个测试集上的表现都下滑了，这在超过8次独立实验中得到了一致验证。研究团队认为，这是因为Marqo数据是为不同的基础模型和不同的训练流程策划的，混合进来之后引入了数据分布上的干扰，反而破坏了模型已经建立起来的较强的分布外泛化能力。简而言之，不是所有“同类数据”加进来都有帮助，数据来源和训练目标的适配性同样重要。

关于WISE-FT权重插值的分析，研究团队绘制了在α从0到1的扫描过程中，ZooClaw-Fashion（代表领域内）和Fashion200k（代表领域外）的R@10分别如何变化。结果显示，ZooClaw-Fashion的表现从α=0急剧上升，到α=0.4时已经快速接近最高点；而Fashion200k的表现在α大约0.3到0.5之间达到峰值，之后随着α继续增大而缓慢回落。两个基准都被“超越”的窗口在α∈[0.3, 0.6]这个范围内，而不是一个孤立的点，这说明这种改善是相对稳健的，不是对某个特定α值的过拟合。

作为对比，研究团队还测试了“贪婪模型汤”的方法。这种方法是在训练过程中不断把能改善综合指标的检查点平均合并，走的是沿训练轨迹的合并路径，不同于WISE-FT沿“原始模型到最终模型”直线方向的插值。实验结果显示，贪婪模型汤确实能在ZooClaw-Fashion上取得更高的领域内表现，但Fashion200k的分数却跌落到SigLIP2-base基线以下，退出了“两个测试都超越基准”的理想区间。WISE-FT的优势恰恰在于它的插值路径更加克制，能在这两个方向上同时保持正向的边际。

关于LLM增强文本编码器的对比，研究团队还测试了LLM2CLIP这个方案，它把Llama-3.1-8B（一个80亿参数的大型语言模型）用作文本编码器，配合SigLIP2-so400m的视觉编码器，整体规模是SigLIP2-base的21倍。然而，这个庞然大物在ZooClaw-Fashion上的表现远不如轻量的SigLIP2-base。研究团队指出，这个对比存在多重混淆因素：LLM2CLIP使用了更低的图像分辨率（224×224对比SigLIP2-base的384×384），这本身就会显著影响图像侧的表现。所以这个实验并不能说明“大语言模型文本编码器不好”，只能说明“这种现成的LLM增强配置不能提供时装检索上的捷径”。

六、基准测试的质量分析：揭示隐藏的评分偏差

这项研究的另一条重要贡献线索，是对Fashion200k基准质量的系统性分析。研究团队不满足于发现这个基准“对我们不利”，而是进一步深入分析了问题的根源和影响程度。

他们用Gemma-4-31B对Fashion200k原有标准答案中的（查询，图片）对进行了评分，发现平均分只有3.35分（满分5分），其中只有37.5%的配对得到了“明显相关”（4到5分），而22%的配对被评为“明显不相关”（1到2分）。换句话说，Fashion200k原始标准答案里，大约五分之一的“正确答案”在客观上其实不太对，而整个数据库里有大量真正相关的图片，却被遗漏在标准答案之外。

为了进行池化重评，研究团队汇聚了12个系统的检索结果，在2000条查询上共形成了102,494个独立的（查询，图片）评分对。在相关性阈值≥3的条件下，有71,214对被认定为相关。这个规模的评分工作量是非常可观的，也正因如此，这套新的评测数据集本身具有很高的价值，研究团队将其以名称 srpone/fashion200k-pooled-eval 开放给社区使用。

为了验证池化重评的方法是“修正偏差”而不是“选择性改变对自己不利的结果”，研究团队对ZooClaw-Fashion和H&M也进行了同样的池化重评，结果显示这两个测试集上的系统排名在原始指标和池化nDCG@10之间完全一致，没有发生任何翻转。只有Fashion200k发生了排名翻转，这与它原始标准答案评分偏低（3.35分，相比ZooClaw-Fashion的4.74分）完全吻合。这套对照验证说明，池化重评方法是公正的，Fashion200k上的翻转是因为原始数据本身存在偏差，而不是评测方法被“调教”成有利于某一方。

归根结底，这项研究告诉我们：在AI系统的评测中，“标准答案”本身的质量同样重要，甚至有时比模型本身更关键。一个带有系统性偏差的评测基准，会导致整个领域的研究走偏——人们以为自己在优化“更准确地理解查询语义”，实际上可能只是在优化“更好地复现特定数据生成流程”。

这项研究最终开放了三套资源：模型权重（srpone/zooclaw-fashionsiglip2）、ZooClaw-Fashion评测基准（srpone/zooclaw-fashion-eval），以及Fashion200k的池化重评数据集（srpone/fashion200k-pooled-eval）。这意味着未来的研究者不需要重新进行这些评测工作，可以直接在这套更公平的标准上进行对比，这对整个时装检索研究领域的健康发展是一个实质性的贡献。

说到底，这项研究做的事情可以用一句话概括：用最简单、最克制的方法，解决了一个被很多人误以为需要“更大、更多、更复杂”才能解决的问题。你不需要一个拥有十亿参数的超大模型，不需要堆砌所有能找到的时装数据，也不需要用复杂的参数高效微调技术来省钱——你需要的是把全量微调、知识蒸馏和权重插值这三件事，按正确的顺序、正确的比例搭配好。这对于研究者的启示是：在追求复杂解决方案之前，先把简单方案的每个细节做到位，往往更有效。对于关注电商搜索体验的普通用户来说，这意味着未来当你在网购平台上搜索一件衣服时，AI返回结果的准确率可能会比以前高出一截，而这种进步，来自一种你几乎不会察觉的、发生在模型内部的精妙调配。

如果你对这项研究的技术细节感兴趣，可以通过arXiv编号2606.27708找到完整论文；如果你想亲自测试这个模型，可以在HuggingFace平台上搜索 srpone/zooclaw-fashionsiglip2 找到开放的模型权重和评测代码。

Q&A

Q1：ZOOCLAW-FASHIONSIGLIP2和普通CLIP模型相比，时装检索效果好多少？

A：在ZooClaw-Fashion基准的长查询测试中，ZOOCLAW-FASHIONSIGLIP2的R@10达到0.795，而通用SigLIP2-base为0.679，Marqo-fashionSigLIP为0.765。在H&M外部数据集上，ZOOCLAW-FASHIONSIGLIP2的R@10为0.136，同样优于其他对比模型。在公平评测条件下的Fashion200k上，它在所有相关性阈值的nDCG@10和MRR@10指标上也全面领先或持平最强基准。

Q2：WISE-FT权重插值具体是怎么操作的？

A：WISE-FT把原始SigLIP2-base模型的参数和经过时装数据训练后的模型参数按比例混合，混合比例用α控制。α=0完全使用原始模型，α=1完全使用训练后模型。研究团队测试了0到1之间的多个取值，发现α=0.4时，模型在时装领域内的性能大幅提升，同时在其他测试集上的通用能力也没有明显下滑，是效果最均衡的操作点。

Q3：Fashion200k的原始标准答案为什么有偏差？

A：Fashion200k的标准答案构建方式是：先给一张商品图生成一段描述，再把这段描述作为查询词，然后把那张原始图标记为唯一正确答案。但数据库里有大量外观相似、语义同样匹配的图片被遗漏在标准答案之外。研究团队用大语言模型对原始（查询，图片）对打分，发现平均分只有3.35分（满分5），约22%的标注对被评为明显不相关，说明这套标准答案存在系统性偏差。