格灵深瞳发布大规模中文视觉语言预训练数据集:丹青
作者:RiverSoul
时间:2026-08-25
浏览:4
格灵深瞳发布超大规模中文视觉语言预训练数据集“丹青”,包含1亿条2024至2025年公开图文样本,引入精细清洗与评估机制。基于SigLIP2的测试表明,其在零样本分类、跨模态检索及多模态评估中性能突出。构建时采用BERTopic算法,经UMAP降维与HDBSCAN聚类,结合类别加权TF-IDF提取关键词。
本文目录
格灵深瞳最近放出了一个重磅消息:他们正式推出了一个名为“丹青”(DanQing)的超大规模中文视觉-语言预训练数据集。这个数据集的规模有多大?足足1亿条高质量的图文匹配样本,数据采集时间覆盖了2024到2025年的全网公开资源。更关键的是,它引入了一套更精细的数据清洗与质量评估机制。
从实际测试结果来看,“丹青”的表现确实亮眼。基于SigLIP2模型开展的基准测试显示,它在零样本图像分类、跨模态图文检索以及大型多模态模型综合能力评估等多项关键任务中,都展现出了相当突出的性能。

那么,这个数据集是怎么构建出来的?项目团队透露,他们搭建了一套融合BERTopic算法的主题建模pipeline。具体流程是这样的:先从全量数据中随机采样1000万组图像-文本对,然后用Chinese-CLIP-L/14模型提取文本侧的语义嵌入向量。这里有个技术难点——高维空间聚类容易受到噪声干扰,所以团队先通过UMAP做了非线性降维,再用HDBSCAN算法来识别语义密集的簇,并且把最小簇规模设定为1000,这样既能增强聚类的鲁棒性,又能有效抑制离群噪声。最后,基于各个主题内部的词频分布,采用类别加权TF-IDF策略,提取出最具代表性的关键词集合。

作者最新文章
漫蛙漫画app下载安装最新版本
2026-10-13 13:19
漫蛙漫画官网入口链接
2026-10-13 13:19
漫蛙2漫画APP最新版本下载免费安装
2026-10-13 13:17
漫蛙漫画官网正版登录入口
2026-10-13 13:15
Windows安装Docker教程:启用WSL2并运行第一个容器验证
2026-10-08 17:47
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多

































