加州大学河滨分校等机构揭秘AI如何"读懂"星系照片

先说一个核心判断：星系图像的爆炸式增长，正让天文学家们陷入一个甜蜜的烦恼。以DESI、欧几里得和LSST为首的新一代巡天项目，每天产出的影像数据量，早已不是人工逐张翻看能够应对的。于是，“基础模型”这类AI技术被请上台面，它们能从海量数据中自动学习规律，帮科学家提炼信息。这本来是好事，但一个往往被忽视的环节——分词器，正在悄悄左右最终效果。

分词器干的事，可以这么理解：你想让一位只懂文字的人分析一幅画，必须先把它“翻译”成文字。翻译的水平——是粗略勾勒轮廓，还是细描每一笔颜色——直接决定了分析结果的深度。分词器就是做这个“翻译”的，把星系图像转换成AI能处理的数字序列。问题在于，不同的翻译方式，会不会让AI对星系的理解——比如距离、质量、恒星形成速度——产生天壤之别？这看似是个技术细节，实则触及了AI天文学的根基：我们究竟是在训练一个“理解宇宙”的AI，还是只是训练了一个“复述图片”的AI？

一、四种“翻译官”的各自性格

为了验证这个想法，研究团队从DESI遗产巡天项目DR8数据集中，精心挑选了64万张星系图像作为实验材料。每张图像都包含g、r、z三个波段的信息，分辨率统一为256×256像素。他们把这些图像灌入同一个名为AstroPT的AI骨架里——这是一个专为天文数据设计的解码器式变换器模型，拥有8900万个参数，共12层，能像GPT那样自回归地“阅读”数据序列。然后，分别给这个骨架配备四种不同的分词器，看看同一个架构在不同翻译方式下会学到什么。

第一种：仿射分词器。最朴素的“直译员”。它把每张图像切成8×8像素的小方块，一共1024块，然后用一个简单的线性数学变换，把每个小方块变成AI能读的数字向量。没有花哨处理，没有额外计算，所有理解工作都交给骨架。优点是简单、快速、成本低，是实验的基准参照。

第二种：AIM分词器。思路相近，也是切方块，但翻译时用了多层感知机——一种能捕捉非线性关系的神经网络。相当于这位翻译员多了一点“理解能力”，能感知到方块内部像素的复杂关系。值得一提的是，仿射和AIM这两种方法都对每个小方块做了z-score标准化，把像素值调整到均值为零、方差为一的标准范围。这有助于训练稳定，但也会让重建出的图像有一种明显的“方格感”。

第三种：JetFormer分词器。灵感来自一篇研究图像自回归生成的论文，采用了一种叫“归一化流”的可逆数学变换。可以把这位翻译员理解为极其严谨——翻译完全可逆，拿到译稿就能完整还原原文，一个字都不丢。图像先经过均匀去量化处理，再通过一个二维流模块变成潜在表示。由于整个过程可逆，编码器和解码器是同一个模块，不需要单独预训练，而是从头到尾与AI骨架一起训练。JetFormer用混合高斯分布来预测每个连续值的概率，而非像离散分词器那样从一个固定词汇表里选词。值得一提的是，它训练时需要一个特殊的“噪声课程表”——RGB噪声从σ=64逐渐降为零，潜在空间噪声也从0.3降至零。没有这个课程表，流模型可能会把信息偷偷藏在人类感知不到的高频维度里，导致训练崩溃。

第四种：VQ-VAE分词器。可以把它比作一位习惯用“图章盖戳”来分类的翻译员。它先用一个编码器网络把图像压缩成连续的潜在向量，然后强制把每个向量“量化”到一个由512个固定代码组成的词典中的最近邻。换句话说，这位翻译员只认512个固定词汇，无论原始图像多复杂，最终都要归到某个词汇上。VQ-VAE在正式训练AstroPT骨架之前，已经单独在星系图像上预训练并冻结了词典。训练时用交叉熵损失来预测下一个离散词元。这种“预先学好词典再冻结”的设计，让它与其他三种分词器在训练流程上存在本质差异——这一点，研究团队也坦诚地承认了：这四种比较并非完全等价的对照实验，而是各自按照文献最佳实践来做的“最公平的竞争”。

二、谁的重建效果最好？答案出人意料地简单

判断一个翻译官好不好，最直接的标准是：拿到译稿后，能还原出多像原文的内容？研究团队用两个指标量化：SSIM（结构相似性，越接近1越好）和PSNR（峰值信噪比，越高越清晰）。

JetFormer在图像重建上以绝对优势胜出。在5000张随机测试图像上，它的平均PSNR达到31.11分贝，SSIM均值为0.762。这意味着它还原出的星系图像，保留了旋臂的细节、星系核心的亮度结构，以及弥散的低表面亮度背景光——这些细节对天文学家研究星系结构至关重要。

相比之下，VQ-VAE的重建质量就差了不少：PSNR均值只有23.57分贝，SSIM仅为0.544。虽然大致轮廓还在，但仔细观察会发现，明亮核心周围出现了模糊的“云雾状”伪影，甚至出现了原图中并不存在的细小红色结构，低表面亮度的弥散外围也大量丢失。这并不难理解：只有512个词汇的词典，显然无法精确描述真实宇宙图像中千变万化的细节。

仿射和AIM两种方法因为对每个图像方块做了z-score标准化，重建出的图像会有肉眼可见的“方格感”——整张图像被分成一个个8×8的小格，每个小格内部亮度被独立标准化，导致相邻方块之间出现明显边界。这并非质量低劣，而是标准化处理的必然代价。

三、谁最懂星系的“身份证”？数字背后的物理意义

重建清晰固然重要，但对天文学家来说，更关键的问题是：AI学到的“知识”有多少物理意义？换句话说，通过AI提取的数字特征，能不能准确推断出星系真实的物理属性？

研究团队从每个AstroPT模型的中间层提取特征向量，然后分别训练线性探针和MLP探针来回归13个物理属性。这13个属性覆盖了天文学中最常见的星系描述维度：光度量、颜色指数、光度红移和光谱红移、比恒星形成率、恒星质量，以及五个形态指标。评估指标是决定系数R²，数值从0到1，越接近1预测越准确。测试集包含16.7万个星系，用10折交叉验证保证结果可靠。

结果揭示出一幅引人深思的图景。VQ-VAE在几乎所有属性的线性和MLP探针上都名列前茅。以g-r颜色为例，VQ-VAE的线性探针R²达到了82，而仿射和AIM只有71，JetFormer为74。对于光谱红移这个天文学中极为重要的距离指标，VQ-VAE线性探针达到85，仿射和AIM为77，JetFormer为80。更耐人寻味的是，VQ-VAE的线性探针分数在大多数属性上甚至超过了MLP探针——这意味着512个词汇的硬量化不只是在压缩信息，而是在重新组织信息的方式，让物理属性以一种极为“整齐”的方式排列在特征空间中，以至于一个简单的直线就能把它们找出来。

JetFormer在颜色、红移、恒星质量和恒星形成率等“光谱相关”属性上稳定超越仿射和AIM，但在形态指标上却输给了AIM。仿射和AIM在几乎所有属性上得分相差无几——这个发现颇具意味：耗费更多计算资源的MLP头并没有比简单的线性变换为AI带来实质性的知识增益，骨架本身的表达能力已经足够强大，翻译环节的复杂度对最终结果影响有限。

关于g-r颜色比r-z颜色更容易预测这一现象，研究团队给出了物理解释：g-r颜色在样本所覆盖的红移范围内动态变化范围更大，且与年轻恒星的辐射紧密相关，因此作为回归目标更“容易区分”。r-z颜色更多反映老年恒星星族，与恒星总质量相关，属性更稳定，但也因此区分度较低。g-r对尘埃遮蔽更敏感，这解释了为什么sSFR比M*更难预测，也解释了为什么MLP探针在sSFR上比线性探针改进幅度更大——尘埃、年龄与颜色之间的非线性纠缠，需要更强的模型才能解开。

研究团队还做了一个“分组探针”实验，把13个属性归为几个大类，分别考察每种分词器把多少“注意力”分配给了哪类属性。JetFormer把更多的特征空间用于直接可见的图像属性——表观光度和结构参数的分组探针R²分别达到0.33和0.29，而VQ-VAE只有0.19和0.16。相反，VQ-VAE把更多空间留给了需要“抽象推理”的高层属性，比如红移和绝对光度。这说明VQ-VAE的词典机制在某种程度上引导AI骨架跳过了像素层面的直觉，直接去学习更深层的物理规律。

四、两个极端之间的“信息悖论”

到这里，一个矛盾浮出水面：JetFormer重建最好，却在物理属性预测上相对弱势；VQ-VAE重建最差，却在物理属性预测上最强。这个反差并非偶然，研究团队通过一个巧妙的实验揭示了背后的机制。

他们从18万张测试和验证星系图像出发，分别提取JetFormer重建图像、VQ-VAE重建图像，以及原始图像的ResNet-50特征——这是一个在ImageNet上预训练的通用视觉网络——然后用相同的线性和MLP探针来预测物理属性。这相当于绕过了分词器生成的内部特征，直接问：从重建出来的像素里，还能找回多少原始物理信息？

JetFormer重建图像的探针分数几乎和原始图像持平——每个光度属性的误差都在波动范围内，形态属性最多差4个R²点。这证明JetFormer的可逆流确实把原始图像里的全部信息都“带过来了”，只是这些信息以一种线性探针难以直接提取的方式散布在潜在空间里。VQ-VAE重建图像的探针分数则系统性地低于原始图像，在形态、sSFR和绝对光度上的损失尤为明显，而颜色指数的损失相对较小。这证明VQ-VAE的词典量化是一个不可逆的操作——它把细节真正丢掉了，不是藏起来了，是消失了。

换句话说，JetFormer是一个完美的“保险箱”：所有信息都在，但钥匙很难找。VQ-VAE则是一个严格的“筛选器”：它主动丢弃了大量细节，但正是这种丢弃让剩下的信息按照物理意义重新排列，变得更容易提取。

五、四份“星系档案”长什么样？

研究团队还通过PCA主成分分析和UMAP流形学习两种降维可视化方法，检验了四种分词器生成的特征空间结构，相当于给特征空间画了一张“地图”，用不同颜色标注了每个星系的物理属性。

在PCA投影下，仿射和AIM的特征空间呈现出开放的马蹄形弧线，整体沿着一个主方向展开，类似单一维度的渐变色带；JetFormer形成更拉伸的月牙形；VQ-VAE则形成一个密集的填充椭圆。在UMAP投影下，仿射和AIM破碎成大量分散的小岛，而JetFormer和VQ-VAE保持了单一连通的流形结构。值得注意的是，无论是哪种投影方式、哪种分词器，物理属性的渐变梯度都清晰可见——g-r颜色和光度红移之间的相关性在所有方法中都表现出连贯的颜色过渡，这一现象反映了星系光谱随距离变化而导致颜色系统性偏移的真实物理规律。特征空间还沿着另一个方向编码了形态和光度信息：平滑的早型星系倾向于占据较亮的区域，与旋涡星系分居两侧——这与天文学中著名的星系形态-星等关系完全吻合，完全来自图像本身而无需任何人工标注。

仿射和AIM的特征空间在两种投影下都高度相似，再次印证了在强大的AstroPT骨架面前，额外的MLP翻译层并未带来本质不同的特征组织方式。

六、成本账单：时间与能源的天平

研究团队也诚实地记录了四种方案的训练成本。仿射和AIM各用一块NVIDIA H100显卡训练了3小时，能耗约2.1千瓦时。JetFormer需要两块H100并行训练8小时，能耗约11.2千瓦时，是前者的五倍以上。VQ-VAE则在一块NVIDIA Quadro GV100上训练了20小时，能耗约5.2千瓦时。用能耗来比较更公平：仿射和AIM最省钱，JetFormer最贵，VQ-VAE居中。研究团队计划在论文去匿名化后公开所有预训练代码和模型权重，以避免他人重复训练带来的额外碳排放。

研究的边界与未来的路

研究团队对自己工作的局限性保持了坦诚。首先，探针方法只能检测“能被线性或非线性函数直接提取的信息”，不能排除某些信息确实存在但探针功能不够强大的可能性。其次，VQ-VAE的预训练流程与其他方法不同，其在物理属性预测上的优势可能部分归因于预训练编码器的质量，而非仅仅是量化机制本身的功劳。第三，这项研究没有探索数据集规模或模型参数量变化时各分词器性能的变化趋势，也没有测试跨仪器或跨波段数据的泛化能力。

这些局限也指向了未来的研究方向：构建一个更系统的“分词器基准”，基于可验证的天文物理真值来评估各种图像分词策略，不仅面向星系图像，也面向光谱、时序、多模态等更广泛的天文数据形式。

归根结底，这项研究想说的是：在训练天文AI的时候，我们不能只看模型能不能把图像画得漂亮，更要看它是不是真的“理解”了图像背后的物理。这两件事不是一回事，而分词器的选择，正是决定AI走向哪个方向的第一道关口。对于计划构建多模态天文基础模型的研究者而言，一个关键的实际建议浮现出来：如果目标是光度测量和光谱推断，VQ-VAE的压缩表示可能更有用；如果目标是图像重建或生成，JetFormer是更可靠的选择；如果计算资源有限且任务偏向形态分析，仿射分词器以最低的成本提供了与AIM相当的性能。没有一个分词器能在所有任务上都胜出——这本身就是一个值得所有AI工程师记住的结论。

Q&A

Q1：VQ-VAE分词器为什么预测星系物理属性比JetFormer更准确，但重建图像质量却更差？

A：VQ-VAE通过一个只有512个固定代码的词典来压缩图像，这种硬量化会丢弃大量像素细节，导致重建出的图像出现模糊和伪影。但正是这种“强迫归类”的机制让剩下的信息按照物理意义重新排列，使恒星质量、红移等属性在特征空间中变得高度可区分，因此预测准确率反而更高。JetFormer通过可逆变换保留了所有原始像素信息，重建质量最高，但这些信息在潜在空间中散布得较为杂乱，探针很难从中直接提取单个物理属性。

Q2：仿射分词器和AIM分词器预测效果几乎一样，那AIM分词器的MLP有什么意义？

A：从这项实验结果来看，在AstroPT这个足够强大的骨架下，AIM分词器额外引入的多层感知机（MLP）几乎没有带来实质性的性能提升。两者在所有13个物理属性上的探针分数高度接近，PCA和UMAP可视化的特征空间结构也极为相似。这表明当后端变换器模型足够表达能力强时，翻译环节是线性还是非线性，对最终学到的知识影响非常有限。

Q3：天文基础模型选择分词器时应该怎么权衡？

A：根据这项研究的结论，分词器的选择应当基于具体的下游任务目标。如果模型主要用于光度测量、红移估算或光谱属性推断，VQ-VAE的离散压缩表示能提供更线性可访问的物理信息。如果模型的目标包括图像重建、视觉生成或需要保留低表面亮度细节的科学分析，JetFormer的可逆流是更合适的选择。对于计算资源有限且侧重形态分析的场景，仿射分词器以最低成本提供了与AIM相当的性能。