What We Don't C: Representations for scientific discovery beyond VAEs
What We Don't C: Representations for scientific discovery beyond VAEs
Accessing information in learned representations is critical for scientific discovery in high-dimensional domains. We introduce a novel method based on latent flow matching with classifier-free guidance that disentangles latent subspaces by explicitly separating information included in conditioning from information that remains in the residual representation. Across three experiments -- a synthetic 2D Gaussian toy problem, colored MNIST, and the Galaxy10 astronomy dataset -- we show that our method enables access to meaningful features of high dimensional data. Our results highlight a simple yet powerful mechanism for analyzing, controlling, and repurposing latent representations, providing a pathway toward using generative models for scientific exploration of what we don't capture, consider, or catalog.
我们未捕捉到什么：超越 VAE 的科学发现表示
在高维领域中，访问学习到的表示中的信息对于科学发现至关重要。我们提出了一种基于无分类器引导的潜在流匹配的新方法，通过显式分离包含在条件中的信息和保留在残差表示中的信息，来解耦潜在子空间。在三个实验——一个合成的二维高斯玩具问题、彩色MNIST和Galaxy10天文学数据集——中，我们展示了我们的方法能够访问高维数据中的有意义特征。我们的结果突显了一种简单而强大的机制，用于分析、控制和重新利用潜在表示，为使用生成模型探索我们尚未捕捉、考虑或编目内容提供了路径。
智能问答：
Q1: 这篇论文试图解决什么问题？
论文旨在解决“已记录变异因素”对高维科学数据潜在表示的垄断问题，即：
传统 VAE/β-VAE 的解耦能力受限于 β 权衡，且无法利用先验标签主动剔除信息；
现有“监督式解耦”方法一旦引入新条件就需重训整个生成模型，代价高昂；
科学探索的核心往往是“我们尚未捕捉、考虑或编目的因素”，而主流方法把已标注的显著信号牢牢耦合在潜空间里，抑制了微弱但可能关键的新物理信号的可发现性。
为此，作者提出一种无需重训 VAE、无需额外分类器的潜空间流匹配框架：通过 classifier-free guidance 显式分离“条件信息”与“残差信息”，把已知标签从潜空间中“抽走”，使研究者能够直接访问、控制并再利用被传统方法掩盖的剩余结构，从而系统性地探索“我们没捕捉到什么（What We Don’t C）”。
Q2: 有哪些相关研究？
与本文直接相关的研究可归纳为以下四条主线，均围绕“如何在潜空间中剔除或利用已知条件信息”展开：
β-VAE 及其改进
β-VAE (Higgins et al., 2017) 通过 β>1 强化解耦，但无法针对先验标签主动移除信息。
Burgess et al. (2018)、Chen et al. (2019) 进一步分析 β 与样本质量-解耦权衡，仍无“条件剔除”能力。
监督/半监督解耦生成模型
CVAE (Sohn et al., 2015) 把标签喂入编码器-解码器，但标签信息被永久耦合在潜变量里。
Siddharth et al. (2017)、Atanov et al. (2020) 在 VAE 损失中增加分类/分离项，可强制部分解耦，却需重训整体模型才能引入新条件。
Cheung et al. (2015) 利用额外“因子分类器”发现隐藏变异，但同样需修改损失并重新训练。
基于 Flow 的分布转换
Flow-matching/CondOT (Lipman et al., 2023; Holderrieth & Erives, 2025) 提供任意分布间可逆映射，为“事后”编辑潜空间奠定数学基础。
本文首次把 CondOT 路径与 classifier-free guidance 结合，实现“不碰 VAE 权重”的条件剔除。
Classifier-free guidance 在生成模型中的迁移
Ho & Salimans (2022) 在扩散模型中通过随机丢弃条件训练无条件与条件双路网络，实现推断阶段“去条件化”。
本文将该策略迁移到潜空间流匹配，使同一网络既能产生“含标签”也能产生“去标签”的向量场，从而无需额外损失项即可显式抽离已知信息。
综上，本文的核心贡献在于把“Flow-matching 的可逆分布转换”与“Classifier-free 的条件丢弃”嫁接在冻结 VAE 的潜空间上，首次提供一种无需重训、无需分类器、可迭代剔除已知变异的表示学习工具，填补了传统监督解耦与纯无监督 VAE 之间的空白。
Q3: 论文如何解决这个问题？
论文把“剔除已知条件”转化为潜空间可逆流匹配问题，核心思路是：
先训练一个常规 VAE，把高维数据 𝑥 压到潜变量 𝑧；
在 𝑧 上额外训练一个条件流匹配网络 𝑢𝑡𝜔(𝑧𝑡,𝑦)，采用 Gaussian-CondOT 路径与 classifier-free guidance：
训练时以概率 𝑝 把条件 𝑦 替换成空 token ∅，使同一网络同时拟合条件与无条件速度场；
损失函数为 𝐿(𝜔)=𝔼𝑡,𝑧,ε,𝑦[‖𝑢𝜔𝑡(𝑡𝑧+(1−𝑡)ε,𝑦)−(𝑧−ε)‖2]
推断阶段利用可逆 ODE：
给定样本 𝑧，若想“抽掉”标签 𝑦，就反向积分到 𝑡=0 且传入 𝑦，得到“去 𝑦”的基分布样本 𝑧∖𝑦0；
若想保留 𝑦，则反向积分时传入 ∅，得到“含 𝑦”的 𝑧∅0。
由于流模型在 𝑦→∅ 切换时只改变速度场，不改变 VAE 权重，因此无需重训即可随时增删新条件；
最终，𝑧∖𝑦0 构成的残差潜空间把“已记录变异”显式移除，研究者可直接对其可视化、线性探测或重新生成，从而系统地发现“未被捕捉”的信号。
Q4: 论文做了哪些实验？
论文共设计三级递进实验，验证“无需重训即可剔除已知条件”这一机制在不同维度、不同模态数据上的有效性：
2D 高斯玩具实验
数据：4 个各向同性高斯簇，中心位于 (±3,±3)。
任务：用 MLP 流网络学习条件/无条件速度场；可视化反向积分轨迹。
结果：
条件反向流（传入类别 𝑦）→ 簇标签结构被“拉平”，仅保留簇内位置信息；
无条件反向流（传入 ∅）→ 簇标签仍清晰可分。
结论：流匹配可在 2-D 潜空间显式抽离离散类别。
Colored-MNIST 受控实验
数据：MNIST 手写数字外加随机 RGB 颜色，其中 R、G 值作为已知条件，B 值故意不给出。
训练：β-VAE（β=1×10⁻⁶）+ 4 层 MLP 流网络（含 class-dropout p=0.1）。
检验：
t-SNE 投影：条件反向流（t=0）几乎看不到数字类别聚类，而无条件流仍保持类别结构；
线性探针：沿整条流轨迹回归被 withheld 的 B 通道最大值，条件流下 R² 始终≈0.8，而 R、G 通道 R² 迅速跌至随机水平，证实“未条件化的信息”被完整保留；
风格迁移：用“去数字”的 t=0 潜码再向前流，仅更换类别标签，即可生成颜色风格一致但数字改变的新图像。
结论：方法可在复杂潜空间选择性剔除已给定条件，同时保留未标注属性。
Galaxy10 真实天体图像实验
数据：17 736 张 256×256 星系 g-r-z 三色图，10 类形态标签来自 Galaxy Zoo。
训练：β-VAE（4×32×32 潜码）+ UNet 条件流网络（p=0.1 dropout）。
操作：
选取原始星系 → 反向流至 t=0（条件设为“round”类） → 再正向流生成“round”版本；
计算原始重建与“round”生成图的残差。
结果：残差图清晰高亮出“非 round”结构（旋臂、棒、并合痕迹等），而颜色、背景恒星分布被完美保留。
结论：在高维真实天文图像上，同样可一次性抽离特定科学标签对应的形态特征，为后续发现“未编目”星系变异提供可直接解释的残差空间。
三级实验由合成→受控→真实，逐步验证：
流匹配+classifier-free guidance 能在潜空间精确剔除任意给定条件；
被剔除的信息不再占主导，剩余信号成为“可探索”的新对象；
整个过程无需重训 VAE，只需在潜空间训练一次轻量级流网络即可迭代使用。
Q5: 有什么可以进一步探索的点？
以下方向可被视为论文提出框架的“直接外延”，均围绕“如何更彻底、更可靠、更自动化地发现我们尚未捕捉的信息”展开：
误差与信息守恒的定量刻画
对流 ODE 求解器引入的离散化误差进行蒙特卡洛分析，给出“条件剔除”后互信息 𝐼(𝑥;𝑧∖𝑦0) 的可证明上界，防止“过度剔除”或“残留泄漏”。
建立“剩余熵”指标 𝐻(𝑥|𝑦,𝑧∖𝑦0)，直接衡量还有多少潜在变异可供发现。
dropout 概率 𝑝 的自适应策略
将 𝑝 视为可学习参数，通过最大化无条件分布与条件分布的 Jensen–Shannon divergence 自动搜索最优“剥离强度”，避免人工调参。
研究“标签稀缺”场景下的半监督 dropout：对无标签样本强制 𝑦=∅，对少量有标签样本提高 𝑝，提升无条件估计的样本效率。
连续/高维/结构化条件的扩展
对连续变量（光谱红移、温度、化学丰度）采用 Fourier 特征嵌入 + 随机掩码，验证流场仍能逐维选择性剔除。
引入图神经网络，把“星系-星系相互作用”作为图条件，测试能否在潜空间剔除关系信息而保留内部形态。
残差空间的自动化科学发现
在 𝑧∖𝑦0 上部署可解释模块：
稀疏字典学习 → 提取可命名物理成分；
因果表示学习 → 区分“物理因果”与“观测混淆”。
结合主动学习循环：把残差中最大方差方向送回观测提案系统（如 LSST 巡天），闭环采集新数据，迭代精炼“未捕捉”变异。
与大型预训练模型的衔接
冻结天文大模型（如 AstroCLIP）的图像编码器，仅在其潜空间训练流匹配，验证是否可用同样机制剔除文本描述信息（“barred”“merging”等自然语言标签），实现跨模态“遗忘”。
探索“多模态条件剔除”：同时去掉图像标签 + 文本描述，观察残差是否揭示未被语言命名的罕见形态。
计算与数值鲁棒性
采用自适应步长 ODE-solver + GPU 并行积分，量化不同数值精度下“残差图像”的 PSNR 下降曲线，给出巡天级数据量下的可扩展性报告。
研究低内存场景下的“分块流匹配”：对 256×256×3 图像潜码按 8×8 块独立训练流场，再全局微调，验证是否仍能保持全局一致性。
伦理与罕见信号偏见
检验“被剔除”信息是否包含观测选择效应（如低表面亮度星系因检测阈值被弱化），建立偏差矫正权重，防止残差空间继续放大人类观测偏见。
引入公平性指标：确保剔除过程不会系统性地压低某些天体物理族群的可探测性。
通过上述探索，可将“ What We Don’t C ”框架从概念验证升级为可证、可扩、可解释、可闭环的科学发现基础设施。
Q6: 总结一下论文的主要内容
问题：高维科学数据中“已记录标签”垄断潜在表示，传统 VAE 或监督解耦方法无法在不重训模型的前提下剔除已知变异，导致微弱但关键的新物理信号被掩盖。
方法：
冻结 VAE，获得潜变量 𝑧；
在 𝑧 上训练条件流匹配网络，采用 Gaussian-CondOT 路径与 classifier-free guidance（随机丢弃标签 𝑦），使同一网络兼具条件/无条件速度场；
推断时通过可逆 ODE 反向积分：传入 𝑦 得到“去 𝑦”的基分布样本 𝑧∖𝑦0，传入 ∅ 得到保留 𝑦 的 𝑧∅0，实现无需重训即可选择性剔除已知信息。
实验：
2D 高斯：可视化证明类别结构可被拉平或保留。
Colored-MNIST：线性探针显示被 withhold 的蓝色通道始终可恢复，而条件化通道被剔除；风格迁移验证残差信息语义有意义。
Galaxy10 真实星系图像：残差图清晰分离“round”形态与其他结构，表明天文高维数据同样适用。
结论：提出一种轻量级、可迭代、可扩展的“潜空间流匹配”框架，使研究者能系统性地访问并探索“我们尚未捕捉、考虑或编目的变异”，为科学发现提供新的表示学习工具。
阅读全文 →
