精选Apple Machine Learning Research论文
归一化轨迹模型
提出归一化轨迹模型（NTM），旨在解决扩散模型在生成步骤压缩至少数粗粒度转换时假设失效的问题。不同于现有的蒸馏或一致性训练方法，该方法将每个反向步骤建模为具有精确似然训练的 expressive conditional normalizing flow，从而在保持似然框架的同时实现高效生成。
基于扩散的模型将采样分解为许多小的高斯去噪步骤，这一假设在生成过程被压缩为少数几个粗略转换时会失效。现有的少步方法通过蒸馏、一致性训练或对抗性目标来解决这一问题，但在此过程中牺牲了似然框架。我们引入了归一化轨迹模型（NTM），将每个反向步骤建模为具有精确似然训练的 expressive 条件归一化流。在架构上，NTM 在每个步骤内结合浅层可逆块，并在整个轨迹上采用深层并行预测器，形成一个端到端的网络，可从零开始训练，也可从预训练的流匹配模型初始化。其精确的轨迹似然进一步实现了自蒸馏：一个基于模型自身诱导的分数函数进行训练的轻量级去噪器，能够在四个步骤中生成高质量样本。在文本到图像基准测试中，NTM 仅用四个采样步骤即可匹配或超越强大的图像生成基线，同时独特地保留了生成轨迹上的精确似然。
- † 宾夕法尼亚大学
- ‡ UIUC
- ** 在苹果公司工作期间完成
相关阅读与更新。
轨迹作为教师：通过能量导航蒸馏实现少步离散流匹配
离散流匹配通过迭代将噪声令牌转换为连贯语言来生成文本，但可能需要数百次前向传递。蒸馏利用多步轨迹训练学生模型以在少数步骤中复现该过程。当学生模型表现不佳时，通常的解释是容量不足。我们认为相反：瓶颈在于轨迹，而非学生模型。每个训练轨迹都是通过……构建的
带有迭代去噪的归一化流
归一化流（NFs）是一类经典的基于似然的方法，近期重新受到关注。TARFlow 等最新研究证明，NFs 能够在图像建模任务中取得令人瞩目的性能，使其成为扩散模型等其他方法的可行替代方案。在本工作中，我们通过引入迭代 TARFlow（iTARFlow）进一步推进归一化流生成模型的发展。与……不同
发现机器学习领域的机遇。
我们的机器学习研究每天都在开辟新的领域。