【48812】CVPR23 最佳论文候选｜提速256倍！蒸馏分散模型生成图画质量比美教师模型只需4步！

  CVPR23 最佳论文候选｜提速256倍！蒸馏分散模型生成图画质量比美教师模型，只需4步！

  去噪分散概率模型（DDPM）在图画生成、音频组成、分子生成和似然估量范畴都现已完结了 SOTA 功能。一起无分类器（classifier-free）辅导逐渐提升了分散模型的样本质量，并已被大规模的运用在包含 GLIDE、DALL·E 2 和 Imagen 在内的大规模分散模型结构中。

  但是，无分类器辅导的一大要害限制是它的采样功率低下，需要对两个分散模型评价数百次才干生成一个样本。这一限制阻止了无分类辅导模型在实在国际设置中的运用。虽然现已针对分散模型提出了蒸馏办法，但现在这一些办法不适用无分类器辅导分散模型。

  在第一步中，他们引进单一学生模型来匹配两个教师分散模型的组合输出；在第二步中，他们运用提出的办法逐渐地将从第一步学得的模型蒸馏为更少进程的模型。

  运用提出的办法，单个蒸馏模型可处理各种不同的辅导强度，然后高效地对样本质量和多样性进行权衡。此外为了从他们的模型中采样，研究者考虑了文献中已有确实定性采样器，并进一步提出了随机采样进程。

  研究者在 ImageNet 64x64 和 CIFAR-10 进步行了试验，依据成果得出提出的蒸馏模型只需 4 步就能生成在视觉上与教师模型比美的样本，并且在更广泛的辅导强度上只需 8 到 16 步就能完结与教师模型比美的 FID/IS 分数，详细如下图 1 所示。

  此外，在 ImageNet 64x64 上的其他试验成果也表明晰，研究者提出的结构在风格搬迁运用中也体现杰出。

  第一步引进一个接连时刻学生模型, 该模型具有可学习参数, 以匹配教师模型在恣意时刻步处的输出。给定一个优化规模 [w_min, w_max], 对学生模型进行优化:

  其间,。为了兼并辅导权重, 本文引进了一个条件模 型, 其间作为学生模型的输入。为了更好地捕捉特征, 本文还对运用傅里叶嵌入。此外, 因为初始化在模型功能中起着要害作用, 因而本文初始化学生模型的参数与教师模型相同。

  在第二步中, 本文将离散时刻步 (discrete time-step) 考虑在内, 并逐渐将第一步中的蒸馏模型转化为步数较短的学生模型, 其可学习参数为, 每次采样步数折半。设为采样步数, 给定和, 然后依据 Salimans & Ho 等人提出的办法练习学生模型。在将教师模型中的步蒸馏为学生模型中的步之后, 之后运用步学生模型作为新的教师模型, 这样的一个进程不断重复, 直到将教师模型蒸馏为 N/2 步学生模型。

  步可确定性和随机采样：一旦模型练习完结, 给定一个指定的，, 然后运用 DDIM 更新规矩履行采样。

  实际上, 本文也可以履行步随机采样, 运用两倍于原始步长确实定性采样进程, 然后运用原始步长向后履行一个随机进程。关于, 其时, 本文运用以下更新规矩

  试验评价了蒸馏办法的功能，本文首要重视模型在 ImageNet 64x64 和 CIFAR-10 上的成果。他们探究了辅导权重的不同规模，并观察到一切规模都具有可比性，因而试验选用 [w_min, w_max] = [0, 4]。图 2 和表 1 报告了在 ImageNet 64x64 上一切办法的功能。

  本文还进行了如下试验。详细来说，为了在两个域 A 和 B 之间履行风格搬迁，本文运用在域 A 上练习的分散模型对来自域 A 的图画进行编码，然后运用在域 B 上练习的分散模型进行解码。因为编码进程可以理解为反向 DDIM 采样进程，本文在无分类器辅导下对编码器和****进行蒸馏，并与下图 3 中的 DDIM 编码器和****进行比较。

  *博客内容为网友个人发布，仅代表博主个人自己的观念，如有侵权请联络工作人员删去。