扩散模型与演化算法的深层联系
Organizers
Zhen Li
,
Xin Liang
,
Zhi Ting Ma
,
Seyed Mofidi
,
Li Wang
,
Fan Sheng Xiong
,
Shuo Yang
,
Wu Yue Yang
Speaker
Yanbo Zhang
Time
Thursday, February 27, 2025 9:00 AM - 10:00 AM
Venue
A3-4-312
Online
Zoom 787 662 9899
(BIMSA)
Abstract
在现实世界中，创造性的产物往往源自演化。随机的变异，加上自然选择，就产生了丰富多样的物种。而如今，在计算的世界中，创造性常常来自生成式模型，而其中则以扩散模型为主流。演化与降噪在直觉上就具有很多相似性——都在逐步优化，都能产生丰富的内容，都同时蕴含着确定与随机。
我们在最近的工作中发现：扩散模型在数学上就是一个演化算法，天然地蕴涵了自然选择、随机变异，以及生殖隔离。基于这个发现，我们提出了「**扩散演化算法**」（Diffusion Evolution Algorithm），无需训练任何神经网络，可以直接优化黑盒系统的参数。不仅如此，我们刻意地减少人为设计的成分，使得扩散模型领域的工具可以用于此算法：扩散模型的加速采样方法同样可以加速演化；而隐空间扩散模型的思想也可以导出「隐空间演化算法」，使得我们可以轻松优化上万维的系统（例如神经网络），解决一些强化学习的任务。
扩散模型与演化算法的联系不仅在于性能，我们也关心它的理论潜力——演化算法可以反过来导出更好的生成模型吗？如何进行开放式的演化？其他扩散模型会对应哪些演化算法？
我们在最近的工作中发现：扩散模型在数学上就是一个演化算法，天然地蕴涵了自然选择、随机变异，以及生殖隔离。基于这个发现，我们提出了「**扩散演化算法**」（Diffusion Evolution Algorithm），无需训练任何神经网络，可以直接优化黑盒系统的参数。不仅如此，我们刻意地减少人为设计的成分，使得扩散模型领域的工具可以用于此算法：扩散模型的加速采样方法同样可以加速演化；而隐空间扩散模型的思想也可以导出「隐空间演化算法」，使得我们可以轻松优化上万维的系统（例如神经网络），解决一些强化学习的任务。
扩散模型与演化算法的联系不仅在于性能，我们也关心它的理论潜力——演化算法可以反过来导出更好的生成模型吗？如何进行开放式的演化？其他扩散模型会对应哪些演化算法？