360人工智能研究院提出了一种名为RelaCtrl的新框架,通过优化控制信号的集成方式,在Diffusion Transformer中实现了高效的可控生成,参数量减少约85%,性能达到当前最佳水平。
该框架通过测量生成图像的质量和控制精度得到“ControlNet相关性得分”,并据此确定关键控制位置,引入了轻量级的相关性引导控制块,有效减少了模型参数和计算复杂度。
实验结果显示,RelaCtrl在多个可控生成任务上表现优异,不仅视觉效果逼真,而且在参数量和计算复杂度上显著优于现有方法。
360人工智能研究院提出了一种名为RelaCtrl的新框架,通过优化控制信号的集成方式,在Diffusion Transformer中实现了高效的可控生成,参数量减少约85%,性能达到当前最佳水平。
该框架通过测量生成图像的质量和控制精度得到“ControlNet相关性得分”,并据此确定关键控制位置,引入了轻量级的相关性引导控制块,有效减少了模型参数和计算复杂度。
实验结果显示,RelaCtrl在多个可控生成任务上表现优异,不仅视觉效果逼真,而且在参数量和计算复杂度上显著优于现有方法。