港大马毅团队等开源新作:用编码率正则化重构视觉自监督学习范式,“少即是多”

港大马毅团队等开源新作SimDINO和SimDINOv2,通过引入编码率正则化简化了DINO和DINOv2模型的训练流程,不仅提高了训练的稳定性和效率,还增强了模型性能。

实验结果显示,SimDINO系列在多个数据集和任务上的表现优于DINO系列,特别是在计算效率、训练稳定性和下游任务性能方面。

SimDINO和SimDINOv2的创新在于化繁为简,通过移除复杂的设计组件,使得模型训练更加简洁和易于实现。

[原文链接]

上一篇:

下一篇:

微信