Springer知识蒸馏专著解读 | 面向图像识别的知识蒸馏综述

本文介绍了面向图像识别的知识蒸馏相关工作，主要分为基于响应、基于特征和基于关系的知识蒸馏三类，并总结了在线知识蒸馏和自知识蒸馏的相关方法，如自监督学习蒸馏和视觉Transformer蒸馏。此外，还探讨了多教师知识蒸馏、跨模态知识蒸馏、注意力机制知识蒸馏、无数据知识蒸馏和对抗知识蒸馏等扩展技术领域。