在许多医学任务中，深度模型的表现最近有了显著的改进。这些模型通常是熟练的学习者。然而，它们错综复杂的架构设计和高计算复杂性使得在临床环境中部署它们具有挑战性，特别是在资源有限的设备上。为了解决这个问题，已经提出了知识蒸馏（KD）作为一种压缩方法和加速技术。 KD是一种有效的学习策略，可以将知识从一个负担较重的模型（即教师模型）转移到一个轻量级模型（即学生模型）。因此，我们可以获得一个低参数的紧凑型模型，并保持教师的表现。因此，我们通过将特征为基础的蒸馏与Kullback-Leibler离差、Lovasz和Dice损失相结合，开发了一个基于KD的前列腺MRI分割深度模型。我们进一步通过应用两个压缩过程来证明其有效性：1）从单个训练良好的教师模型向学生模型传递知识，以及2）由于大多数医学应用程序具有较小的数据集，因此我们训练多个教师，每个教师都使用少量图像进行训练，以学习尽可能接近所需准确性和快速推断时间的教师的适应性学生模型。在公共的多站点前列腺肿瘤数据集上进行了广泛的实验，结果表明，提出的自适应KD策略将Dice相似性分数提高了9％，超过了所有经过测试的成熟基线模型。
论文链接：http://arxiv.org/pdf/2303.09494v1
更多计算机论文：http://cspaper.cn/