与人类顺序学习新任务的自然能力相反，神经网络众所周知会遭受灾难性遗忘，即模型被优化为新任务后，在旧任务上的表现急剧下降。因此，连续学习（CL）社区提出了几种解决方案，旨在赋予神经网络学习当前任务的能力（可塑性），同时仍然在以前的任务中实现高准确率（稳定性）。尽管有了显着的改进，可塑性-稳定性权衡仍然远未得到解决，其基本机制也知之甚少。在这项工作中，我们提出了一种新的方法，即辅助网络连续学习（ANCL），该方法应用了一个额外的辅助网络，促进了主要关注稳定性的持续学习模型的可塑性。更具体地说，所提出的框架实现了一个自然地插值可塑性和稳定性之间的正则化器，超越了任务增量和类别增量场景的强基线。通过对ANCL解决方案的广泛分析，我们确定了稳定性-可塑性权衡背后的一些关键原则。
论文链接：http://arxiv.org/pdf/2303.09483v1
更多计算机论文：http://cspaper.cn/