具有简单基于种群的进化的任意阶元学习

元学习,即学会学习的概念,使学习系统能够快速灵活地解决新任务。这通常涉及定义一组外循环元参数,然后用它们来更新一组内循环参数。大多数元学习方法使用复杂和计算昂贵的双层优化方案来更新这些元参数。理想情况下,系统应该执行多阶元学习,即学会学会学习等等,以加速自己的学习。不幸的是,标准的元学习技术通常不适用于这些高阶元参数,因为元优化过程变得太复杂或不稳定。受到真实世界进化中观察到的更高阶元学习的启发,我们表明使用简单的基于人口的进化隐式地优化任意高阶的元参数。首先,我们在简单的设置中从理论上证明并经验证明了基于人口的进化隐式优化任意高阶元参数。然后,我们引入了一个最小的自我参照参数化,从原理上讲可以进行任意阶元学习。最后,我们表明更高阶的元学习提高了时间序列预测任务的性能。

论文链接:http://arxiv.org/pdf/2303.09478v1

更多计算机论文:http://cspaper.cn/

Related posts