尽管它们取得了成功，但了解卷积神经网络（CNN）如何有效地学习高维函数仍然是一个基本的挑战。.一个流行的观点是，这些模型利用了自然数据的组成和层次结构，如图像。.然而，我们缺乏对这种结构如何影响表演的定量了解。.g.归纳误差随训练样本数的衰减率.在本文中，我们研究了核制度下的深度CNN：i）我们表明，相应核的频谱及其渐进性继承了网络的层次结构；ii）我们使用泛化边界证明深度CNN适应目标函数的空间尺度；iii）我们通过计算教师-学生设置中的误差衰减率来展示这一结果，其中一个深度CNN是在另一个随机初始化参数的深度CNN的输出上训练的。.我们发现，如果教师函数依赖于输入变量的某些低维子集，那么速率就会被这些子集的有效维度所控制。.相反，如果教师函数取决于全部的输入变量，那么错误率与输入维度成反比。.有趣的是，这意味着尽管有层次结构，但深层CNN产生的函数过于丰富，无法在高维度上有效学习。.
《How Wide Convolutional Neural Networks Learn Hierarchical Tasks》
论文地址:http://arxiv.org/abs/2208.01003v1
| 留言与评论（共有 0 条评论） “” |
