admin 管理员组

文章数量: 1086019

1-2_ Potential of Deep

反正deep 就是比较好

2^n是linear pieces 的 upper bound，是最佳状况，因为有些pattern 可能永远不会出现

取绝对值的activation function可以用两个RELU 表示

deep的network 每增加一层，每一层只有两个neuron,线段的数目就会翻倍,
deep比较由效率，它做的事情像在折纸，把原来的pattern复制

下面是研究证明
纵坐标表示产生的piece 的数目
左边：layer的深度增加，不同颜色表示每层宽度不同
后边:增加每层的参数的数量，不同颜色表示层数不同

下面实验证明，靠近input的layer 的neuron比较重要，
左：给不同的层的layer 加噪音，给第一层加的话，结果坏掉。给最后一层加噪音，对结果影响不大。
右：只train其中一层，keep住其他的，发现train开始的layer正确率更高

假设现在要去fit y=x^2
在shallow的情况下，至少需要1/√ε个neuron，
因为前面证了：多少个segment就用2倍的数目的neurons

在deep的情况下

所以在deep的时候，只要圈圈中那么多的layer就行了

y=x^2这个function 的作用有很多，比如

但可能是田忌赛马的概率问题

本文标签： 深度 李宏毅 deep potential

版权声明：本文标题：2018深度学习李宏毅1-2_ Potential of Deep 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1738258744a1952267.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。