先手 · Ahead (@yangyue992125)
@yangyue992125
韭菜追热点，布局靠提前量｜副业分享｜提前三个月看懂就吃肉｜
14 正在关注 660 粉丝
这套说法其实早就被推翻了。
2014年Bengio那组人专门算过高维损失函数，结论是维度一高，真正的局部最优反而极少，几乎都接近全局最优。
卡住你的绝大多数是鞍点，某些方向往下、某些方向往上那种，看着像陷进去了其实没有。
早年神经网络训不动真正的元凶是鞍点加梯度消失，后来ReLU加好的初始化加动量一上，这事基本就不提了。
显示更多
加载中...
热门用户
