深度学习神经网络过度拟合意味着什么？

蓝海大脑深度学习卷积神经网络研究专家认为：

当卷积神经网络过度拟合时，意味着将参数（权重和偏差）调整到一个不切实际的程度。例如，训练数据的分类准确度可能达到95%，而测试验证数据的准确度仅为40%。过度拟合的一个显著标志是测试验证数据的损失大大超过训练损失。

为什么会发生这种情况呢？可以借助一个有趣的比喻来解释。想象一下，一条10次多项式曲线和一条线性最佳拟合线之间的差异。前者可能会尽可能地适应每一个点（看似是个不错的选择），但如果引入一些未曾训练过的额外数据，这条多项式曲线就会大打折扣，无法像稳定的线性最佳拟合线那样对数据做出更好的概括。

再举个例子，过度拟合就像是专门为特定人打造一张床。对于那个特定的人来说，这张床可能是最优的，但如果让一个稍高或稍胖的人来睡（类比为引入到测试验证数据中），这张床可能就不那么合适了。而线性最佳拟合线则像是大多数人都适用的普通大号床：它不会太大造成浪费，但也能满足大多数人的需求。