神经网络与机器学习 笔记—小规模和大规模学习问题

监督学习的可行性依赖于下面的关键问题：

由N个独立同分布的样本(X1，D1),(X2,D2),…,(Xn,Dn)

组成的训练样本是否包含了构造具有良好泛化性能的机器学习的足够信息？

计算考虑：

神经网络模型（例如单层多层感知器）必须是可控变量，使得它能够被自由地调整以达到对从未出现过的数据的最好测试性能。另一个可控变量是用于训练的样本数量。为了增加监督训练过程的实际真实性，Bottou通过考虑一个新的可控变量来介绍结算代价。这个新的可控变量就是最优精确度。

小规模学习问题

只考虑小规模学习问题时，机器学习设计者可以得到以下三个变量：

训练样本个数，N。

逼近网络函数族F的容许大小K。

引入的计算误差δ可以是0。

大规模学习问题

大规模学习问题的主动预算约束是计算时间。在处理第二类学习问题时，面对更复杂的这种，因为现在必须对计算时间T负责。

在大规模学习问题中，通过调整如下可提供变量来最小化：

样本个数，N。

逼近网络函数的容许大小K。

计算误差δ，它不再是0。

做这样的最小化分析是极为困难的，因为计算时间T实际上依赖于所有三个变量N，为了解释着以依赖性，我们给误差分配一个小的值来减少最优化误差。为了实现这一减少，遗憾的是，我们必须调整另外两个变量，他们中的任一个都将具有对逼近和估计误差的不良影响。

 

一般来说，在机器学习问题的研究中出现三种误差：

1.逼近误差，这是在给定训练样本的固定大小N后，由训练神经网络或者机器学习所招致的误差。

2.估计误差，这是在机器的训练完成后，用以前没有出现过的数据测试其性能所招致的误差；从效果上而言，估计误差是泛化误差的另一个途径。

3.最优化误差，这是对于预先给定的计算时间T来说，训练机器的计算精度所引起的。

    在小规模学习问题中，我们发现主动预算约束是训练样本大小，其隐含意义在于最优化误差实际上通常是0。因此结构风险最小化的Vapnik理论对于处理小规模学习问题来说是足够的。另一方面，在大规模学习问题中，主动预算约束是可用的计算时间T，此时最优化误差自身起着关键的作用。特别地，学习过程的计算精确度以及因此而来的最优化误差收到用于求解学习问题的最优化算法类型的巨大影响。

总结

以上是生活随笔为你收集整理的神经网络与机器学习 笔记—小规模和大规模学习问题的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。