我正在尝试用Python来理解和实现这些算法。为此我使用了sklearn.linear_model.SGDRegressor，我的代码如下所示：from sklearn import linear_modelModel.intercept_)RMSE: 1.1051202460564218[ 0.29586701]
据我从理论上理解:当chunksize =1时，小批量梯度下降与随机梯度
浏览 6提问于2018-02-23得票数 2
回答已采纳
1回答
在全批次梯度下降或小批-GD，我们得到梯度从几个训练例子。然后，我们将它们平均起来，得到一个“高质量”梯度，从几个估计中得到，并最终立即使用它来校正网络。因此，与其他培训实例相比，每个样本都有其最陡的下降方向，指向不同的方向。平均这些方向是不合理的吗？但效果如此之好。事实
浏览 0提问于2018-06-22得票数 13
回答已采纳
我目前正在做语义分割，但是我有非常小的数据集， 我只有大约700张带有数据增强的图像，例如，翻转可以 设置为2100张图像。 不确定是否足够完成我的任务(语义分割有四个 类)。我想使用批量归一化，和小批量梯度下降 真正让我挠头的是，如果批量太小， 批次归一化效果不佳，但如果批次较大， 这似乎等同于全批次梯度下降。 我想知道样本数量和批量大小之间是否有类似于标准比例
浏览 45提问于2019-03-21得票数 0
回答已采纳
2回答
据我所知，小批处理可以减少梯度的方差，但我也在考虑，如果我们使用减小的步长，并且在每次迭代中只使用一个样本，我们是否可以达到相同的结果？我们能比较它们的收敛速度吗？
浏览 0提问于2019-02-28得票数 0
1回答
我试着在一个简单的线性回归例子中理解和实现这些算法。我很清楚，全批次梯度下降使用所有数据来计算梯度，而随机梯度下降只使用一个数据。全批次梯度下降：from math import sqrt
df = df.sample(frac=learnin
浏览 22提问于2018-02-18得票数 2
我目前正在使用ScikitLearn中的两个类处理一个分类问题，其中有求解器adam和激活relu。为了探索我的分类器是否存在高偏差或高方差，我用Scikitlearns内置函数绘制了学习曲线：
应该是这样的吗？我认为学习曲线是根据独立于任何批次/时代的训练数据来处理准确性分数的吗
浏览 1提问于2019-03-26得票数 1
回答已采纳
3回答
我正在学习一门关于Python中的深度学习的课程，我被一个例子的以下几行困住了：regressor.fit(X_train, y_train, epochs = 100, batch_size = 32)
根据我所知道的定义，1个epoch =遍历所有训练示例一次以进行一次权重更新优化器采用batch_size算法
浏览 2提问于2018-07-17得票数 1
1回答
我刚刚开始学习tensorflow，并且正在实现一个线性回归的神经网络。我遵循了一些在线教程，能够写出代码。当我运行代码时，我得到了Nan作为预测的准确性。我使用的代码如下所示X = tf.placeholder("float", shape=[None, x_size])sess.run(optimizer, feed_dict={
浏览 0提问于2017-03-11得票数 0
我试图将训练和验证数据按批次大小分开，并找到验证rmse。训练特征数据的大小为11000。验证特征数据的大小为2750。但是，当我在for循环中使用zip函数时。它将for循环限制在较小的范围内，即2750。
有人知道我该如何解决这个问题吗？我已经被困两天了。
浏览 8提问于2020-11-16得票数 1
2回答
我正在选修速成课程，在“第二课- SGD”中写着：
什么是迷你批次？小批次和普通批次有什么区别？
浏览 1提问于2019-10-07得票数 5
回答已采纳
2回答
我做机器学习已经有一段时间了，但是即使经过一段时间的练习，也会有一些零碎的东西聚集在一起。在神经网络中，通过一次传递(向前通过)来调整权重，然后在每个训练示例之后计算权重的偏导数(反向传递)，并从初始权重中减去这些偏导数。反过来，新权重的计算在数学上是复杂的(你需要计算权重的偏导数，在神经网络的每一层计算误差-输入层除外)。
从定义上看，这不是一种在线算法吗?在每个训练示例之后，计算成本和新的权重？
浏览 0提问于2016-01-09得票数 5
回答已采纳
2回答
根据我的理解，一个随机过程，其值在某一时刻取决于先前采取的值，而且每次运行该过程时，所选择的路径可能是不同的。在一定的初始播种值之后，我们只能知道这个过程的限制和限制。利用随机梯度下降法对神经网络的权值进行更新。它的随机部分是什么？在对变量进行某些初始化之后，如果在每次测试初始化后提供相同的输入数据集，则累积的错误函数将是相同<
浏览 0提问于2017-09-28得票数 3
4回答
我是机器学习的新手，我正在尝试为我的一个项目分析分类算法。我在sklearn库中偶然发现了SGDClassifier。但许多论文都将SGD作为一种优化技术。有人能解释一下SGDClassifier是如何实现的吗？
浏览 1提问于2017-08-02得票数 7
2回答
当训练神经网络时，一个超参数是一个小批的大小。常见的选择是每小批32、64和128个元素。
是否有任何关于小批量应该有多大的规则/指南？或任何研究培训效果的出版物？
浏览 0提问于2017-04-17得票数 32
回答已采纳
1回答
我正试图在python中训练一个神经网络(backprop +梯度下降)，我在google图书2克(英文)的基础上构建了它的功能，它最终将是大约10亿行数据，每行有20个功能。这将很容易超过我的内存，因此使用内存中的数组(如numpy )将不是一个选项，因为它需要加载完整的训练集。我研究了numpy中的内存映射，它可以解决输入层的问题(这是只读的)，但我也需要在网
浏览 0提问于2016-02-07得票数 0
回答已采纳
使用全批梯度下降，堆叠100层和使用alpha 0.0001的结果是稳定地减少误差.事实上，我不再能够堆叠100+层，只有接近10层的随机性变得非常明显和难以控制。注意-我使用的是全批次梯度下降，有50
浏览 0提问于2018-03-15得票数 1
1回答
T.mean在中的意义是什么？如果实现是矢量化的，我认为T.mean是有意义的。在这里，x和y到train(x, y)的输入是标量，cost只查找单个输入的平方误差，并对数据进行迭代。
浏览 4提问于2016-08-22得票数 1
回答已采纳
10回答
在机器学习任务中，通常会对数据进行洗牌和规范化。标准化的目的是明确的(对于具有相同范围的特征值)。但是，在经历了很多挣扎之后，我没有找到任何有价值的理由来调整数据。我读过这里的这篇文章，讨论了什么时候需要对数据进行洗牌，但不清楚为什么要对数据进行洗牌。此外，我经常在算法(如Adam或SGD )中看到，我们需要批处理梯度下降(数据应该分离成小批，并且必须指定批处理大小)。根据这个帖子，对每个时代的数据进行洗牌对于每个<
浏览 0提问于2017-11-09得票数 64
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
