逻辑回归:成本函数没有减少
逻辑回归是一种用于解决分类问题的机器学习算法。它通过将输入特征与权重相乘，并将结果传递给一个激活函数（通常是sigmoid函数），来预测样本属于某个类别的概率。
成本函数是逻辑回归模型中用于衡量预测结果与实际结果之间差异的函数。常用的成本函数是交叉熵损失函数。通过最小化成本函数，我们可以调整模型的参数，使得模型的预测结果更接近实际结果。
如果成本函数没有减少，可能有以下几个原因：
- 数据问题：可能是因为数据集中存在噪声、异常值或者缺失值，导致模型无法准确地拟合数据。解决方法可以是数据清洗、异常值处理或者使用其他预处理技术。
- 模型问题：可能是选择的模型不适合解决当前的分类问题，或者模型的参数初始化不合适。可以尝试使用其他分类算法或者调整模型的超参数。
- 特征问题：可能是选择的特征不具有足够的信息量，无法准确地区分不同的类别。可以尝试添加更多的特征或者进行特征工程来提取更有用的特征。
- 训练问题：可能是训练过程中出现了问题，例如学习率设置不合理、迭代次数不足或者使用的优化算法不适合当前的问题。可以尝试调整这些参数来改善模型的性能。
对于逻辑回归算法，腾讯云提供了云机器学习平台（https://cloud.tencent.com/product/tiems）和人工智能计算平台（https://cloud.tencent.com/product/tia）等相关产品，可以帮助用户进行模型训练和部署。
相关·内容
1回答
我目前正在coursera上学习Andrew Ng课程，我尝试在数据集上使用我所学到的逻辑回归知识。但是我不能使代价函数减小。可能是我写错了函数，但是我找不到错误import scipy as scfrom sklearn.datasets
浏览 17提问于2019-07-20得票数 0
我是ML的新手，我刚刚学习了线性回归和逻辑回归。我想知道这些成本函数是如何决定的，以及这些函数是如何推导出来的？我们如何知道这些成本函数是否适用于特定的问题？换句话说，我不确定如何证明这些成本函数对于特定问题是准确和合适的。我们有时会在ML中的任何时候想出我们自己的成本函数吗？
浏览 0提问于2017-06-25得票数 1
6回答
在最小二乘模型中，成本函数被定义为预测值与实际值之差的平方，作为输入的函数。当我们进行逻辑回归时，我们将成本函数更改为对数函数，而不是将其定义为sigmoid函数(输出值)与实际输出之间的差值的平方。
是否可以更改和定义我们自己的成本函数来确定参数？
浏览 2提问于2012-08-28得票数 22
回答已采纳
1回答
为什么神经网络不是凸的？
、、、
与线性回归和逻辑回归不同，人工神经网络的成本函数不是凸的，因此容易陷入局部最优。有没有人能提供一种直觉，说明为什么神经网络会出现这种情况，以及为什么不能修改假设来产生凸函数？
浏览 10提问于2017-08-18得票数 2
回答已采纳
1回答
我试图在不使用ML相关库的情况下实现逻辑回归，并且在优化成本函数时遇到了麻烦。这是否意味着我的代码中有一些错误？
或者，0.66可以是成本函数的最小值吗？我如何知道当前的成本函数值是最小的？
浏览 0提问于2020-01-02得票数 1
我正在python中从头开始尝试逻辑回归。(通过寻找概率估计，成本函数，应用梯度下降来增加最大似然).But我对第一次迭代过程应该采用哪些估计感到困惑。我将所有估计都作为0(包括截距)学习。我想知道哪些是在Scikit-learn中进行逻辑回归的初始估计？
浏览 0提问于2016-06-29得票数 0
1回答
我正在尝试用C#编写代码来实现逻辑回归。我找到了一个库(Accord.NET)，我用它来最小化成本函数。然而，我总是得到不同的最小值。因此，我认为我写的成本函数可能出了问题。
浏览 4提问于2014-07-20得票数 1
2回答
逻辑回归成本= nan
、、、、
我正在尝试实现逻辑回归模型，但仍然将'nan‘值作为成本。我用多个数据集尝试了它，但它给出了相同的结果。不同的源给出的梯度下降的实现略有不同，所以我不确定这里的梯度实现是否正确。
浏览 18提问于2020-01-22得票数 0
1回答
成本函数在R中的应用
、、、、
我正处于R中机器学习的初级阶段，我很难相信对于不同类型的回归算法，没有解决成本函数的软件包。例如，如果我想解决逻辑回归的成本函数，手动方法如下：
sigmoid <- function(z)g <- 1/(1+exp(-z))J)initial_theta <- rep(0,ncol(X))
c
浏览 3提问于2017-02-21得票数 4
回答已采纳
3回答
我正在使用批量梯度下降实现逻辑回归。有两类输入样本将被分类。类是1和0。在训练数据时，我使用了以下sigmoid函数：哪里我正在使用以下成本函数来计算成本，以确定何时停止培训。.* log(1-htheta));由于htheta的值在大多数情况下要么为1，要么为零，所以我在每一步的成本都是NaN。我应该做什么来确定每次迭代的成本值？这是logistic<em
浏览 2提问于2016-02-16得票数 17
回答已采纳
2回答
低估和高估的不同成本
、、、、
我有一个回归问题，但成本函数是不同的:低估的成本高于高估的成本。例如，如果预测值<TRUE值，则成本为3*( true -预测)^2；如果预测值>TRUE值，则成本为1*( true -预测)^2。我正在考虑使用经典的回归模型，如线性回归，随机森林等。我应该做哪些修改来调整这个成本函数？
据我所知，诸如scikit-learn之类的ML API不提供直接修改成本
浏览 1提问于2017-06-28得票数 2
1回答
线性回归的正确成本函数是什么？
、、、、
众所周知，线性回归的成本函数是：当我们使用岭回归时，我们只是添加lambda*斜率*2，但是在这里，我总是看到以下是线性回归的成本函数，在这里它是not divided by the number📷
所以，我只想知道什么是正确的成本函数，Ik都是正确的，但是在丁岭或拉索为什么我们忽略了除法部分呢？
浏览 0提问于2021-10-14得票数 1
回答已采纳
1回答
Logistic和线性回归具有不同的成本函数。但我不明白logistic回归中的梯度下降与线性回归是如何一致的。
通过推导平方误差代价函数，得到了梯度下降公式。然而，在Logistic回归中，我们使用了一个对数成本函数。我想我在这里迷路了。
浏览 0提问于2018-01-22得票数 1
回答已采纳
我正在尝试开发代码，以便在逻辑回归中找到成本函数。我想在下面用矢量化实现的forloop实现来回答。 sum_gr = sum(error.
浏览 1提问于2016-09-13得票数 0
回答已采纳
2回答
我想从零开始在python中实现Logisitic回归。其中的职能如下：
我使用了octave，我做得很好，但是不知道如何在python中开始，因为OCtave已经设置了这些包来完成工作。
浏览 6提问于2013-12-02得票数 1
回答已采纳
2回答
截距参数的正则化
、、、、
根据我所读到的线性和Logistic回归的成本函数，正则化参数(λ)被应用于除截距以外的所有项。例如，这里分别是线性回归和logistic回归的成本函数(注意j从1开始)：📷
浏览 0提问于2020-05-04得票数 4
1回答
*log(1 - sh));
我试图计算逻辑回归的成本函数。有人能告诉我为什么这不准确吗？function g = sigmoid(z)
g = 1./(1 + exp(1).^(-z));
end
浏览 0提问于2015-10-08得票数 2
回答已采纳
1回答
sigmoid(X*theta)))));
grad = (1/m) * sum (sigmoid(X*theta) - y')*X;我想知道我是否正确地实现了代价函数和梯度下降
浏览 2提问于2017-08-12得票数 3
2回答
我误解了逻辑回归公式推导中的最小值背后的想法。
这个想法是尽可能地增加假设(即正确的预测概率尽可能接近于1)，这反过来需要尽可能最小化成本函数$J(\θ)$。现在我被告知，为了让这一切都起作用，成本函数必须是凸的。我对凸性的理解要求没有最大值，因此只能有一个最小值，全局最小值。真的是这样吗？如果不是，请解释为什么不是。此外，如果不是这样，那么这意味着在成本函数中存在多个最小值的可能性，这意味着多组参数产生越来越高的概率。这个是可能的吗？或者，我可以确定
浏览 3提问于2016-10-09得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
