使用tf.data.Dataset进行模型训练会引起形状误差；为什么？
使用tf.data.Dataset进行模型训练可能会引起形状误差的原因是数据集中的样本形状不一致。tf.data.Dataset是TensorFlow中用于处理大规模数据集的高级API，它可以对数据进行预处理、批处理、随机化等操作，以提供给模型进行训练。
当数据集中的样本形状不一致时，例如图像数据集中的图片尺寸不同，或者文本数据集中的句子长度不同，使用tf.data.Dataset进行处理时会出现形状误差。这是因为在模型训练过程中，输入数据的形状必须是固定的，否则会导致计算图中的张量形状不匹配，从而引发错误。
为了解决这个问题，可以使用tf.data.Dataset的一些方法来处理不同形状的样本。例如，可以使用tf.data.Dataset.map()方法对每个样本进行预处理，将其调整为统一的形状。对于图像数据集，可以使用tf.image.resize()方法将图片调整为相同的尺寸；对于文本数据集，可以使用tf.strings.split()方法将句子拆分为单词，并使用tf.RaggedTensor或tf.TensorPadding等方法将它们填充为相同的长度。
另外，还可以使用tf.data.Dataset.padded_batch()方法对样本进行批处理，并指定填充的形状。这样可以确保每个批次中的样本具有相同的形状，从而避免形状误差。
总结起来，使用tf.data.Dataset进行模型训练可能会引起形状误差的原因是数据集中的样本形状不一致。为了解决这个问题，可以使用tf.data.Dataset的方法对样本进行预处理和批处理，以确保每个样本具有相同的形状。具体的处理方法可以根据数据集的特点选择合适的操作，例如调整图像尺寸、填充文本长度等。
相关·内容
1回答
深度神经网络内存不足
、、、、
我用Tensorflow编写了一个模型，我的PC内存用完了，然后我在Google Colab上尝试了同样的方法，得到了同样的结果。 我的数据集形状最初是这样的： (541909, 8) 问题是我的数据集有一个名为'Description'的行，看起来是这样的： 0 WHITE HANGING HEART T-LIGHT HOLDER
1 WHITE METAL LANTERN
2 CREAM CUPID HEARTS COAT HANGER
3 KNITTED UNION FLAG HOT WATER BOT
浏览 14提问于2020-08-03得票数 1
回答已采纳
1回答
交叉验证Vs.列车验证测试
我还有一个问题是关于上述帖子中的“响亮回答”：
训练次数为k次，每次忽略训练集的不同部分。通常，这些k模型的误差是平均的。这是对要测试的每个模型参数进行的，并且选择误差最小的模型。
当我们说“选择误差最小的模型”时，这意味着：
选择平均误差最小的参数，从K模型中找出具有绝对最小误差的模型。
我们选择平均误差最小的参数，然后在整个训练集上训练一个新的模型，使用这些参数？
我们选取平均误差最小的参数，然后取所训练的K模型的平均权值。
艾恩
浏览 0提问于2019-09-27得票数 4
我想知道我是否可以使用Tensorflow数据集来训练scikit-learn和其他ML框架。
那么，举个例子，我可以用tf.data.dataset来训练xgboost，LogisticReg，RandomForest分类器等吗？也就是说，我可以将tf.data.dataset对象传递到这些模型的.fit()方法中进行训练吗？
我试过了：
xs=np.asarray([i for i in range(10000)]).reshape(-1, 1)
ys=np.asarray([int(i%2==0)for i in range(10000)])
xs =
浏览 2提问于2021-02-09得票数 4
我用tf.data.dataset解决了两个问题：
我想知道是否有可能将tf.data.dataset转换为pandas数据帧？
此外，我想知道是否可以将tf.data.dataset用于其他模型(除了tf神经网络)，例如，我可以使用tf.data.dataset来训练xgboost、LGBMClassifier、RandomForest分类器等。
你能帮忙吗？
浏览 1提问于2021-01-27得票数 0
我正在使用准备一个用于训练tf.kears模型的流数据集。使用，有没有办法创建一个节点并返回创建的tf.data.Dataset，以便在下一个训练节点中使用它？
可能不会工作，因为tf.data.Dataset不能被酸洗(deepcopy是不可能的)，另请参见。根据的说法，在MemoryDataset中进行深度复制是为了避免其他节点修改数据。有人能详细解释一下为什么/如何发生这种并发修改吗？
从上看，似乎有一个copy_mode = "assign"。在数据不可拾取的情况下是否可以使用此选项？
另一种解决方案(也在问题91中提到)是只使用一个函数在训练节点内生成流tf.data
浏览 0提问于2020-09-04得票数 3
当输入一个tf.data.Dataset训练EfficientnetB0模型时，我得到了以下错误：
ValueError: in converted code:
C:\Users\fconrad\AppData\Local\Continuum\anaconda3\envs\venv_spielereien\lib\site-packages\tensorflow_core\python\keras\engine\training_v2.py:677 map_fn
batch_size=None)
C:\Users\fconrad\AppData\Local\C
浏览 0提问于2020-04-25得票数 1
1回答
我正在使用Python的大Keras库来训练神经网络。我对一种我不明白的行为感到好奇。
通常，甚至更小的模型收敛到比小的更大的误差。
这一切为什么要发生？我希望更大的模型只是训练时间更长，但收敛到较小或相同的误差。
我对模型进行了超优化，尝试了不同数量的失学正则化，并让它有足够的时间进行训练。我试验了大约10-20k参数、5层、10M数据样本和20-100个低LR历元的模型。模型包含密集的有时是LSTM层。
浏览 0提问于2018-01-31得票数 0
1回答
在回归的目标中，训练错误的总体要点是什么(即，作出预测)？
你可能会说，“嗯，你看，训练错误可以帮助你确定哪种复杂的模型是最好的。”
对此，有些人会说，“不，你不能。低训练误差可能只是意味着你的模型符合你正在训练模型的任何数据，A.K.A超拟合。”
如果训练误差不是一个很好的性能预测指标，那么计算它有什么意义呢？
特别是当我们说，去他妈的训练错误，只是使用验证错误..。
我们什么时候会使用训练错误？
较低的训练误差可能是过度拟合的表现。这是唯一的用途吗？
浏览 3提问于2016-08-08得票数 5
4回答
对训练集模型进行评价(即训练训练模型，在同一训练集上评估回归误差/精度)，并将评价结果与模型回归误差/交叉验证(我们在同一训练集上进行交叉验证)和测试集的精度进行比较，以检查过拟合/不拟合是否是一种很好的做法吗？
据我所知，我们不应该对训练集的模型进行评估。然而，我看到一些讲座似乎促进了对训练错误的评估。
浏览 0提问于2020-08-20得票数 1
我试图对长度为200的向量的列表X进行分类，这些向量包含从长度为100的字典vocab中选择的整数值，它属于0类或1类。
X=[[1,22,77,54,51,...],[2,3,1,41,3,...],[12,17,31,4,12,...],...]
y=[0,1,1,...]
例如，np.array(X).shape=(1000,200)和y.shape=(200,)。班分一半到一半。我将标准的train_test拆分为(X，y)和(X_test，y_test)。
我的模型是：
from keras import layers as L
model = keras.models.Sequen
浏览 1提问于2018-07-16得票数 0
回答已采纳
1回答
因此，目前keras.ImageDataGenerator和tf.data.Dataset都不支持tensorflow TPU，有没有其他方法可以为Tpu上的训练模型加载图像数据？
浏览 15提问于2020-10-17得票数 0
回答已采纳
我有一个使用tensorflow后端进行文本分类的keras模型。它目前假设输入是一个整数的numpy数组。
我想修改这个，这样我就可以在原始文本上进行训练和预测。根据我收集的信息，这涉及到使用tf.transform将字符串的张量转换为整数的张量。
我已经使用tf.transform做到了这一点，但现在不确定如何将这个预处理步骤添加到我的模型中作为第一层/步骤。为了清楚起见，我的输入数据如下所示：
[{"review":"movie is great}, {"review":"awful film"}]
输出结果为：
[{"re
浏览 1提问于2018-10-20得票数 4
1回答
我使用MXNet框架使用自己的培训和推理代码在sagemaker中创建了培训工作。我能够成功地训练模型并创建端点。但是，在推断模型时，我得到了以下错误：
‘ClientError:调用InvokeEndpoint操作时出错(413)：HTTP内容长度超过5246976字节’。
我从我的研究中了解到，这个错误是由于图像的大小造成的。图像形状为(480,512，3)。我用相同形状的图像(480,512，3)训练了模型。
当我将图像调整为(240,256)时，错误就消失了。但是当我用尺寸(480,512)的图像训练模型时，产生了另一个错误“卷积中不一致的形状”。
我不明白为什么我在推理的时候会犯这个
浏览 0提问于2018-05-08得票数 0
我使用keras model_to_estimator函数训练一个tensorflow模型，然后用训练数据进行训练。这样做很好，然后我可以继续使用测试数据成功地进行预测。
在一个单独的例程中，我希望能够用最新的训练检查点加载预训练的估计器，并做更多的预测(即不进行再训练)。我看过warm_start_from，但在加载keras模型时，这似乎是不可用的。根据的理解，我可以从同一个keras模型创建一个新的估计器，并且我第一次预测它将从我指定的目录加载检查点。
下面的代码片段是我所做的尝试(最终，estimator_model2将加载到一个单独的例程中，这只是为了演示)。
modelConfig
浏览 2提问于2018-06-14得票数 0
回答已采纳
1回答
凯德罗支持tfrecord吗？
、、、、
为了使用Docker容器在AI平台上训练tensorflow keras模型，我们使用tf.data.Dataset将存储在GCS上的原始图像转换为tfrecord。因此，数据永远不会在本地存储。相反，原始图像直接转换为tfrecords到另一个桶。是否可以利用和tfrecord数据集以及tf.data.Dataset的流功能？根据，kedro似乎不支持tfrecord数据集。
浏览 2提问于2020-07-30得票数 2
回答已采纳
1回答
多项式回归中的过拟合，比较训练集的均方误差和验证集的均方误差。
我不太理解这张图。在训练模型以学习参数时，我们必须设置λ=0，因为已经选择了λ的值并继续进行培训是没有意义的。，那么，随着λ值的变化，训练错误是如何变化的呢？将数据集划分为有效数据集和训练数据集，在训练集中对模型进行训练，并通过有效集验证验证结果。
浏览 3提问于2021-12-25得票数 1
回答已采纳
1回答
我有一个采用inputs = [A, B]的神经网络，其中A和B都是Nd数组，形状为(N, ...) -即大小为N的第一维(=训练事件的数量)是对齐的。 现在我想用目标y = np.ones(N)上的输入[A, B]和y = np.zeros(N)上的[A, permute(B)]来训练我的NN。我可以通过构造我的输入来实现，如下所示： inputs = [np.vstack([A, A]), np.vstack(B, np.random.permutation(B)]
y = np.concatenate([np.ones(N), np.zeros(N)]) 然而，这意味着要对设备进行大量
浏览 16提问于2020-04-28得票数 0
回答已采纳
如果我将随机森林模型应用于R中的训练集，
forest = randomForest(y ~ ., data = dat)
pred1 = predict(forest, newdata = dat)
pred2 = forest$predicted
第二行和第三行是应用于相同数据集的相同模型，但为什么它们会给出不同的值？
pred1用于与真实响应值比较并计算训练集的均方根误差，而pred2用于与真实响应值比较并计算测试集的均方根误差(出袋误差)？
谢谢!
浏览 1提问于2018-11-17得票数 0
我已经从tfds.load加载了一个数据集，并希望丢弃某些干扰适当训练的图像/对我没有任何用处(例如，太小)。
似乎在任何地方都没有关于这个特定问题的任何信息，所以我选择了似乎最合适的方法，即数据集上的.filter(谓词)。不幸的是，谓词的输入具有不确定的形状(None，None，3)，正如预期的那样，会引发一个'int‘不能与'NoneType’相比较的错误。
在tensorflow可以解决这个问题吗?还是我不应该浪费时间？
伪码
ds_train = tfds.load('name')
ds_train = ds_train.map(lambda ds:
浏览 0提问于2021-05-12得票数 1
回答已采纳
1回答
我有一个线性回归模型，我的成本函数是误差平方和函数。我已经将我的完整数据集拆分为三个数据集:训练、验证和测试。我不确定如何计算训练误差和验证误差(以及两者之间的差异)。 训练误差是使用训练数据集计算的残差平方和误差吗？ 举个例子:如果我在Python中这样做，假设我在训练数据集中有90个数据点，那么这是训练错误的正确代码吗？ y_predicted = f(X_train, theta) #predicted y-value at point x, where y_train is the actual y-value at x
training_error = 0
for i in ran
浏览 163提问于2020-04-25得票数 1
我看到很多使用MonitoredTrainingSession或tf.Estimator作为训练框架的示例。然而，不清楚为什么我会使用其中一个而不是其他。两者都可以使用SessionRunHooks进行配置。两者都与tf.data.Dataset迭代器集成，并可以提供训练/val数据集。我不确定一个设置的好处是什么。
浏览 15提问于2019-03-20得票数 1
回答已采纳
1回答
假设我们已经训练了一个模型(由它的超参数定义)，并使用某种性能度量(比如R^2)在测试集上对它进行了评估。如果我们现在在不同的训练数据上训练相同的模型(由它的超参数定义)，我们将得到(可能) R^2的不同值。
如果R^2依赖于训练集，那么我们将获得R^2平均值附近的正态分布。因此，为了更好地了解模型的性能，不应该将各种评估中的R^2平均化吗？另外，为什么在报告模型差异的性能时不包括？这不也是评估模型性能的一个重要因素吗？
我说的不是超参数调优。我假设我们知道超参数的最佳值，我们需要估计泛化误差。我的问题是，我们只是在测试集上评估一次。
浏览 0提问于2022-04-14得票数 1
我有一个多元数据集，包含A和B。我想看看A和B样本之间是否有差异。我目前对如何做到这一点有两个想法，但我不确定它们是否有效。
对A样本进行模型训练，对B样本分别进行模型训练，并比较回归系数。
用A样本训练一个模型，比较A样本和所有B样本的误差，看看误差有什么不同。
第一个解背后的思想过程是，如果两个数据集是相似的，所计算的回归系数也是相似的。我对第二个解决方案的想法是，如果这两个数据集足够相似，在A上训练的模型应该做得比较好预测B。然后我可以做一些统计检验，证实B的误差与A的遮挡没有显著的差别。
这条思路有意义吗？系数和误差的差异是否意味着数据集中的差异？我觉得这是不可行的，因为我在任何地方都
浏览 0提问于2021-10-21得票数 2
如何在Tensorflow.js的计算方法'evaluate()‘中使用'tf.data.csv’的返回值？ 我想在TFJS上训练一个简单的模型。首先，我从CSV文件中读取数据。然后我训练模型，最后计算损失和准确率。但我无法测量由'tf.data.csv‘导入的测试数据集的准确性。 <html>
<head></head>
<script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs@latest"></script>
浏览 15提问于2020-01-16得票数 1
回答已采纳
1回答
我正试着微调一个伯特预先训练的模特。我正在处理来自yelp_polarity_reviews的tensorflow_datasets数据。我已确保：
将经过预先训练的KerasLayer模型加载到tensorflow_hub中。
使用同样的tokenizer、vocab_file和do_lower_case训练原始模型。
将dataset转换为tf.data.Dataset对象，并应用map函数将我的python函数包装在tf.py_function中。
我还提供了伯特想要的输入，即数组中的input_word_ids、input_mask和input_type_ids。
浏览 3提问于2021-07-04得票数 0
回答已采纳
2回答
我一直在使用早期停止特性的xgboost用于各种问题陈述，主要是分类。但是在处理几个不同领域的数据集时，我有如下观察
在最小的评价误差点，但是当训练和测试之间的差异(用于评估以停止训练轮)误差相对较高时，该模型似乎表现为存在过度拟合。
在这样的情况下，当我考虑在训练和测试(训练期间的评估数据)误差相当相似(虽然评估误差不是最小)的点停止训练回合时，模型表现得更好，并根据误差项估计。
因此，问题是:训练轮的次数是否应该早于最佳点(在训练和测试之间存在很高的发散误差，尽管验证误差较低)？
请假定所有的数据集都已被正确分割，用于训练、测试、验证等。
谢谢。
浏览 0提问于2018-08-16得票数 1
回答已采纳
1回答
Keras模型的精度优化而非损失
、、、、
如果我正确地理解了损失函数对模型的重要性，它将指导基于最小损失值的模型的训练。因此，例如，如果我希望我的模型被训练，以便有最小的平均绝对误差，我应该使用MAE作为损失函数。例如，为什么有时你看到有人想要达到最好的精度，但建立模型以最小化另一个完全不同的功能？例如：
model.compile(loss='mean_squared_error', optimizer='sgd', metrics='acc')
为什么上面的模型被训练来给我们最好的acc，因为在它的训练期间，它将尝试最小化另一个功能(MSE)。我知道，当已经训练的时候，模型的度量将给
浏览 1提问于2019-06-07得票数 2
回答已采纳
3回答
嘿，我正在训练一个CNN模型，我想知道如果我使用相同的数据进行验证和测试会发生什么？模型是否也对验证数据进行了培训？(我的模型看到验证数据了吗？)还是只计算了误差和准确度，并在训练中加以考虑？
浏览 6提问于2020-05-24得票数 1
回答已采纳
该模型的训练和测试数据的形状为(行，3000)。我喜欢用这个模型来预测形状为(1，5)的A。我如何重塑变量A，以便模型将其用于返回预测？这是一个文本分类模型，因此数据被矢量化。
A = ['The dog is so cute']
A = vectorizer.fit_transform(A)
#pretrained model
classifier.predict(A)
误差
---------------------------------------------------------------------------
ValueError
浏览 0提问于2020-07-01得票数 0
回答已采纳
1回答
是否可以使用一个现有的tfrecord或用于生成它的标注的子集
我正在训练几个具有相同数据的模型，每个模型只需要一个或一个用于最初创建tfrecord的标签子集。tfrecord非常大，所以我想为每个模型的标签子集创建一个。
浏览 3提问于2019-05-15得票数 0
我使用带有Tensorflow后端的Keras来构建这个问题的模型： (只是练习)。
我使用tf.data.Dataset API来训练我的Keras模型。现在，我有一个Pandas DataFrame，df_testing，它的列是complaint (字符串)和label (也是字符串)。我想预测这些新的样本。我创建了一个tf.data.Dataset对象，执行了预处理，制作了一个Iterator，并对我的模型进行了调用：
data = df_testing["complaint"].values
labels = df_testing["label"].v
浏览 0提问于2018-11-19得票数 8
1回答
我想在每分钟接收到的数据上逐步训练我的预训练的自动编码器模型。基于这线程，对model.fit的连续调用将逐步训练模型。然而，我的模型的重建误差和总体精度似乎比最初的更差。代码如下所示：
autoencoder = load_pretrained_model()
try:
while True:
data = collect_new_data()
autoencoder = train_model(data) # Invokes autoencoder.fit()
time.sleep(60)
except KeyboardInterrupt:
浏览 0提问于2022-03-20得票数 0
如果我们将训练变量和测试变量传递到均方误差函数中，那么这些变量不一定因为train_test_split函数而具有不同的形状吗？如果是这样，那么我们如何使用mean_squared_error函数来评估模型的准确性？如果我有什么误会，请告诉我。任何帮助都将不胜感激。
浏览 5提问于2019-09-27得票数 1
回答已采纳
1回答
我尝试了几个神经网络，我想知道，我什么时候才能有一个好的训练模型。
首先，训练误差下降，并在一定数量的时期保持不变，验证误差也是如此。它现在已经收敛了吗？
其次，训练误差在所有模拟时期都会下降，验证误差首先会下降，但在10个时期后会增加。我只能止步于此吗？
在哪种情况下，我会有一个训练得更好的模型？什么是所需的行为？
谢谢
浏览 15提问于2019-11-08得票数 2
我目前正在用PyTorch中的自定义优化器训练一个ResNet18模型。 我使用的是CrossEntropyLoss()和PyTorch的ResNet18模型。在tensorflow中，输出具有所需的形状，但在pytorch中，为了找到准确性，必须找到预测标签的argmax。 如果我的batch size = 64是resnet模型，为什么预测的标签是形状64,1000 这1000个值对应于什么？
浏览 167提问于2021-10-13得票数 0
回答已采纳
我发现最好是从交叉验证的角度问我的问题。下面是：
假设一个二进制分类问题，并将交叉验证应用于某一学习算法.假设CV列车误差和CV测试误差均达到90%的准确度，表明了较好的拟合效果。由于这个性能对于我们的问题是可以接受的，所以我们将训练和验证集组合成一个最终的完整数据集，并训练最终的模型。对于最后的数据集，只有训练错误可用，假设在我们的示例中这将是92%。
现在，对于这个问题:知道最终模型已经达到了92%的准确度，在最终数据集中保留8%的错误示例是否有什么用？既然这些例子是无法学习的，那么为什么不删除它们，用仅能学到的92%的数据对最终模型进行再培训呢？
备注
据我所知，在上述例子中，上述8%的
浏览 0提问于2021-02-06得票数 2
2回答
我已经实现并训练了(224,224)图像的神经分割模型。但是，在测试期间，根据测试批的形状，模型返回的结果略有不同。
下面的图像是在我的预训练模型测试中得到的结果。
第一个图像是我预测单个示例时得到的预测(让我们称之为img0) (因此，输入是[img0]，具有形状(1,224,224))。
第二个图像是对同一图像的预测，但当它与其他7个图像一起批处理时(因此，输入是[img0, img1, ..., img7]并具有形状(8,224,224))。
与第二个输出相比，第一个输出比我预期的更接近。
但是，我不明白为什么输出是不同的.这应该是正常行为吗？提前谢谢。
浏览 7提问于2021-05-04得票数 1
回答已采纳
1回答
我目前正在研究这个纸，并试图了解输入和输出的确切形状是什么。本文描述了一种以cnn-hmm为声学模型的声学模型.输入是mel滤波能量的图像，形象化为平面图.本文描述了一种电话识别的方法(据我所知)，在这些有限的重量分配方案上应用CNN应该对电话识别是有益的。
据我所知，输入的形状是9-15帧，这似乎有点混乱，因为它们不考虑一个语音可能有多少音素，也不考虑它们的长度，而只是简单地“选择”一些要操作的帧。这个数字似乎与输出没有任何联系--或者我误解了什么？
用于输出
我们使用了183个目标类标签，即61部手机的每个HMM有3个状态。解码后，最初的61个电话类被映射到一组39个类中，如在47中进行最
浏览 0提问于2017-03-28得票数 2
回答已采纳
2回答
我正在尝试使用Tensorflow训练一个模型来检测圆形、正方形、矩形等基本形状。什么是最好的输入数据集？直接加载形状或使用OpenCV查找图像的边缘并仅加载边缘图像。
我们也可以使用OpenCV检测形状。使用机器学习的额外优势是什么？
给出了用于训练模型的样本图像。
浏览 16提问于2017-06-19得票数 12
1回答
我用Keras的内置inception_resnet_v2训练CNN来识别图像.在训练模型时，我有一个数字数组作为输入，输入形状为(1000,299,299，3)，
model.fit(x=X, y=Y, batch_size=16, ...) # Output shape `Y` is (1000, 6), for 6 classes
一开始，当我试图预测时，我通过了一个形状的图像(299,299，3)，但是得到了误差。
ValueError:检查输入时出错:期望input_1有4个维，但得到了形状为(299,299，3)的数组
我重塑了我的投入：
x = np.reshape(x
浏览 1提问于2019-03-17得票数 2
回答已采纳
1回答
如何使用TFF访问标签
、、、、
我在跟踪这个和。因此，我在数据集上进行了微调，实现了传输学习，但我不知道在做预测时如何访问标签。我将数据转换为正确的形状(tf.data.Dataset)，因此我使用Keras模型进行预测。例如，如果我只想预测一个标签：keras_model.predict(federated_train_data[0])
federated_train_data由以下元素组成：
(TensorSpec(shape=(None, 32, 32, 3), dtype=tf.float32, name=None),
TensorSpec(shape=(None,), dtype=tf.int64, name=N
浏览 4提问于2022-06-09得票数 1
回答已采纳
X数据的两个常见的ML预处理步骤是标准化(例如，缩放到单位方差)和分解(将特征映射到一个新空间AIUI)。
在ML管道中实现这些步骤(包括培训/测试/验证集)的两种可能方法是：
1)对整个训练/测试/验证X数据集进行标准化/分解，然后分解成训练/测试集，并使用最小误差模型对验证集进行预测。
( ii)分成训练/测试集，然后分别对训练/测试集进行标准化/分解，并使用最低误差模型(标准化/分解后)对验证集进行预测。
这些方法中的一种比另一种更可取吗?为什么？
浏览 2提问于2015-05-12得票数 1
回答已采纳
1回答
考虑一个从训练集中训练的机器学习算法，在PAC学习模型的帮助下，我们得到了所需训练样本大小的界限，因此误差受到限制的概率(由epsilon)是有界的(由Δ)。
关于计算(时间)复杂性，PAC学习模型说了些什么。假设一个学习算法有更多的时间(比如更多的迭代)，那么误差和误差有限的概率是如何变化的
作为一种需要一小时训练的学习算法，在金融预测问题中没有实际意义。我需要的是性能如何随着算法时间的变化而变化，无论是在误差界和误差有界的概率方面。
浏览 1提问于2011-06-28得票数 0
回答已采纳
1回答
回归学习率: 0.001的训练与测试数据的比率:50%
我训练了我的神经网络，训练误差和测试误差都是从0.120开始的，然后它都稳定地减少并训练到2,105个周期。最终结果为训练误差和训练损失数据均为0.006。这是否被认为是过火、不合身，还是我犯了一个很大的错误？此外，我想问一问，如果一个良好的拟合模型有一个低的验证误差(测试误差)，但仍然略高于训练损失，那么他们之间有多远呢？例如，0.012 =验证损失(测试损失)，0.005为培训损失。一个合适的模型会像那个数字一样吗？
浏览 9提问于2017-05-08得票数 1
回答已采纳
我正在加载 (23094，71,768)，(23094，19,282)的预训练模型.
当我传递形状为(29116，72,768)的新X值时，当检查输入时会出现错误:期望的lstm_1_input具有形状(71,768)，但得到与形状(72,768)的数组。
这是我的模型总结:模型："sequential_1“
图层(类型)输出形状参数
lstm_1 (无，71,256个) 1049600
lstm_2 (无，71，64) 82176
lstm_3 (无，32) 12416
dense_1 (稠密)(无，5358) 176814
reshape_1 (重塑)(无，19,282)
浏览 2提问于2020-04-06得票数 0
作为一个整体，我对这个主题是相当陌生的，我很难理解，即使是神经网络的基础知识也是如此。不是在寻找项目计划，感谢你可能有更好的事情要做。尽管如此，任何想法或推动正确的方向都是值得赞赏的。
想象一下某种灰箱模型，热网络，电网络，等等，希望通过一个用更大的数据集训练的底层智能模型，基于很少的特征来预测回报。
我的问题是，是否有可能训练一个具有特征的模型，并为预测定义强制性的和某种良好的特征？
任何建议都是值得感谢的。
干杯
浏览 1提问于2020-06-19得票数 0
1回答
我使用线性回归来建立ML模型，但遇到了问题。这是我的结果值
Model1训练均方误差：154.96
Model1测试均方误差：72018955075415565139968.00
培训分数：0.48
测试分数：-236446352571492139008.00
我不知道为什么打印这些值是因为过拟合？
我使用的是tensorflow 1.13.1和python 3.7
浏览 5提问于2019-10-16得票数 1
2回答
我在R中使用支持向量回归来预测单变量时间序列的未来值。将历史数据分成测试集和训练集，使用R中的svm函数对测试数据建立模型，然后对训练数据使用predict()命令来预测训练集的值。然后我们可以计算预测误差。我想知道接下来会发生什么？我们有一个模型，通过对训练数据检查该模型，我们发现该模型是有效的。我如何使用这个模型来预测训练数据中的未来值？一般来说，我们在R中使用预测函数，并给它一个预测范围(h=12)来预测12个未来值。根据我所看到的，SVM的predict()命令没有这样的命令，需要一个训练数据集。我应该如何构建一个训练数据集来预测不在我们的历史数据集中的未来数据？
谢谢
浏览 9提问于2015-04-14得票数 2
我尝试按照教程创建一个DCGAN，只更改我的输入数据，但我无法将数据加载到正确的形状，以便我的模型进行训练。下面是我的代码：
import pathlib
data_dir = pathlib.Path(data_dir)
list_ds = tf.data.Dataset.list_files(str(data_dir/'*/*'))
def decode_img(img):
# convert the compressed string to a 3D uint8 tensor
img = tf.image.decode_jpeg(img, channels=1
浏览 1提问于2020-06-02得票数 0
当我在tensorflow中使用tf.data.Dataset api时，我用tensorflow训练了我的模型。我想演示我的代码的一些部分：
# This corresponds to loading the data using the tf.data.Dataset api...
names_train, detected_train, arousal_train, valence_train, liking_train, is_talking_train, images_train,\
iterator_train_all = load_train_sewa_tfrecords(fil
浏览 1提问于2018-10-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
