来自数据集的tf.train.MonitoredTrainingSession和可重初始化迭代器
tf.train.MonitoredTrainingSession是TensorFlow中的一个会话类，用于训练模型。它提供了一种简化的方式来管理训练过程中的会话，并且可以自动处理常见的训练任务，如保存模型、恢复模型、日志记录等。
tf.train.MonitoredTrainingSession具有以下特点和优势：
- 自动管理会话：MonitoredTrainingSession会自动初始化变量、创建和管理TensorFlow会话，并在训练过程中自动保存和恢复模型。
- 支持分布式训练：MonitoredTrainingSession可以与分布式TensorFlow一起使用，实现在多个设备或多个机器上进行并行训练。
- 提供训练控制：MonitoredTrainingSession提供了一些控制训练过程的选项，如最大训练步数、停止条件等。
- 内置日志记录：MonitoredTrainingSession可以自动记录训练过程中的一些指标和日志，方便后续分析和调试。
- 简化代码结构：使用MonitoredTrainingSession可以减少训练代码的复杂性，使代码更加简洁易读。
MonitoredTrainingSession的应用场景包括但不限于：
- 深度学习模型训练：MonitoredTrainingSession适用于各种深度学习模型的训练，如卷积神经网络、循环神经网络等。
- 分布式训练：当需要在多个设备或多个机器上进行并行训练时，可以使用MonitoredTrainingSession来简化分布式训练的管理。
- 模型调优和迁移学习：MonitoredTrainingSession可以方便地对已有模型进行调优或进行迁移学习，快速实现新任务的训练。
腾讯云相关产品中，与MonitoredTrainingSession相对应的是腾讯云的AI引擎PAI（腾讯云人工智能平台）。PAI提供了一整套的人工智能开发工具和服务，包括模型训练、模型部署、数据管理等，可以方便地进行深度学习模型的训练和部署。具体产品介绍和链接地址请参考腾讯云官方文档：腾讯云PAI产品介绍
可重初始化迭代器是TensorFlow中的一个功能，用于在训练过程中多次使用同一个数据集。在使用可重初始化迭代器时，首先需要定义一个迭代器对象，然后通过tf.data.Iterator.initializer方法来初始化迭代器，并在训练过程中多次调用该方法来重复使用数据集。
可重初始化迭代器的应用场景包括但不限于：
- 多次使用同一个数据集：当需要在训练过程中多次使用同一个数据集时，可重初始化迭代器可以方便地实现数据集的重复使用。
- 数据集切换：当需要在不同的训练阶段使用不同的数据集时，可重初始化迭代器可以方便地切换数据集，提高训练的灵活性。
腾讯云相关产品中，与可重初始化迭代器相对应的是腾讯云的数据处理引擎DPE（腾讯云数据处理引擎）。DPE提供了一系列数据处理和分析的工具和服务，包括数据集成、数据清洗、数据转换等，可以方便地进行大规模数据处理和分析。具体产品介绍和链接地址请参考腾讯云官方文档：腾讯云DPE产品介绍
相关·内容
我需要在每个训练阶段结束时进行验证。为此，我计划使用tf.cond在从tf.data.TFRecordDataset读取的培训数据和验证数据之间进行选择。原始数据将通过map、shuffle、repeat和batch函数获得next_element中的张量列表(请参见下面的代码)。
import tensorflow as tf
def read_from_tfrecords(
pred, # tf.bool
## parameters for pred==True
filenames_A,
batch_size_A = 20,
num_epoc
浏览 4提问于2018-02-03得票数 1
回答已采纳
建议使用可反馈迭代器在训练数据集和验证数据集之间切换，而不重新初始化迭代器。它主要要求进给手柄在它们之间进行选择。
如何与tf.train.MonitoredTrainingSession一起使用
下面的方法在"RuntimeError:图是最后确定的并且不能修改“时失败。错误。
with tf.train.MonitoredTrainingSession() as sess:
training_handle = sess.run(training_iterator.string_handle())
validation_handle = sess.run(valida
浏览 4提问于2017-09-08得票数 6
回答已采纳
1回答
我正在尝试理解使用tf.Session和tf.train.MonitoredTrainingSession之间的区别，以及我可能更喜欢哪一种。似乎当我使用后者时，我可以避免许多“琐事”，比如初始化变量、启动队列运行器或设置用于摘要操作的文件写入器。另一方面，使用监视的训练会话，我不能指定我想要显式使用的计算图。所有这一切对我来说似乎都很神秘。这些类是如何创建的，背后有没有什么我不理解的基本原理？
浏览 1提问于2017-04-06得票数 35
回答已采纳
我试图向我的模型提供小批量的numpy数组，但我被批处理所困住了。使用'tf.train.shuffle_batch‘会引发错误，因为'images’数组大于2 GB。我试图绕过它并创建占位符，但当我尝试向数组提供数据时，它们仍然由tf.Tensor对象表示。我主要关心的是，我在model类下定义了操作，并且在运行会话之前不会调用对象。有没有人知道如何处理这个问题？
def main(mode, steps):
config = Configuration(mode, steps)
if config.TRAIN_MODE:
images, labe
浏览 18提问于2018-03-01得票数 4
回答已采纳
2回答
模型是
class WeeklyStrMst(BaseModel):
StoreId = models.AutoField(primary_key=True)
TDLinx_No = models.IntegerField(blank=True, null=True, default=None)
Week = models.IntegerField(blank=True, null=True, default=None)
Week_Number = models.IntegerField(blank=True, null=True, default=None)
浏览 3提问于2022-04-30得票数 2
回答已采纳
我最近学到了很多Haskell，并想尝试一下它在Python中的一些巧妙技巧。据我所理解，Python的reduce会自动设置迭代变量和函数中的累加器，并将其传递给reduce中给出的列表的前两个值。在Haskell中，当我使用它的等效折叠时，我可以指定我想要的累加器是什么。有什么方法可以用Python的reduce来完成吗？
浏览 0提问于2015-12-08得票数 5
看起来好像是MonitoredTrainingSession在做一些操作(日志记录？)在第一次调用.run(..)之前，这意味着当我这样做时：
train_data = reader.traindata() # returns a tf.contrib.data.Dataset
it = tf.contrib.data.Iterator.from_structure(train_data.output_types, train_data.output_shapes)
init_train = it.make_initializer(train_data)
ne = it.get_next()
浏览 6提问于2017-08-30得票数 12
回答已采纳
在不同的平台和不同的编译器(clang和g++)上，我遇到了不同的代码行为。对于Linux上的g++，这段代码似乎没有问题。内部循环在两次迭代后留下。但是在Mac上使用clang，内部循环似乎没有找到range.second，代码也没有终止。
由于在迭代期间有一个插入到std::unordered_multimap中，我的问题是这是否会导致不想要的行为。
typedef pair< vector<int>, vector<int> > VPair;
typedef pair< vector<int>, VPair > V_VPair;
浏览 2提问于2017-12-12得票数 1
回答已采纳
2回答
我正在尝试准备一个从csv文件加载的自定义数据集，以便在火炬文本文本二进制分类问题中使用。这是一个基本的数据集，新闻标题和市场情绪标签被指定为“正面”或“负面”。为了达到这个目的，我一直在关注一些关于PyTorch的在线教程，但是他们在最新的火炬文本包中做了一些重大的修改，所以大部分内容都过时了。
下面，我成功地将我的csv文件解析为一个包含两列的熊猫数据格式--文本标题和一个标记，该标签要么为正/负，要么为正/负，然后分裂成一个训练和测试数据集，然后将它们包装为一个PyTorch数据集类：
train, test = train_test_split(eurusd_df, test_size
浏览 8提问于2022-07-30得票数 2
回答已采纳
我有这样一个模型，我每月要取published count，under process count，rejected count，received count
class PreData(models.Model):
status=models.CharField(max_length=200,default=None,null=True)
receivedon=models.DateField(default=None,blank=False,null=True)
publishedon = models.DateField(default=None, blan
浏览 0提问于2018-04-23得票数 2
回答已采纳
我有一个巨大的数据集(大约50 it )，我使用Python生成器加载它，如下所示：
def data_generator(self, images_path):
with open(self.temp_csv, 'r') as f:
for image in f.readlines():
# Something going on...
yield (X, y)
重要的是，我正在使用单个生成器进行培训和验证数据，并试图在运行时更改self.temp_csv。但是，事情并没有像预期的那样进行，通过更新变量s
浏览 1提问于2018-09-22得票数 0
回答已采纳
我想尝试一下MonitoredTrainingSession，但是我也使用几个Dataset对象来训练和验证集。要选择正确的句柄，正如建议的那样，我使用字符串句柄。但是，为了在训练时将句柄传递给feed_dict，我需要首先评估它。如下所示：
handle = sess.run(iterator.string_handle())
但是，当我在MonitoredTrainingSession上下文中这样做时，我会得到一个错误：
RuntimeError: Graph is finalized and cannot be modified.
正如我想的那样，解决方法是为Scaffold对象创建一个
浏览 0提问于2017-12-29得票数 0
我按照示例创建了一个具有参数服务器和n个工作人员的分布式tensorflow模型。我没有GPU，所有的工作都是在CPU上分配的。
在首席工作人员中，我希望每隔几步保存我的变量，但是调用保护程序会导致以下异常：
Cannot assign a device to node 'save_1/RestoreV2_21':
Could not satisfy explicit device specification
'/job:ps/task:0/device:CPU:0' because no devices matching that
specificati
浏览 4提问于2017-02-22得票数 3
回答已采纳
1回答
在Python3中，我试图找出关于减()和函数作为函数参数的方法，或者更好地将一个函数作为另一个函数的参数传递，如果第一个参数不是显式的，请参见下面的
给予：
# define a function `call` where you provide the function and the arguments
def call(y,f):
return f(y)
# define a function that returns the square
square = lambda x : x*x
# define a function that returns the increm
浏览 3提问于2020-04-27得票数 2
回答已采纳
2回答
减少函数不处理空列表
、、、
我以前创建了一个递归函数来查找列表的乘积。现在我已经创建了相同的函数，但是使用了reduce函数和lamdba。
当我运行这段代码时，我得到了正确的答案。
items = [1, 2, 3, 4, 10]
print(reduce(lambda x, y: x*y, items))
但是，当我给出一个空列表时，会出现一个错误- reduce() of empty sequence with no initial value。为什么会这样呢？
当我创建递归函数时，我创建了处理一个空列表的代码，是否因为它不是为处理和空列表而设计的？或者还有别的原因？
我似乎找不到一个问题或任何在网上解释为什么，我
浏览 1提问于2015-11-26得票数 7
回答已采纳
1回答
可迭代迭代器
、、、
with open("weather_data.csv", 'r') as data_file:
data = csv.reader(data_file)
for x in data:
print(x)
我的理解是：csv.reader(data_file)是一个可迭代的，它调用iter(self)并作为迭代器返回_i。此_i每次调用next()以进入下一次迭代。但是，我使用print(help(csv.reader(data_file))并发现
Methods defined here:
|
| __iter__(s
浏览 3提问于2021-06-07得票数 0
回答已采纳
3回答
std::unordered_set的值是不可变的，因为它们既是键又是值。如果首先删除、修改并重新插入元素，那么修改std::unordered_set元素的正确方法是什么？erase不会使任何迭代器失效，但是insert可以。显而易见的答案是使用迭代器，即erase返回。我想，有一种方法可以解决这个问题，那就是在成功的插入之后，将循环迭代器重置到unordered_set的开头。我想确认一下，这是唯一的办法。
浏览 6提问于2014-02-23得票数 3
回答已采纳
我正在使用tensorflow的tensorflow.data.Dataset api。但是，我需要动态地创建数据集，过滤掉其他数据集的元素。虽然培训进行得很好，而且我可以迭代训练集和dev集，但是当我用刚才使用过滤器创建的新数据集重新初始化迭代器时，我会收到以下异常：
tensorflow.python.framework.errors_impl.NotFoundError: Function tf_predicate_5HKZIzWZBv8 is not defined.
我使用以下函数从dataset中创建一个初始值：
self.iterator.make_initializer(dat
浏览 0提问于2018-10-22得票数 2
回答已采纳
所以问题就在这里
let iterable = ['a', 'b', 'c'];
let iterator = iterable[Symbol.iterator]();
iterator.next(); // { value: 'a', done: false }
我可以从头开始迭代吗?还是必须重新初始化iterator = iterable[Symbol.iterator]()？
浏览 1提问于2016-06-23得票数 0
回答已采纳
已创建数据集：
data x;
infile datalines truncover;
input name $100.;
datalines;
Deepanshu
How are you, deepanshu
dipanshu
deepanshu is a good boy
My name is deepanshu
Deepanshu Bhalla
Deepanshuuu
DeepanshuBhalla
Bhalla Deepanshu
;
run;
编写了以下代码：
data test;
set x;
if _n_ =1 then do;
retain re;
re = prxparse(
浏览 3提问于2020-07-03得票数 1
1回答
我试图了解在编译和加载程序的不同阶段，内存分配是如何工作的。
1)编译器和汇编程序生成从地址0开始的代码和数据部分。
2)链接器通过将内存位置与每个符号定义关联起来重新定位这些部分，然后修改对这些符号的所有引用，使它们指向该内存位置。
3)加载程序在进程的上下文中将程序加载到主内存，并且
因此，分页和所有与内存管理相关的操作就是在这一步完成的。
我的问题是关于两件事：
1)链接器分配的地址与装载机分配的地址是如何相关的。我们可以调用链接器地址虚拟地址吗？
2)是否所有程序都有相同的虚拟地址(最终映射到不同的物理地址？)
浏览 2提问于2016-11-10得票数 1
回答已采纳
使用tensorflow，我已经创建了一个dataset = tf.data.TFRecordDataset(filename)和iterator = dataset.make_one_shot_iterator()。然后，在每一轮中，iterator.get_next()都会给出一小批数据作为输入。 我正在用Dropout层训练一个网络，所以我应该写这样的东西： sess.run(train_op,feed_dict={keep_prob:0.5})
accuracy,loss = sess.run([acc,loss],feed_dict={keep_prob:1.0}) 其中keep_
浏览 20提问于2018-12-19得票数 0
这样做没问题：
In [104]: i = [(1, 'a')]
In [105]: dict(i)
Out[105]: {1: 'a'}
似乎我有一个包含一个元组的列表，我在其中调用了dict()函数，并返回了一个字典。
我并没有因为打电话而改变：
In [114]: i
Out[114]: [(1, 'a')]
如果我试试这个：
In [108]: i = (1, 'a')
In [109]: dict(i)
我得到TypeError:无法将字典更新序列元素#0转换为序列。
我想这是因为元组是不可变的。如果是真的，我什么也
浏览 10提问于2017-10-06得票数 4
回答已采纳
当我们需要逐个样本提供数据时，通过dataset管道动态地输入数据的新方法(在急切的执行下)是什么？
我有一个tf.data.Dataset，它执行一些预处理步骤，并从生成器读取数据，在培训期间从大型数据集中提取数据。
假设dataset表示为：
ds = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6])
ds = ds.map(tf.square).shuffle(2).batch(2)
iterator = tf.data.make_one_shot_iterator(ds)
经过培训，我想要产生各种可视化，这要求我一次给一个样本
浏览 1提问于2019-07-08得票数 3
回答已采纳
我尝试通过以下方式获取结果集的行数：
rs.last();
int row_count = rs.getRow();
但是我得到了一个Invalid operation for forward only resultset : last错误。结果集从Oracle 10g数据库获取数据。
下面是我如何设置我的连接：
Class.forName("oracle.jdbc.driver.OracleDriver");
String connectionString = "jdbc:oracle:thin:@" + oracle_ip_address +
浏览 1提问于2012-01-26得票数 21
回答已采纳
我正在学习Python的数据结构和算法。对于我正在使用的教科书，我重新讨论了一个我从未理解过的问题。对于下面的用户构建的Range类，为什么像x在范围(0，5)中工作呢？本质上，为什么索引会自动移动？没有对getitem或len的调用。
我已经阅读了Python教程和类部分，但还没有弄清楚这一点。
class Range:
"""A class that mimic's the built-in range class."""
def __init__(self, start, stop=None, step=1):
&
浏览 1提问于2019-01-05得票数 0
回答已采纳
Pytorch中的地图样式数据集具有__getitem__()和__len__()，而迭代式数据集具有__iter__()协议。如果我们使用地图样式，我们可以使用dataset[idx]访问数据，这很棒，但是对于可迭代的数据集，我们不能。
我的问题是，为什么这种区别是必要的？是什么让随机读取的数据如此昂贵，甚至不太可能？
浏览 0提问于2020-08-11得票数 4
为什么生成器既是可迭代的又是迭代器是有用的/必要的？
我认为迭代器和迭代器是非常不同的，例如集合是可迭代的，这意味着我可以在它上请求一个迭代器，每次我这样做，我就会得到一个新的迭代器，它允许我遍历整个集合一次。
生成器似乎最像迭代器，也就是说，一旦您对它的元素进行了遍历，您就不能再用它做任何事情了，但是除了实现next()之外，它还实现了可迭代的get迭代器逻辑，但是只有这样，这个逻辑才会返回生成器本身：
$ node
> const genFn = function* () { yield *[1, 2, 3]; }
> const gen = genFn();
> gen
浏览 0提问于2018-03-08得票数 5
回答已采纳
根据，__DATA,__const保存初始化的可重定位常量变量。我稍微戳了一下，看起来gcc在__DATA, __const中放置了初始化的const结构和数组。为什么不是__TEXT,__const呢？
例如，和是初始化的const结构，而是数组。
nm -m MinefieldNoPic.app/Contents/MacOS/firefox-bin |grep Koi8rModel
000000010156ce80 (__DATA,__const) non-external _Koi8rModel
nm -m MinefieldNoPic.app/Contents/MacOS/firef
浏览 6提问于2009-12-01得票数 2
回答已采纳
我有以下问题。我必须以生成器的形式实现一个函数，它需要任意数量的可迭代对象。可以假设迭代器每次都以相同的顺序发布它们的元素。该函数应该返回所有迭代器中相同位置的所有元素(视图断言)： def intersect(*iterables, **kwiterables):
for obj in iterables:
#need help here :)
#already tried something like:
# obj = (var for var in obj if var in iterables)
yield obj
#
浏览 6提问于2019-12-06得票数 2
回答已采纳
我有以下代码：
std::unordered_map<std::string, std::string> map;
map["k1"] = "v1";
auto& v1 = map["k1"];
map["k2"] = "v2";
读完后
备注
交换函数不会使容器中的任何迭代器失效，但它们会使标志着交换区域结束的迭代器失效。
对存储在容器中的键或数据的引用和指针仅通过擦除该元素而失效，即使相应的迭代器无效。
看起来在插入新值之后可以安全地使用v1，即使在插入过程中可能会发生重哈希。
我
浏览 1提问于2016-10-05得票数 20
回答已采纳
我有两个问题。
我使用Keil uVision ( 5.14.2.1)和北欧半导体nRF24LE1 (8051单片机)
问题1
我有两个源文件。Main.asm和Functions.asm --我正在Main.asm中创建一个代码段，并希望将用Functions.asm编写的代码放在同一个段中。有可能吗?我该怎么做？参见下面的例子，我是如何尝试这样做的。
Main.asm
; Main.asm
extrn code (extFunc)
?PR?SEG?A segment code
?PR?SEG?B segment code
浏览 7提问于2016-04-18得票数 0
回答已采纳
我正在用Django和Vue.js写一个网站。虽然我在这两个方面都是初学者，但我感到惊讶的是，我似乎不能事先知道查询集的下一项的值。我想知道在Django中有没有办法做到这一点。例如，我在数据库上执行搜索，它返回一个查询集，然后我开始一个接一个地调用查询集的元素。有没有办法提前知道下一步？
def fetch_question(request):
question_id = request.GET.get('question_id', None)
response = Question.objects.filter(pk=question_id
浏览 0提问于2019-07-29得票数 0
在使用STL的C++中，可以在迭代时更改hashmap吗？
显然，您可以更改迭代器变量本身(iter->first和iter->second)，但您可以：
更改迭代器不一定指向的现有键的值？
加新钥匙？
浏览 3提问于2014-02-28得票数 1
我正在浏览validation_curve的sci学习文档，并看到它返回了两组不同的数据：
返回
train_scores:训练集上的形状数组(n_ticks，n_cv_folds)分数。
test_scores:形状数组(n_ticks，n_cv_folds)在测试集上得分。
在给定的函数中，我们只传递一个X和y数组，它如何从传递的训练数据中计算test_scores，它是否执行固有的train_test_split？
sklearn.model_selection.validation_curve(estimator, X, y, *,
param_name, param_ran
浏览 6提问于2020-10-18得票数 0
1回答
迭代器与生成器对迭代器
、、、、
我是Python的新手。我能够理解Iterables和Iterators。然而，我已经看到，有很多东西比较Generators和Iterators。
据了解，Iterable是一个实际存储在其中的元素(例如列表)的对象。他们遵循一个迭代协议，其中实现了__iter__()方法，该方法返回一个Iterator对象，该对象有助于迭代Iterable。
根据我的理解，Generators帮助动态生成数据，而不是在内存中创建大数据结构并返回。我们也可以通过使用Iterators来实现simialr的目标。
现在我怀疑，如果我们已经拥有了Iterators，那么Generators的需求是什么，因为两者
浏览 1提问于2017-12-11得票数 7
1回答
迭代器的c++向量
、、、
我知道我可以在一个vector<int*> onev_point_2_all上使用std::vector<int>循环来指向向量的数量，等等。但是我如何使用迭代器做到这一点呢?有没有一种方法可以创建迭代器的向量而不是指针的向量？
浏览 0提问于2010-10-25得票数 1
回答已采纳
假设到目前为止，您有一个与feed_dict一起工作的网络将数据注入到图形中。每隔几个时期，我就会通过将一批数据集输入到我的图表中来评估培训和测试损失。
现在，出于性能考虑，我决定使用一个输入管道。看看这个虚拟的例子：
import tensorflow as tf
import numpy as np
dataset_size = 200
batch_size= 5
dimension = 4
# create some training dataset
dataset = tf.data.Dataset.\
from_tensor_slices(np.random.normal
浏览 0提问于2018-10-01得票数 2
回答已采纳
我已经从youtube-8m project下载了一些*.tfrecord数据。您可以使用以下命令下载数据的“一小部分”： curl data.yt8m.org/download.py | shard=1,100 partition=2/video/train mirror=us python 我正在尝试了解如何使用新的tf.data应用编程接口。我想熟悉人们迭代数据集的典型方式。我一直在使用TF网站和这张幻灯片上的指南：Derek Murray's Slides 下面是我定义数据集的方式： # Use interleave() and prefetch() to read many
浏览 21提问于2019-06-01得票数 8
我确信这是可能的，但我还没能弄明白。使用带有num_split=5的TimeSeriesSplit给出一个训练数据集，拆分如下所示： [0] : [1]
[0 1] : [2]
[0 1 2] : [3]
[0 1 2 3] : [4]
[0 1 2 3 4] : [5] 问题是对于前几个通道，TfidfVectorizer使用的是名义数量的词汇/特征，我想在拆分之前在整个训练集上运行它，以便所有拆分的特征大小保持相同。 然而，除此之外，有没有人知道一种方法，在使用TimeSeriesSplit时，只通过该系列中的最后两个拆分？因此，GridSearchCV只使用这两个拆分，而不是全部5个拆
浏览 16提问于2019-02-22得票数 0
回答已采纳
1回答
执行以下操作时正确的gnu程序集语法是什么：
.section .data2
.asciz "******* Output Data ********"
total_sectors_written: .word 0x0
max_buffer_sectors: .word ((0x9fc00 - $data_buffer) / 512) # <=== need help here
.align 512
data_buffer: .asciz "<The actual data will overwrite this>"
具体来说，我在写一个
浏览 5提问于2017-05-03得票数 4
回答已采纳
在《使用Scikit-Learn，Tensorflow和Keras操作ML》一书中，作者解释了如何使用数据API有效地操作、转换和传递数据到模型，他编写了以下函数：
def csv_reader(filepaths, batch_size=32):
dataset = tf.data.Dataset.list_files(filepaths)
dataset = dataset.interleave(lambda filepath:
tf.data.TextLineDataset(filepath).skip(1), cycle_length=5)
datase
浏览 14提问于2020-02-19得票数 0
官方的TensorFlow 声明如下：
虽然使用feed_dict提供数据提供了高度的灵活性，但通常feed_dict并不提供可伸缩的解决方案。如果只使用一个GPU，则tf.data API和feed_dict性能之间的差异可以忽略不计。我们的建议是避免在除普通示例之外的所有示例中使用feed_dict。特别是，避免使用具有较大输入的feed_dict。
然而，完全避免使用feed_dict似乎是不可能的。考虑使用培训、验证和测试数据集进行以下设置。
ds = tf.data.Dataset
n_files = 1000 # total number of tfrecord files
浏览 0提问于2018-09-20得票数 1
我们需要使用分布式Tensorflow中的“图形间复制”来定义多个客户端(每个客户端创建和构建Tensorflow会话/图)。通常，客户端和工作进程在同一进程中，tf.train.MonitoredTrainingSession()协调这些Tensorflow会话。
现在，如果每个客户端和工作进程不在同一进程中，并且我希望客户端使用grpc来远程驱动工作任务，我想知道tf.train.MonitoredTrainingSession()或一些API是否支持此功能，或者是否有人有其他解决方案或想法。(我知道tf.Session(<grpc_url>)支持grpc，但它不能协调多个Te
浏览 1提问于2017-03-30得票数 0
我有一个netcdf文件(data1)，它包含(纬度、经度、时间)，我想提取特定的(纬度、经度)点。为了做到这一点，我用字典。
lats=[20,40]
lons=[-135,-75]
names=['jib', 'jibb']
d={}
for i in lats:
for j in lons:
for k in names:
d[k]=data1.sel(latitude=i).sel(longitude=j)
这只是一个数据毫无意义的例子。然而，当我打印出jib和jibb时，它们有相同的纬度和经度。为什么会这
浏览 1提问于2020-07-21得票数 1
回答已采纳
Iterator和Iterable有什么区别？一种是另一种的吗？一些实际应用程序的实际差别是什么？
我正在尝试阅读一些教程和规范，但它们都非常复杂。
(如果这有帮助的话，我正在使用ES6和Babel。)
浏览 3提问于2016-04-26得票数 9
回答已采纳
所有的官方google教程都使用one shot迭代器来实现所有的估计器api，我找不到任何关于如何使用tf.data的可初始化迭代器和可重初始化迭代器而不是one shot迭代器的文档。
谁能告诉我如何使用tf.data的可初始化迭代器和可重初始化插入器在train_data和test_data之间切换。我们需要运行一个会话来使用feed dict，并在可初始化的迭代器中切换数据集，这是一个低级api，如何使用它是estimator体系结构的一部分，令人困惑
PS :我确实发现google提到“注意:目前，one-shot迭代器是唯一可以轻松使用Estimator的类型。”
但是在社区中有没
浏览 2提问于2018-08-01得票数 5
1回答
集合构造函数
、、
您能解释一下deque的构造函数吗？
import collections
buff = collections.deque([], 100)
我看到了它的文档，但找不到这个表单在任何地方使用。
浏览 5提问于2016-06-14得票数 2
回答已采纳
1回答
我创建了Dataset API管道和seq2seq编解码器模型。
我正在创建两个不同的解码器(它们的重量相同)：
一个用来训练我的模型，使用老师强迫(TrainHelper)
一个用来测试我的模型，使用解码器输出作为输入(GreedyEmbeddingHelper)
但是，我不能使用我的模型，因为我要调用解码器函数两次：
将训练数据集作为参数来建立我的模型
将测试数据集作为参数来构建我的模型
调用该函数两次，我会复制一些变量。
下面是我的译码器功能，它同时创建了训练和推理解码器：
def decoder(target, hidden_state, encoder
浏览 2提问于2019-08-09得票数 2
回答已采纳
1回答
经过预处理后，我的数据集由160万行和17000列组成。我想对这些数据使用逻辑回归，但是每次加载数据集时，流程都会被终止。是否有一种方法可以通过在每次迭代中更新系数来训练一个逻辑回归模型。滑雪板对我的问题有什么支持吗？
浏览 0提问于2019-02-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
