因此，这是一个有点奇怪的问题，因为它与如何使用该工具无关，但更多的是关于为什么要使用它。 我正在部署一个模型，并考虑使用Apache-beam的python API来运行特征处理任务。文档非常庞大和复杂，但我经历了大部分，甚至建立了一个小的工作管道，仍然不清楚这是否是适合我的工具。下面是我需要的一个示例： Input data structure
浏览 25提问于2020-06-11得票数 0
我正在尝试复制一些我在熊猫中做过的数据预处理到tensorflow变换中。我有几个CSV文件，我加入了这些文件，并与熊猫进行聚合，以生成一个培训数据集。现在，作为生产模型的一部分，我希望使用apache和tensorflow变换进行这种预处理。然而，我不太清楚如何在那里复制相同的数据操作。对于熊猫来说，这将是一个非常简单的操作，但是我如何在运行在apache beam上的tenso
浏览 4提问于2022-03-25得票数 0
回答已采纳
我们正在建立一个基于Google的机器学习管道，利用GC引擎进行分布式TensorFlow培训和模型服务，并利用DataFlow进行分布式预处理工作。我们希望在Google上以DataFlow作业的形式运行Apache应用程序。提供了将我们的预处理开发与参数化操作(参见此处： )分离开来的能力--基本上：
A)在PipelineOptions派生类型中，将选项类型更改为ValueProvider (python :类型推断还是类型
浏览 7提问于2017-03-21得票数 1
回答已采纳
1回答
我正在使用Apache对TensorFlow数据进行预处理。我想根据我的数据集中的示例数来选择TFRecord碎片的数量。守则的有关部分是：num_tfexamples = tfexample_strs | "count tf examples" >> beam.combiners.Count.Globally()
num_shards = num_t
浏览 1提问于2018-03-07得票数 3
回答已采纳
1回答
概述 我遵循以下指南编写TF记录，其中我使用tf.Transform对我的特征进行预处理。现在，我想部署我的模型，为此，我需要在真实的实时数据上应用此预处理功能。我的方法 首先，假设我有两个特性： features = ['amount', 'age'] 在working_dir=gs://path-to-transform-fn/中，我有来自Apache
浏览 28提问于2019-01-08得票数 9
我有一个(键，值)对的PCollection，其中值本身是一个列表 {'apple': ['1','2'], 'apple': ['9','10']} 我希望获得另一个具有相同键的集合，但是列表是原始集合上的GroupByKey，但是结果值是扁平化的<
浏览 20提问于2021-10-18得票数 2
回答已采纳
2回答
这个问题是的后续问题.我正在尝试使用apache从google扳手表中读取数据(然后进行一些数据处理)。;import org.apache.beam.sdk.io.gcp.spanner.SpannerIO;import org.apache.
浏览 6提问于2017-10-11得票数 4
问题描述在个人记录(病人)层次上进行预处理，即提取原始数据中的某些特征，存储它们。计算时间序列中的一些斜率等，所有这些都可以在单独的水平上进行，并且可以很容易地分布。在
浏览 0提问于2017-06-05得票数 3
1回答
我想使用Apache Mahout和朴素贝叶斯分类器对一堆文档进行分类。我做了所有的预处理，并将训练数据集转换为特征向量，然后训练分类器。现在我想把一堆新的实例(待分类的实例)传递给我的模型，以便对它们进行分类。
然而，我的印象是，必须对我的待分类实例和训练数据集一起进行预处理？如果是这样，为什么我可以在构建模型时没有要分类的实例的</e
浏览 1提问于2015-07-08得票数 0
我正在尝试读取管道中的JSON文件(多行)，但beam.io.ReadFromText(somefile.json一次只读取一行。我试图以JSON的形式读取文件的内容，以便在每个类别上应用map来下载相关的产品文件。这就是我的(productindex.json)文件JSON的样子： "productcategories" : { "productfile：
w
浏览 0提问于2019-02-19得票数 2
2回答
用编写每个窗口的唯一拼花文件
、、、、
我试图用apache将从kafka消费者到google云存储的消息通过30秒的 windows传输到谷歌云存储。使用beam_nuggets.io阅读卡夫卡的主题。您可以看到我的代码如下：from apache_beam.transforms.trigger import AfterAny, AfterCount, AfterProcessin
浏览 3提问于2021-10-18得票数 2
请帮助我选择一个正确的工具。我的任务是:有N个数据源(N < 20)，它可以是关系数据库(MySQL，PostgreSQL)，也可以是REST。我需要将来自N个数据源的所有数据加载到一个关系数据库中(仅一次)。因此，最终目标似乎是一个简单的ETL：(注:每个源DB包含10-15个耦合表，有100 000至1000行)
我目前正试图找到合适的<em
浏览 0提问于2020-02-19得票数 0
回答已采纳
2回答
因此，我需要对螺旋数据集进行分类。我一直在试验一系列算法，如KNN，Kernel SVM等。我想尝试使用特征工程，预处理等来提高Logistic回归的性能。我完全理解Logistic回归不是解决这类问题的合适算法。这更像是对预处理和其他特征工程/提取方法的学习练习，看看我可以在多大程度上改进这个特定的模型。 以下是我将用于分类的示例数据集。任何关于如何操作数据集以在Log
浏览 44提问于2021-07-12得票数 0
回答已采纳
3回答
title': 'doctor evil','url': 'evilempyre.com', 我也想尝试不同的特征提取方法: TFIDF、word2vec、Coutvectorizer等，但我想尝试不同的组合:一个特征集将包含用TFIDF转换的' text‘数据，而&#x
浏览 3提问于2017-12-19得票数 5
回答已采纳
我试图了解更多关于，Mule ESB，JBoss ESB]...and的大体关于的知识。我可以在Apache Camel中找到几个ESB特征。那么，我可以像ESB一样使用Apache Camel吗，或者Apache ServiceMix是最合适的吗？
浏览 19提问于2017-06-10得票数 2
回答已采纳
下面是从csv文件中读取并写入另一个csv文件和BigQuery的代码：import loggingimport apache_beam as beamfrom apache_beam.io import ReadFromTextfrom apache_beam.m
浏览 4提问于2017-07-31得票数 0
回答已采纳
__': run()1030numbers虽然我认为我会看到与输入类型提示相同的错误，但没有出现任何错误。我是不是误解了输出类型提示的用法？如果是这样的话，我可以问一下with_output_type的预期行为吗？如果有人能帮助我理解目前关于typehint的正确行为是什么，我将不胜
浏览 3提问于2017-12-26得票数 1
2回答
当我在木星实验室运行以下代码时from sklearn.feature_selection import SelectKBest,f_classif
predictors = ["Pclass","Sex","Age","SibSp","Parch","Fare","Embarked","FamilySize","Title","NameL
浏览 4提问于2021-12-20得票数 0
回答已采纳
我有一个基本的Beam管道，它从GCS读取，做一个Beam转换，并将结果写到BigQuery。..但是，当我试图用sum进行聚合时，它就失败了(抛出一个CannotPlanException异常)：Step #1:
Step #1: at org.apache.beam.repackaged.beam_sdks_java_extensions_sql.org.a
浏览 1提问于2018-09-13得票数 0
y_pred),annot=True,fmt='3.0f',cmap="winter")我一直在努力优化我的模型我在测试数据集上获得的最高准确率为78%。你有什么想法或步骤，我可以采取的改进我的模式吗？
浏览 5提问于2020-07-18得票数 0
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
