1回答
我想使用Apache光束制作机器学习管道，从本地文件夹读取图像，然后对其进行预处理。我找到了一些如何将.txt或.csv文件作为管道输入处理的示例。像这样： lines = p | 'read' >> ReadFromText(known_args.input) 但是，图像数据呢？假设我想要读取一幅图像，进行预处理，进行预测，然后将所需的输出写入本地文件夹。如何做到这
浏览 24提问于2020-04-25得票数 1
1回答
我假定这是使用AirFlow作为一个编排器，而后者又使用Flink作为其执行器。对，是这样?该页指出，波束是一个必要的依赖，但气流没有梁作为其执行者之一。
浏览 0提问于2019-05-17得票数 6
回答已采纳
我正在开发Apache光束中的数据转换管道，其中我需要一些查找表来帮助转换每个传入的记录。 我可以将查找表作为辅助输入传入，但需要注意的是，传入的记录可能会更新我正在使用的查找表。有没有一种方法可以更新查找表，然后将更新广播给每个其他工作进程？ 更新:一种可能性是使用数据驱动触发器在传入记录更新端输入时发出结束当前窗口的信号。侧边输入会在下一个窗口开始时自动刷新吗？在我的例子中，我从外部源检索侧边输入。
浏览 11提问于2019-01-15得票数 2
我想要处理来自spark JavaRDD对象的数据，该对象是我用Apache从sparksession.sql(“query ")检索到的。但我无法将PTransform直接应用于此数据集。我正在使用Apache Beam 2.14.0(升级后的Spark runner使用spark版本2.4.3。(BEAM-7265)。请指导我这方面的工作。
浏览 4提问于2019-08-19得票数 0
我不明白的是Apache beam是如何读取表的，它是以块为单位的吗?如果是，那么块的大小是多少，我如何配置它？另外，在失败的情况下，作业是否从它离开的地方开始？
浏览 1提问于2020-05-08得票数 2
0回答
我成功地将Apache光束管道作为Dataflow模板运行。但是，我有一个options类(它扩展了DataflowPipelineOptions)。这个类在生成模板时从pom或命令行界面获取参数。
浏览 3提问于2017-11-27得票数 3
回答已采纳
内窥镜机器有一个dvi输出，我有一个数据路径视觉采集卡，这有助于将其读取到我的系统中。我知道opencv只能从usb摄像头或ip网络摄像头读取数据。我想知道有没有人对opencv做过这样的解读？
浏览 2提问于2019-02-15得票数 0
我有一个文件，其中包含一行我试图让Apache光束将输入作为一行读取，但无法使其工作。 print line
# Here are the contents of testfile.csv# more blah blah",baz
浏览 0提问于2018-04-19得票数 6
我在我的新公司担任数据工程师，致力于构建google cloud platform (GCP)批处理ETL管道。数据模型有一个主函数，我可以调用它并获得一个数据帧作为输出，我打算将这个数据帧附加到一个bigquery表中。有没有什么办法，我可以只导入这个主函数，并使用apache (数据流)将其集成到管道中，而不必将数据模型重新编码为PTransform？或者，使用云调度程序和云函数来实现我想要的效果会更好吗？我是一个完全初学者与数据流和阿帕奇光束，所以任何帮助或链接到指南将</
浏览 0提问于2019-08-21得票数 0
我正在处理多个文件输入，并希望将它们输入到Dataflow管道中。但是，我要保留产出，使之与投入的数量相匹配。gcs_files = ['gs://bucket/<file1_dir>', 'gs://bucket/<file2_dir>', 'gs://bucket/<file3_dir>']
我们希望将这些文件输入到一
浏览 32提问于2022-07-13得票数 0
回答已采纳
我已经构建了一个软件，它使用GCP发布/订阅作为消息队列，Apache光束来构建管道，Flask来构建Pub服务器。它在生产中运行顺利，但我有麻烦让所有的部分连接在一起的docker-compose，特别是阿帕奇光束管道。我遵循了Dataflow pipeline and pubsub emulator，通过将SO答案中的localhost替换为我的docker-compose.yaml中定义的服务名称，使管道侦听GCP: no protoc
浏览 9提问于2019-03-08得票数 0
回答已采纳
1回答
来自IoT设备的数据流使用Apache管道，该管道作为Google运行，使用Google /sub。PCollection ->包含管道数据流(由IoT设备记录的数据)中的数据。我对Apache的了解有限，我只知道如何对管道数据进行转换以创建另一个单独的PCollection。我认为这就是光束的意义，它是为了将大数据集转换成不同的形式。从我所看到的情况来看，我使用的google-cloud-pubsub Maven工件
浏览 0提问于2018-11-21得票数 16
我正在做一些关于光束SQL的实验。我从转换SampleSource中获得一个PCollection<Row>，并将其输出传递给一个SqlTransform。it.getPipeline().apply(SqlTransform.query(sql1));错误详细信息如下
Caused by: org.apache.beam.repackaged.beam_sdks_java_extensions_sql.org.apache.calcite.sql.validate.Sql
浏览 7提问于2019-07-02得票数 0
1回答
我试图用Python编写一个Dataflow管道，它需要一个大的numpy矩阵作为侧输入。矩阵保存在云存储中。理想情况下，每个Dataflow工作人员将直接从云存储加载矩阵。是否有用于“二元水滴”的光束源？
浏览 3提问于2017-05-13得票数 1
回答已采纳
我希望通过使用列头映射(config文件)将源文件加载到静态表中。之前我尝试了不同的方法(我是维护源文件，其中包含头和数据在同一个文件中，然后尝试从源文件中分割头，然后使用头列映射将这些数据插入Bigquery。我注意到这种方法是不可能的，因为数据流将数据洗牌到多个工作节点。所以我放弃了这种方法。import org.apach
浏览 0提问于2018-06-22得票数 1
我目前正在尝试为任何使用管道作为其标准输入和标准输出的程序创建服务器客户端体系结构。
我确实让整个服务器工作起来了，它是通过命名管道(Fifo)进行通信的。我正在尝试做的是不断地(异步地)将stdout管道的内容读取到vim缓冲区中，并且我正在寻找这个问题的最优雅的解决方案。假设我有一个程序python，它通过2个管道(3个，如果您考虑标准错误，但这与寻找解决方案无关)进行通信，即PIPE_IN作为它的标准输入，PI
浏览 0提问于2020-02-28得票数 0
cat apache_logs | <path_to_logstash_root_dir>/bin/logstash -f apache_logstash.conf
我已经尝试了下面的例子，但它并不像预期的那样起作用type apache_logs >> C:\logstash-5.3.1\bin\logstash.bat -f apache_logstash.conf
浏览 1提问于2017-04-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
