我们目前正在尝试让OpenCV在谷歌云数据流上的Java作业中运行。不幸的是，我们不能用安装了OpenCV的容器替换数据流正在使用的Docker容器。()如果我们使用的是Python SDK，那么有一个选项可以指定一个可用于调用apt-get的setup.py文件。对于使用Java SDK创建的作业，有没有类似的东西？
感谢您的帮助！
浏览 11提问于2017-08-23得票数 3
回答已采纳
(我还提出了一个GitHub问题- )
依赖1- google-cloud-dataflow-java-sdk-all <groupId>org.apache.beam</groupId>
<artifactId><em
浏览 0提问于2018-11-22得票数 7
org/apache/beam/runners/dataflow/util/DoFnInfo :java.lang.NoClassDefFoundError
PCollection<<groupId>com.google.cloud.dataflow</groupId>
<artifactId>google-cloud-dataflow<
浏览 3提问于2017-12-09得票数 0
回答已采纳
在dataflow SDK 2.4.0中，我曾经能够运行： PipelineOptionsFactory.register(MyPipelineOptions.class); <
浏览 10提问于2019-01-14得票数 0
回答已采纳
2回答
如果我创建一个胖jar并执行它，我会有两个不同的错误，一个在Windows下执行，另一个在Linux下执行。:147) at org.apache.beam.runners.dataflow.repackaged.com.google.common.util.concurre
浏览 0提问于2018-02-08得票数 1
在测试Beam时，我使用了Github的模型类示例，运行本地机器( POJo on Local，DirectRunner)的示例运行良好，但在使用DataflowRunner运行时异常失败。'org.apache.beam.sdk.schemas.SchemaCoder@2574fe3c'.at org.apache.beam.sdk.coders.Coder.getEncodedElementByteSize(Coder.java:300)
浏览 1提问于2018-08-13得票数 1
回答已采纳
; was: class org.apache.beam.sdk.coders.LengthPrefixCoder com.google.cloud.dataflow.sdk.util.TimerOrElement$TimerOrElemen
浏览 2提问于2018-10-10得票数 1
请尝试将SDK升级到最新版本。您可以在上找到有关安装最新SDK的说明。如果这不起作用，请与云数据流团队联系，以获得的帮助。</groupId> <version><artifactId>beam-runners-google
浏览 2提问于2020-04-24得票数 0
回答已采纳
1回答
Apache依赖关系错误
、、、、
<dependency> <artifactId>beam-runners-google-cloud-dataflow-java-- https://mvnrepository.com/artifact/com.google.cloud.<em
浏览 0提问于2018-02-12得票数 2
回答已采纳
我在google云平台(GCP)中运行我的Google数据流工作。当我在本地运行这个作业时，它运行得很好，但是在GCP上运行时，我得到了一个错误"java.lang.IllegalArgumentException:找不到方案gs的文件系统“。(FileSystems.java:456)
at org.apache.beam.sdk.io.FileSystems.matchNewResource(F
浏览 1提问于2019-08-10得票数 5
回答已采纳
我们使用的是Google Cloud Apache Beam SDK的2.5.0版本。 at java.lang.Thread.run(Thread.java</
浏览 3提问于2018-07-26得票数 2
我需要处理存储在中的定制二进制文件。
为此，我编写了一个自定义。如文档所述，它由定义为Java glob、单个文件或单个文件的偏移范围的文件模式支持。在我的例子中，我需要使用带有几个特定文件名的Java，比如这个/path/{file1,file1,file3}。当我在本地文件系统上测试它时，它可以正常工作，但是如果我将它与Google (gs://bucket/{file1,file2,file3})一起使用，它将无法
浏览 5提问于2017-10-27得票数 2
一些注意事项：
at org.apache.beam.sdk.transforms.CombineFns$ComposedCombineFn.addInput(CombineFns.java:295)
at org.apache.beam
浏览 0提问于2018-11-20得票数 2
at org.apache.beam.sdk.runners.TransformHierarchy$Node.visit(TransformHierarchy.java:656) at org.apac
浏览 14提问于2020-10-16得票数 1
回答已采纳
> <artifactId>beam-sdks-java-io-google-cloud-platform</artifactId-- https://mvnrepository.com/artifact/org.apache.beam/beam-runners-google</
浏览 4提问于2017-12-08得票数 0
回答已采纳
1回答
: org/apache/beam/sdk/transforms/DoFn at: org.apache.beam.sdk.transforms.DoFn
at java.net.URLClassLoader.findClass(URLClassLoader.java:381依赖： <
浏览 3提问于2019-07-03得票数 0
我在Google Dataflow中运行了一个Apache beam流水线。它从Kafka中读取数据并将其流式插入到Bigquery。(SimpleDoFnRunner.java:242)at org.apache.beam.runners.<e
浏览 7提问于2021-06-01得票数 5
在GCP上运行，即使用DataflowPipelineRunner运行器工作得非常好。(BigQueryIO.java:1331)at com.google.cloud.dataflow.sdk.io.Read$Bounded$1.evaluate
浏览 25提问于2017-01-20得票数 0
但是现在我在数据流日志上发现了错误
java.lang.RuntimeException: java.io.IOException:插入失败：[{“错误”：{“debugInfo”：“”、“位置”：“(StreamingWriteFn.java:131) org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.finishBundle(StreamingWriteFn.java:811) org.apache.
浏览 1提问于2018-03-27得票数 1
回答已采纳
我在我的DataFlow管道(2.29.0)中使用google-cloud-storage (1.54.0)将文件写入Google Storage。我随机地看到了下面的错误。来自worker: java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeException: com.google.cloud.storage.StorageException$onTrigger$1(Reduc
浏览 56提问于2021-10-05得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号