我正在使用Apache's Beam软件开发工具包版本的0.2.0-incubating-SNAPSHOT，并尝试使用Dataflow运行器将数据拉到一个大表中。不幸的是，当我使用BigTableIO.Write作为接收器执行我的数据流管道时，我得到了NullPointerException。基本上，我创建并在我的流水线的某个点上有一个步骤，将PColl
浏览 5提问于2016-09-14得票数 0
回答已采纳
1回答
从BigTable到模式问题？
、、、、
我正在尝试使用Dataflow模板1将一个Avro文件(使用Spark3.0生成)摄取到BigTable中，并获得以下错误。知道吗？谢谢你的支持！:153)at org.apache.beam.sdk<
浏览 6提问于2020-12-22得票数 1
回答已采纳
我们在BeamSDKs2.0/2.1/2.4中遇到了问题，因此我们试图从1.9.1迁移到2.5，而Bigtable连接器是我们经常使用的一个重要特性。除其他外，我们使用了以下方法：compile 'co
浏览 0提问于2018-07-05得票数 1
回答已采纳
(我还提出了一个GitHub问题- )
依赖1- google-cloud-dataflow-java-sdk-all<dependency>
<groupId>com.google.cloud.dataflow</groupId
浏览 0提问于2018-11-22得票数 7
我有一个数据流管道，使用谷歌云自然语言API进行情感分析。cloud language使用io.grpc 1.10.1，而beam sdk使用1.2.0。有没有办法解决这个问题？谢谢。:jar:2.4.0 -> org.apache.beam:beam-sdks-java-io-google-cloud-platform:jar:2.4.0 -> com.google.cloud.bigtable:bigtable
浏览 2提问于2018-04-20得票数 0
1回答
thread "main" java.lang.NoClassDefFoundError: org/apache/beam/sdk/transforms/DoFnCaused by: java.lang.ClassNotFoundException:
浏览 3提问于2019-07-03得票数 0
2回答
我正在尝试从beam api连接到BigTable。下面是我使用的POM： 4.0.0<artifactId>dataflowTest</artifactId> <bigtable.table>Dataflow_test</bigtable</em
浏览 66提问于2018-07-07得票数 0
回答已采纳
在Dataflow 1.x版本中，我们可以使用CloudBigtableIO.writeToTable(TABLE_ID)来创建、更新和删除Bigtable行。**进一步澄清：
从这篇文档：我了解到，将依赖ArtifactID从bigtable-hbase-dataflow更改为bigtable-hbase-beam应该与Beam2.2.0版兼容，文章建议使用然而，这需要从com.google.cloud.bigtable</
浏览 7提问于2018-01-03得票数 1
回答已采纳
我在我的DataFlow管道(2.29.0)中使用google-cloud-storage (1.54.0)将文件写入Google Storage。我随机地看到了下面的错误。来自worker: java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeException: com.google.cloud.storage.StorageException:108) org.apache.<
浏览 56提问于2021-10-05得票数 0
为了提供我的问题的最小示例，我尝试实现一个简单的Beam作业，它将String作为一个侧输入，并将它应用到从Cloud中的csv文件中读取的PCollection中。，只使用字符串作为我的侧输入，结果总是一样。org.apache.beam.sdk.Pipeline.traverseTopologically(Pipeline.java:321)
at org.apache
浏览 1提问于2017-04-27得票数 0
回答已采纳
我正在尝试使用Apache读取RabbitMQ队列。我编写了一些转换代码，以便将消息写入Kafka。我甚至用简单的文本消息测试了我的场景。奇怪的是，当我试图读取“生产”消息时，我会得到这个异常堆栈跟踪。org.apache.beam.sdk.coders.Coder.get
浏览 0提问于2019-05-07得票数 0
回答已采纳
我使用的是Google Cloud Platform和Apache Beam2.1.0。我想把它连接到Cloud Bigtable，我正在遵循Apache Beam的官方文档，但我得到了这个错误： at org.ap
浏览 0提问于2017-10-31得票数 1
Pub/Sub中的数据是AVRO格式的，来自Kafka主题。我从模式注册表中获得的相应模式文件。:101) org.apache.beam.sdk.util.CoderUtils.decodeFromByteArray(CoderUtils.java:92) org.apache.beam.sdk.io.gcp.pubsub.PubsubIO.lambda:140) org.apache.beam<
浏览 32提问于2021-01-22得票数 0
1回答
我一直试图让写到BigTable，但似乎存在一个问题。Pub/Sub stream of messages -> direct-runner -> BigTable
目前使用的是org.apache.beam.sdk.io.gcp.bigtable.BigtableIO还有另一个I/O适配器com.google
浏览 4提问于2022-05-18得票数 0
我有一个相当简单的数据流作业，它从BigQuery读取并写入到一个扳手实例。大约有580M行和1.36 it的数据已经被分区，但是在写入大约3500个之后，它失败了。
: java.lang.RuntimeException: j
浏览 3提问于2018-07-26得票数 2
我使用AvroIO.<MyCustomType>writeCustomTypeToGenericRecords()将通用记录写入流数据流作业中的GCS。在前几分钟，一切似乎都正常，但是，大约10分钟后，作业开始抛出以下错误：
java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeException: org.apache.avro.AvroRuntimeException: not open
浏览 1提问于2018-11-16得票数 0
回答已采纳
我尝试使用这个过程：来导出我的Bigtable以进行迁移。似乎还没有现成的jre (即apt-get中的)来进行扩展java -jar bigtable-beam-import-1.3.0java.lang.NoSuchMe
浏览 0提问于2018-05-26得票数 2
1回答
我试图使用Apache在BigQuery中查询一个视图。java.lang.RuntimeException: java.io.IOException: Unable to get table: testat org.apache.beam.sdk.
浏览 2提问于2020-08-12得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
