将Hbase表迁移到Google Bigtable

文章/答案/技术大牛

发布

2回答

google-cloud-platform、hbase、google-cloud-bigtable

我在我们的本地hadoop群集中有500TB大小的HBase表。我们如何将这些HBase数据迁移到Google Bigtable。任何建议都将不胜感激。我们在内部部署到google云之间有10 Gbps的网络连接。

浏览 19提问于2021-09-22得票数 0

1回答

从Google Cloud Bigtable到AWS EMR (HBase)

csv、export、hbase、amazon-emr、google-cloud-bigtable

如何将云Bigtable中的HBase表导出到AWS EMR？我知道有一个可以使用Google Cloud Dataflow runner将HBase表导出到Google Storage。但是导出的文件以某种方式编码，我没有办法使用它，只能使用Google Cloud Dataflow runner将这些文件重新导入到它的Cloud Bigtable中。

浏览 8提问于2019-03-29得票数 4

1回答

我正在运行有10个节点的cassandra集群，每天上传巨大的tsvtab分离值文件，现在我想将我的项目转移到google bigtable中，以获得更好的性能和更低的延迟。我安装了google cloud big table 3节点集群，在云计算服务器1节点上安装了hbase插件，现在不知道如何开始将这些tsv文件上传到bigtable中。在这里，col1是主键，col2和col3是cassandra表中的集群键。现在我如何在bigtabl

浏览 0提问于2016-04-12得票数 0

1回答

LongComparator不适用于Google和HBase* API*

java、hbase、google-cloud-bigtable

<groupId>com.google.cloud.bigtable</groupId>at com.google.cloud.bigtable.hbase.adapters.ScanAdapter.throwIfUnsupportedScan(ScanAda

浏览 0提问于2015-06-10得票数 1

回答已采纳

1回答

Google Cloud Bigtable无法列出表格

google-cloud-bigtable

在使用快速入门的Google Cloud Bigtable中，我尝试创建一个表，然后执行"List“，这会导致下面的错误消息和HBase外壳的终止。请使用advise...thanks。):004:0> May 03, 2016 6:07:46 AM com.google.bigtable.repackaged.io.grpc.internal.TranspoINFO: Transport

浏览 2提问于2016-05-03得票数 2

1回答

Opentsdb Bigtable

google-kubernetes-engine、google-cloud-bigtable、opentsdb

opentsdb-init部署()引发以下错误 com.google.bigtable.repackaged.com.google.auth.oauth2.ComputeEngineCredentials/hbase-1.4.3/bin/../lib/ruby/hbase/hbase.rb:45 (根)：NativeException: java.io.IOException: java.lang.reflect.In

浏览 3提问于2021-08-18得票数 0

1回答

将HBase扫描转换为RowFilter扫描

scala、google-cloud-bigtable、spotify-scio

在最后的scio版本中，使用了新的bigtable java (com.google.bigtable.v2) 现在要求"RowFilter“过滤而不是Hbase”扫描“。有没有一种简单的方法可以将“扫描”转换为"RowFilter“？我在源代码中寻找，但我不知道如何使用它。我不认为文档可以轻松地从hbase迁移到“新”api。

浏览 5提问于2017-06-20得票数 0

回答已采纳

2回答

Jetty ALPN没有正确配置- Hadoop / Google

java、jetty、google-cloud-bigtable

当我试图连接到Google时，有人知道如何解决Jetty没有正确配置的错误吗？，表管理主机bigtabletableadmin.googleapis.com。在com.google.cloud.bigtable.grpc.BigtableSession.(BigtableSession.java:243) at com.google.cloud.bigtable.grpc.BigtableSession.(AbstractBigtableConnection.java:128) at c

浏览 7提问于2015-12-12得票数 1

1回答

listTables失败:缺少Google* BigTable的身份验证？*

google-cloud-platform、bigtable、google-cloud-bigtable

我正在谷歌云服务上建立一个新的BigTable集群。我已经完成了使用大多数Google的整个过程(创建服务帐户、了解您的项目ID、使用gcloud工具、Google环境变量集等等)。我在网上找不到这样的错误，上面写着： Caused by: com.google.bigtable.repackaged.com.google.common.util.concurrent.UncheckedExecutionException/bin/hbase com

浏览 0提问于2015-11-12得票数 1

1回答

“bigtable-hbase”与BEAMjavaSDK2.5兼容吗？

google-cloud-dataflow、google-cloud-bigtable

在运行管道之前，此步骤将产生一个错误： at com.google.cloud.bigtable.beam.CloudBigtableConfiguration.setValue我们在BeamSDKs2.0/2.1/2.4中遇到了问题，因此我们试图从1.9.1迁移到

浏览 0提问于2018-07-05得票数 1

回答已采纳

1回答

未经授权的错误设置批处理-bigtable作为来自火花流的数据主机

apache-spark、google-cloud-platform、spark-streaming、google-cloud-bigtable、spark-streaming-kafka

(RefreshingOAuth2CredentialsInterceptor.java:290)Retrying failed call.我还没有找到与bigtable-hbase-2.x-hadoop一起工作的版本组合。</<em

浏览 0提问于2019-07-26得票数 0

回答已采纳

2回答

无法连接Google* Cloud Bigtable实例*

java、google-cloud-platform、google-cloud-dataflow、google-cloud-bigtable

我正在尝试使用HBase API连接到Google Cloud Bigtable实例。我使用的是Java 1.8。我遵循了以下教程：但是由于某些原因，我无法连接到这个Bigtable实例。_2.BigtableConnection at com.goo

浏览 2提问于2016-12-27得票数 1

1回答

Hadoop /减少来自我自己的Hadoop集群的云Bigtable作业

amazon-web-services、google-cloud-platform、google-cloud-bigtable

在本文中，它在Google中创建了一个Hadoop集群，并连接到云bigtable集群。是否可以从我自己的Hadoop集群连接到云bigtable集群？我的Hadoop集群是在AWS中而不是在Google云中。

浏览 0提问于2015-07-22得票数 1

回答已采纳

1回答

mapreduce能否在共享元组空间(例如:数据库)上高效工作？

mapreduce

我之所以问这个问题，是因为我想知道在数据库或共享键值存储上运行mapreduce查询是否有效？

浏览 0提问于2010-03-09得票数 2

回答已采纳

1回答

Spark HBase到Google* Dataproc和Bigtable的迁移*

google-cloud-platform、google-cloud-dataproc、bigtable、google-cloud-bigtable

我在AWS EMR集群上运行了HBase Spark作业。最近我们搬到了GCP。我把所有的HBase数据都传输给了BigTable。Spark作业失败，因为它正在查看spark.hbase.zookeeper.quorum设置。请让我知道，如何在不更改代码的情况下，让我的spark作业在BigTable上成功运行。

浏览 2提问于2018-05-27得票数 0

2回答

从SQLAlchemy管理

sqlalchemy、google-cloud-bigtable

看来可以连接到运行在上的MySQL表。然而，我花了很多时间去寻找，一个NoSQL数据库的包装器，却找不到足够成熟的东西。只是想知道如何从SQL炼金术中管理。

浏览 7提问于2016-11-22得票数 0

回答已采纳

1回答

在Python中扫描Google数据的最佳API是什么？

python、apache-spark、google-cloud-bigtable

我看到Google的示例代码中有2个hbase表扫描API：from google.cloud import bigtableinstance = client.instance(instance_id) table = instance.tabletable.read_rows

浏览 2提问于2016-11-24得票数 2

2回答

hbase和google cloud bigtable之间的关系是什么？

google-cloud-platform、hbase、bigtable、google-cloud-bigtable

我正在阅读谷歌bigtable文档：bigtable是基于hbase的吗？

浏览 1提问于2018-08-30得票数 0

1回答

找不到适用于com.google.cloud.bigtable.hbase1_x.BigtableConnection的构造函数

java、maven、google-app-engine、hbase、pom.xml

我尝试创建一个简单的类来创建一个表，并使用HBase和谷歌应用程序引擎添加一些列。我已经在Google Cloud platform中创建了一个项目和一个实例。我克隆了这个存储库：它可以在我的实例中创建表。但是当我尝试用相同的配置创建一个新的maven项目时，它不起作用，我不能创建任何东西。我得到了这个问题： InvocationTargetException: Could not find an appropriate constructor for com.google.cloud.bigta

浏览 2提问于2017-08-05得票数 1

点击加载更多