当我在本地运行Spark Scala代码时，我得到了以下错误： Exception in thread "main" com.google.cloud.spark.bigquery.repackaged.com.google.api.gax.rpc.InternalException: com.google.cloud.spark.bigquery.repackaged.io.grpc.StatusRuntimeException: INTERNAL
浏览 16提问于2020-04-08得票数 1
回答已采纳
2回答
= SparkSession.builder.appName('Jupyter BigQuery Storage').config('spark.jars','gs://spark-lib/bigqueryat com.google.cloud.spark.bigquery.direct.DirectBigQueryRelation$.headerProvider(DirectBigQueryRelation
浏览 15提问于2020-06-11得票数 2
回答已采纳
:spark.jars=gs://spark-lib/bigquery/spark-bigquery-latest.jarimport argparse这是错
浏览 1提问于2020-11-12得票数 3
回答已采纳
阅读这个repo：下的说明，我按照下面的初始化操作创建一个新的Dataproc集群，并安装了特定版本的Google和BigQuery连接器：
gcloud beta dataproc clusters但是，使用PySpark笔记本通过Jupyter仍然会导致BigQuery“未找到类”异常。当我直接从终端运行PySpark时，也会发生同样的情况。我能够避免这种异常的唯一方法是在集群的主节点中复制另一个jar (这次是spark-bigquery_2.11-0.8.1-beta-shaded.jar)，然后
浏览 4提问于2019-10-02得票数 3
回答已采纳
我有一个在dataproc中运行的火花作业，我想要将结果加载到BigQuery，我知道我必须添加火花- bigquery连接器来将数据保存到bigquery。, )
当我构建jar并提交作业时，它会出现以下错误$.lookupDataSource(DataS
浏览 0提问于2020-11-18得票数 1
回答已采纳
1回答
当使用spark连接器将数据写入Bigquery时。我正在讨论这个问题。如果从文件中读取数据，则连接器将数据写入bigquery表。但是，只有当从Cassandra表读取数据时，它才会抛出上述错误。(RDDOperationScope.scala:112) at(SparkApplication.<
浏览 0提问于2019-05-31得票数 0
我试图将我的代码更新到新的spark-bigquery连接器到0.15.{0,1}-beta，我发现增量格式不再起作用了。如果我使用下面的配置，代码运行起来没有问题+= "com.google.cloud.spark" %% "
浏览 16提问于2020-05-05得票数 0
当我试图使用spark连接器写入BigQuery时，我得到了这个错误。应用程序是从hadoop集群(而不是dataproc)运行的。(BigQueryWriteHelper.scala:62) at com.google.cloud.spark.bigquery.BigQueryInsertableRelation.insert(BigQueryInsertableRelation.scala:42) at com.google.cloud.spark
浏览 16提问于2021-04-13得票数 0
更新问题6/21我正在尝试使用simba连接BigQuery，但没有成功。('local') \
.appName('spark-read-from-bigquery'
浏览 11提问于2021-06-18得票数 0
回答已采纳
在中运行Spark作业。使用将json数据输出从作业加载到BigQuery表中。val outputDatasetId = "mydataset" "{'name': '_id', 'type': 'STRING$1$$anonfun$12$$anonfun$apply$5.apply$mc
浏览 4提问于2017-06-06得票数 1
回答已采纳
我正在尝试使用木星笔记本中的Apache存储连接器从大型查询表中提取数据。我需要提取这些数据并使用一些分区写入gcs桶中。我在GCP中创建了一个data集群，并在其中运行了木星笔记本。下面是我的代码
在scala版本的基础上，我使用了下面列出的火花-bigquery-连接器jar的正确版本。Scala版本2.11 - 'gs://spark-lib/bigquery/spark-bigquery
浏览 18提问于2021-12-16得票数 1
', 'my-parent-project')\ .getOrCreate()
.optio
浏览 27提问于2021-06-28得票数 0
我正在尝试将数据从谷歌BigQuery加载到在Google Dataproc上运行的Spark (我使用的是Java)。</groupId> <version>0.9.1-beta</然而，Eclipse也警告我“导入的com.google.cloud.spark.bigquer
浏览 24提问于2019-11-03得票数 3
回答已采纳
我使用spark Bigquery连接器从bigquery读取数据。需要在读取表之前检查表是否存在。否则，API将抛出错误我们有没有办法在spark bigquery连接器中处理这个问题。
浏览 7提问于2019-08-07得票数 0
1回答
我怎样才能将“星火”连接到谷歌的BigQuery？但是我发现唯一的JDBC驱动程序是旧的。来自Spark "url" -> "jdbc:postgresql:dbserver",
"dbtable
浏览 3提问于2015-10-03得票数 1
我无法将In子句与Spark-BigQuery连接器(Scala)一起使用。at [1:100]",}session.read
.format("com.google.cloud.spark.bigquerySpark版本: 2.3.1
浏览 0提问于2020-12-22得票数 1
.config('spark.jars.packages', 'com.google.cloud.spark:spark-bigquery-with-dependencies(BigQueryRelationProvider.scala:75)
at com.google.cloud.spark.bigquery.BigQueryRelationProvider.createRelation(BigQueryRelationProv
浏览 15提问于2022-08-09得票数 1
回答已采纳
我试图使用Spark连接器将数据保存到大型查询中。String s1;}Caused by: com.google.cloud.spark.bigquery.repackaged.com.google.cloud.bigquery.BigQueryExceptionField s2 has changed type from STRING to RECORD
浏览 0提问于2020-11-26得票数 0
回答已采纳
我使用Python3内核(而不是PySpark)来允许您在笔记本中配置SparkSession，并包括使用BigQuery存储API所需的火花-BigQuery连接器。 .config('spark.jars', 'gs://spark-lib/bigquery/spar
浏览 26提问于2021-12-16得票数 1
回答已采纳
但是，当我从spark-bq连接器使用相同的查询时，它失败了。spark.read.format("bigquery").load("PROJECT-ID.DATASET.INFORMATION_SCHEMA.PARTITIONS") 错误： "Invalid project从spark-bq连接器查询INFORMATION_SCHEMA的正确方式是什么？
浏览 44提问于2021-07-20得票数 1
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号