阅读这个repo：下的说明，我按照下面的初始化操作创建一个新的Dataproc集群，并安装了特定版本的Google和BigQuery连接器：
gcloud beta dataproc clusters但是，使用PySpark笔记本通过Jupyter仍然会导致BigQuery“未找到类”异常。当我直接从终端运行PySpark时，也会发生同样的情况。我能够避免这种异常的唯一方法是在集群的</em
浏览 4提问于2019-10-02得票数 3
回答已采纳
2回答
同时使用来运行pyspark作业。我的代码尝试在bigquery上执行一个查询，使用pyspark = 'select max(col ) from表‘df =spark.read.format(’bigquery‘).load(查询)
浏览 11提问于2022-07-11得票数 0
我们有一个Spark Streaming应用程序，它从Pubsub读取数据并应用一些转换，然后将JavaDStream转换为Dataset，然后将结果写入BigQuery规格化表。 Dataset<PubSubMessageSchema> pubSubDataSet = spark.crea
浏览 7提问于2021-02-24得票数 1
2回答
下面是我用来将一个bigquery表导入到我的PySpark集群(Dataproc)，然后在其上运行fp-growth算法的代码。但是，今天当我运行相同的代码时，它抛出了一个错误。它使用.printSchema()返回导入的df的模式，但是当我尝试运行.show()或.fit()时，它抛出以下错误。= SparkSession.builder.appName('Jupyter BigQuery Storage').
浏览 15提问于2020-06-11得票数 2
回答已采纳
我正在尝试使用java中的spark连接到Google big query，但我无法找到相同的准确文档。我试过了：https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example 和 https://github.com/GoogleCloudPlatform/spa
浏览 219提问于2019-12-05得票数 2
我试图使用Dataproc在PySpark中运行一个脚本。
文件"/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py"，第328行，在get_return_valuepy4j.protocol.Py4JJavaError
浏览 1提问于2019-06-15得票数 1
回答已采纳
我创建了一个Dataproc集群，并使用以下说明成功启动了RStudio服务器：https://cloud.google.com/solutions/running-rstudio-server-on-a-cloud-dataproc-cluster我还成功地安装了sparklyr并创建了Spark实例。sc <- spark_connect(master = "local") 但是，我想知道如何连接到BigQuery。有
浏览 15提问于2020-11-28得票数 1
回答已采纳
这是我正在进行的spark会话。我包含了最新的用于spark big query connector for Dataproc 1.5的jar。from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("GCS to BigQuery - Dev") \.config('spark.jars', '
浏览 8提问于2021-02-11得票数 2
回答已采纳
,iap-remote-admin \--properties spark:spark.jars=gs://spark-lib/bigquery/spark-bigquery-latest.jar("spark.sql.execution.arrow.pyspark.enabled", "true")
load_data(spark</
浏览 1提问于2020-11-12得票数 3
回答已采纳
我正在使用Spark BigQuery连接器从Dataproc集群中查询表和视图，我看到的是，当请求未使用缓存的视图时，连接器会为每个读取的视图创建一个新的临时表：
df = spark.read.format('bigquery').option('table', view_name).option('views
浏览 0提问于2021-01-13得票数 2
我试图在Dataproc集群上提交一个PySpark作业。我的工作是将数据上传到bigquery。当我使用集群上的submit作业执行时，我会遇到一个错误，作业失败。但是，当我提供这个罐子时：
"gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"，在提交作业中的jar文件参数中，作业成功执行。我<e
浏览 7提问于2022-04-06得票数 1
我正在尝试使用PySpark读取表格形式的BigQuery。我尝试过以下几种方法 table = 'my-project-id.project-dataset.test_table_spark'
df = spark.read.format('bigquery'('table', table).load() 然而，我得到了这个错误 : java.lang.ClassNotFoundException: Failed to fin
浏览 19提问于2019-10-01得票数 2
回答已采纳
1回答
我怎样才能将“星火”连接到谷歌的BigQuery？但是我发现唯一的JDBC驱动程序是旧的。如果答案涉及JDBC，那么url参数应该是什么样子的？来自Spark "url" -> "jdbc:po
浏览 3提问于2015-10-03得票数 1
这是命令和错误TYPE=n1-highmem-8BUCKET=dataproc-spark-karan
REGION=us-central1:dataproc.logging.stackdriver.job.driver.enable=true,dataproc:job.history.to-gcs.enabled=true,spark:spark.dynamicAllocation.enabled=f
浏览 10提问于2022-02-01得票数 3
回答已采纳
我正在尝试将数据从谷歌BigQuery加载到在Google Dataproc上运行的Spark (我使用的是Java)。我试着按照这里的说明操作： <artifactId>spark-big
浏览 24提问于2019-11-03得票数 3
回答已采纳
我在GCP中有一个带有spark install的VM镜像集群Hadoop，但它不是一个dataproc。我可以在不使用dataproc的情况下安装spark bigquery连接器吗？我找到了下载连接器的链接
浏览 0提问于2020-11-14得票数 0
我所在的组织需要使用Spark从客户的bigquery数据集中提取数据，考虑到客户和我们都使用GCP，使用Dataproc来实现这一点是有意义的。我读过，它看起来非常有用，但是它似乎假设dataproc集群、bigquery数据集和临时BigQuery导出的存储桶都在同一个GCP项目中-对我来说并非如此。我有一个服务帐户密钥文件，它允许我连接到存储在big
浏览 2提问于2018-11-02得票数 0
2回答
我在GCP Google云平台上很新，所以我希望我的问题不会显得那么愚蠢。主要目标是从BigQuery收集少量扩展表，并应用少量转换。由于我计划使用Dataproc部署一个Pyspark脚本的表的大小，理想情况下，我可以使用sqlContext将少量的sql查询应用到DFs (从BQ中提取的表)。最后，我可以轻松地将这些信息转储到数据存储桶中的文件中。
我可以在我的import
浏览 0提问于2019-01-07得票数 3
由: com.google.cloud.bigquery.connector.common.BigQueryConnectorException$InvalidSchemaException:目标表的模式与dataframe的模式不兼容引起的.format('bigquery') \.mode("
浏览 17提问于2022-06-06得票数 1
我在Google Cloud Dataproc集群上使用Spark，我想在PySpark作业中访问Bigtable。我们有没有像谷歌BigQuery连接器那样的Spark的Bigtable连接器？
浏览 4提问于2016-11-02得票数 5
云服务器
ICP备案
对象存储
云点播
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号