0回答
我使用Spotify的spark-bigquery连接器开发了一个Scala Spark应用程序，用于将数据直接流到谷歌BigQuery中。sqlContext.setBigQueryGcsBucket("gcsbucketname")但是当我在我的Spark
浏览 1提问于2016-07-17得票数 4
回答已采纳
2回答
= SparkSession.builder.appName('Jupyter BigQuery Storage').config('spark.jars','gs://spark-lib/bigquery/spark-bigquery-latest.jar').getOrCreate() table = "project_name.dataset_name.test_table"
df = spark.
浏览 15提问于2020-06-11得票数 2
回答已采纳
但是，当我从spark-bq连接器使用相同的查询时，它失败了。spark.read.format("bigquery").load("PROJECT-ID.DATASET.INFORMATION_SCHEMA.PARTITIONS") 错误： "Invalid project从spark-bq连接器查询INFORMATION_SCHEMA的正确方式是什么？
浏览 44提问于2021-07-20得票数 1
我正在尝试通过Spark在BigQuery中存储日期数据类型列 cast(from_unixtime(eventtime*60) as date) as createdDate 我也尝试过to_date，如下所示，但没有成功 to_date(from_unixtime(eventtime*60)) as createdDate 现在我正在尝试使用Spark-BigQuery连接器保存这个数据集，它给我的错误是字段但是当我尝试打印spark中的模式时，正确地说列数据类型是Date。
浏览 67提问于2021-01-19得票数 0
回答已采纳
我无法将In子句与Spark-BigQuery连接器(Scala)一起使用。at [1:100]",}session.read
.format("com.google.cloud.spark.bigquerySpark版本: 2.3.1
浏览 0提问于2020-12-22得票数 1
//cloud.google.com/solutions/running-rstudio-server-on-a-cloud-dataproc-cluster 我还成功地安装了sparklyr并创建了Sparksc <- spark_connect(master = "local") 但是，我想知道如何连接到BigQuery。有一个sparkbq库，但是我不确定如何传递这里描述的bigquery jar连接器(在运行时)：https://cloud.goo
浏览 15提问于2020-11-28得票数 1
回答已采纳
1回答
false) |-- subject: string (nullable = true)Dataset<Row> table1 = spark.sql(
"SELECT
浏览 8提问于2022-10-17得票数 0
我是Spotify GCP的新手，为了访问BigQuery数据，我们使用Spotify spark-bigquery连接器提供了。我们已经做了必要的设置w.r.t json文件和位置。但是不知道它是从哪里获取此用户帐户详细信息的。
请提供有关其原因以及如何在代码中修复它的帮助。
浏览 1提问于2018-10-17得票数 1
我试图将我的代码更新到新的spark-bigquery连接器到0.15.{0,1}-beta，我发现增量格式不再起作用了。
import spark.implicits._+= "com.google.cloud.spark" %% "spark-bigquery&
浏览 16提问于2020-05-05得票数 0
我试图在纱线配置中将这种理解捆绑在一起，在纱线配置中，东西被分离为容器。每个容器实际上是一些Vcore和一部分堆内存的混合。
有没有人能确认一下是一个执行者得到一个容器，还是一个执行者可以有多个容器。
浏览 3提问于2018-08-09得票数 3
1回答
目前我正在尝试从Spark连接到BigQuery。我已经使用sbt assembly插件构建了fat jar文件，并尝试使用spark-submit在本地模式下启动作业。(SparkApplication.scala:52) .e
浏览 46提问于2020-12-19得票数 0
纱线上的Flink 1.13.2 (Flink SQL) -文件系统是“有界和无界扫描，Lookup我可以使用文件系统连接器(csv)来创建查找(维度)表来丰富Kafka事件表吗？如果是-如何使用Flink SQL？在Spark中，我使用相关的提示来解决这些类型的问题。)
浏览 1提问于2021-09-20得票数 1
回答已采纳
错误用户类抛出异常: org.elasticsearch.spark.sql.DefaultSource.createRelation(Lorg/apache/spark/sql/SQLContext;Lorg/apache/spark/sql/SaveMode;Lscala/collection/immutable/Map;Lorg/apache/spark/sql/Dat
浏览 1提问于2017-08-04得票数 1
2回答
在失败或中止时重新运行星火作业
、、、、
version (Spark 1.x vs.=1g \ --conf spark.task.maxFailures=8 `# Increase max task failurescorresponding jobs from the Spark UI` \
--conf spark.logConf=true `# Log Spark Configuration in driverlog for troublesh
浏览 0提问于2017-10-29得票数 9
1回答
Java - jdk-9
from pyspark import SparkContext .builder \ .config("spark.mongodb.input.uri", "mongodb://127.0.0.1/test.coll") \
浏览 3提问于2017-09-29得票数 0
1回答
如果我这样做了：Spark模块将正确地在纱线上执行，应用程序将显示在纱线web浏览器GUI上，作为一个完整的应用程序。如果我以编程方式进行，它不会出现在纱线GUI中，所以我假设它最终不会使用纱线作为主控：import os
from pyspark.sql.types im
浏览 1提问于2017-04-16得票数 2
1回答
我使用齐柏林0.7.3与火花2.3在纱线-客户模式.我的设置是：spark.driver.memory 4096mspark.executor.memory 4096mspark.executor.cores3
spark.executor.instance
浏览 0提问于2018-06-28得票数 2
我知道星火应用程序可以使用spark-submit --master yarn在纱线上执行。
问题是：是否可以使用yarn命令在纱线上运行yarn应用程序？如果是这样的话，纱线REST可以作为界面，以统一的方式运行spark和MapReduce应用程序。
浏览 6提问于2015-03-26得票数 4
在Apache的下载页面上，“为ApacheHadoop2.7及更高版本预构建”意味着什么？
浏览 4提问于2017-09-14得票数 7
回答已采纳
我刚开始学习星火和建筑。我理解spark支持3个集群管理器，如纱线、独立和Mesos。如果我的理解是正确的，那么是否需要在Yarn集群的所有节点管理器(独立集群的从节点)上安装spark。
浏览 0提问于2019-06-14得票数 1
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号