我正在尝试将数据帧写入bigquery表。我已经使用所需的参数设置了sparkSession。在写的时候，我得到了一个错误：代码如下：如果从代码中删除write，我不会得到任何错误，所以错误是在尝试编写时出现的，并且可能与使用bigquery
浏览 17提问于2020-11-14得票数 1
我的pyspark数据帧中有多语言字符。在将数据写入bigquery之后，它向我显示了奇怪的字符，因为它的默认编码方案(utf-8)。如何使用pyspark / dataproc将Bigquery中的编码更改为ISO_8859_1？
浏览 0提问于2020-05-06得票数 1
我有一个用一系列客户的产品数据填充的BigQuery表。已使用查询将数据展平。我想以csv格式将每个客户端的数据导出到Google Cloud Storage存储桶中-这样每个客户端都有自己的csv。我已经研究过使用云函数来查询表，但这将花费超过100,000 GB的数据。我还研究了如何将客户端直接从源导入到各个表中，但我需要在每个表上运行扁平化查询-这同样会导致很高的数据成本。有没有办法限制数据的使用？
浏览 0提问于2021-10-18得票数 0
1回答
这些文件存储在google云存储上，pyspark在google dataproc上运行，有几个工作节点。
我已经创建了一个pyspark文件，它基本上只是迭代文件并按原样加载到bigquery中。我以为我会在bigquery表上看到增量加载，但似乎pyspark会将整个gz输入文件合并到dataframe中，然后立即处理它。所以我在大约90分钟后得到了结果。我如何编写pyspark代码，以便每次读取文件时，都会将其写入bigquery。总体时间可能不
浏览 22提问于2021-10-10得票数 1
大约一周前，我能够使用的指南作为模板，将Spark作业的BigQuery表读入到RDD中，用于在Dataproc集群上运行。从那时起，我现在遇到了缺少类的问题，尽管指南没有受到任何影响。gs://hadoop-lib/bigquery/bigquery-connector-hadoop2-latest.jar之外的信息gcloud dataproc jobs submitpyspark \
--cluster $CLUSTER
浏览 0提问于2019-08-29得票数 3
我正在用PySpark和GraphFrames构建一个简单的网络图(运行在Google上) ("a", "Alice", 34)result = g.labelPropagation(maxIter=5)Py4JJavaError: An error occurred while calling o164
浏览 6提问于2019-10-03得票数 2
回答已采纳
在pyspark中执行完脚本后，我尝试使用将数据帧保存到BigQuery中。尽管它在<1mn行的情况下运行得很流畅，但在运行3mn行时会返回错误(尽管数据结构完全相同)。我的代码遵循google示例(但修改为我的项目/数据集/数据帧)：output_dataset = 'product_r
浏览 22提问于2016-08-19得票数 2
:142) at com.google.cloud.spark.bigquery.repackaged.com.google.cloud.bigquery.BigQueryOptions<init>(BigQueryOptions.java:91)
at com.google.
浏览 219提问于2019-12-05得票数 2
1回答
我正在上运行pySpark，并且我试图使用网络图进行缩放。这是我的配置from pyspark.sql import SparkSession
浏览 3提问于2019-10-07得票数 2
现在，我想将结果数据帧中的行根据id写到BigQuery中的不同表中。/usr/bin/python
from pyspark import SparkContext .buil
浏览 1提问于2019-11-19得票数 0
1回答
我每天运行一项作业，使用Databricks Pyspark将数据写入BigQuery。最近对Databricks ()的配置进行了更新，这导致作业失败。我遵循了所有的步骤，在医生。读取数据再次工作，但写入会引发以下错误：java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS_jsc.hadoopCo
浏览 12提问于2022-03-24得票数 0
这是我的pyspark配置。我遵循了上面提到的here的步骤，并没有创建一个sparkcontext。config('spark.jars.packages','com.google.cloud.bigdataoss:gcsio:1.5.4') \
.config('spark.jars', 'gs://spark-lib/bigquery/spark-bigquery-latest_2.12.ja
浏览 20提问于2021-09-20得票数 0
回答已采纳
我试图在Dataproc集群上提交一个PySpark作业。我的工作是将数据上传到bigquery。当我使用集群上的submit作业执行时，我会遇到一个错误，作业失败。但是，当我提供这个罐子时：
"gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"，在提交作业中的jar文件参数中，作业成功执行。from pyspark.sql impo
浏览 7提问于2022-04-06得票数 1
1回答
我没有得到谷歌的例子我认为代码中有几个错误，比如：应该是：'mapred.bq.output.project.id'：''，#将数据写回新的BigQuery表。# BigQueryOutputFormat丢弃密钥，因此将键设置为None。有一个在BigQuery中创建的数据集，其名称是我在
浏览 4提问于2015-12-08得票数 2
2回答
我有一个简单的python代码，其中包括使用具有我的凭据的JSON文件连接到bigQuery。client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/clientEmail"现在，我需要将此代码移植到pyspark
浏览 2提问于2019-04-10得票数 2
我是dataproc集群和PySpark的新手，因此，在寻找代码以将表从bigquery加载到集群的过程中，我遇到了下面的代码，并且无法弄清楚我应该为这段代码中的用例修改什么，以及我们在输入目录中提供了什么作为输入from pyspark.context import SparkContextimport subprocess_jsc.hadoopConfiguration().get('fs.g
浏览 1提问于2020-05-31得票数 1
我正在尝试通过jupyter运行一个PySpark作业，我需要创建一个函数来运行该作业。我需要传递一个jar文件，我正在试图弄清楚如何做到这一点。SubmitJobRequest https://cloud.google.com/dataproc/docs/reference/rest/v1beta2/HadoopJob 但是我不能确切地知道如何将URI, region, cluster_name, bucket_name,
file
浏览 16提问于2019-10-07得票数 3
我在BigQuery中有一个表，我想查询和实现FPgrowth算法。我想首先使用dataproc集群的VM实例在上尝试它。
我正在寻找一种方法，以直接查询的表格，在烧烤使用火星雨。我想使用产生的查询数据来实现FPGrowth (我已经很熟悉了)。
浏览 6提问于2017-11-09得票数 2
回答已采纳
最近，我遇到了一个问题，当我使用pyspark将数据写入BigQuery中时。这里是：
我在寻找这背后的原因，但我做不到。
请澄清。
浏览 6提问于2021-06-11得票数 1
回答已采纳
我的用例包括使用Pyspark代码在Bigquery中创建外部表。数据源是Google云存储桶，JSON数据就在这里。我正在将JSON数据读入数据框架，并希望创建一个外部Bigquery表。df_view.write\ .option('table', 'xyz-abc-abc:xy
浏览 3提问于2020-02-26得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
智聆口语评测
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号