为什么需要临时的GCS存储桶才能将数据写入到BigQuery: pyspark
为什么需要临时的GCS存储桶才能将数据写入到BigQuery: pyspark
提问于 2021-06-11 05:58:31
最近，我遇到了一个问题，当我使用pyspark将数据写入BigQuery中时。这里是：
pyspark.sql.utils.IllegalArgumentException:必须通知U‘informed或持久性GCS桶
在对问题进行研究后，我发现暂时性的GCS桶要提到spark.conf。
bucket = "temp_bucket"
spark.conf.set('temporaryGcsBucket', bucket)我认为在Biquery中为像Hive这样的表创建一个文件是没有概念的。
我想知道更多关于它的情况，为什么我们需要临时gcs将数据写入bigquery？
我在寻找这背后的原因，但我做不到。
请澄清。
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-06-15 10:14:05
连接器与Apache一起使用，用于从BigQuery读取和写入数据。连接器将数据写入BigQuery，首先将所有数据缓冲到Cloud临时表中，然后在一次操作中将所有数据复制到BigQuery中。连接器尝试在BigQuery加载操作成功后删除临时文件，并在Spark应用程序终止时再次删除临时文件。如果作业失败，您可能需要手动删除任何剩余的临时云存储文件。通常，您可以在gs:// BigQuery /.-UUID中找到临时的UUID导出。
有关将数据写入bigquery的更多参考，您可以遵循这里。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/67931916
复制相关文章
相似问题
腾讯云开发者
