文章/答案/技术大牛

发布

社区首页 >问答首页 >如何将dask数据帧写入google云存储或Bigquery

问如何将dask数据帧写入google云存储或Bigquery
EN

Stack Overflow用户

提问于 2019-02-14 18:04:41

回答 1查看 1.4K关注 0票数 0

我正在为我的ML项目使用google cloud datalab。我的一个数据在bigquery表中，该表有数百万条记录(文本数据)，其中有许多列。我从bigquery表创建了一个pandas数据帧，将其转换为dask数据帧(具有5个分区)，并执行了数据辩论。

现在，我有了这个dask数据帧，我想将其存储在bigquery中，或者将其转换为拼接文件并将其存储在我的gcp存储中。如果能听到来自社区的选择，那就太好了。谢谢。

python

pandas

google-bigquery

dask

google-cloud-datalab

回答 1

Stack Overflow用户

发布于 2019-02-15 00:20:28

正如评论中提到的，这是一个太多的“我该怎么做...”有个问题。

然而，简单的答案是

df.to_parquet('gcs://mybucket/mypath/output.parquet')

您将需要安装其中一个拼图后端(快速拼图或pyarrow)和gcsfs。使用关键字storage_options={...}，可能需要gcsfs的其他参数才能获得正确的权限，请参阅gcsfs文档。

一般信息：http://docs.dask.org/en/latest/remote-data-services.html

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/54687784

复制

相似问题

问如何将dask数据帧写入google云存储或Bigquery
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何将dask数据帧写入google云存储或BigqueryEN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何将dask数据帧写入google云存储或Bigquery
EN