将数据从没有临时表的BigQuery select语句导出到google云存储
将数据从没有临时表的BigQuery select语句导出到google云存储
提问于 2017-06-29 14:30:00
有没有办法在不创建表的情况下将数据从select语句(BigQuery)导出到Google云存储中。
我每天都需要根据select语句(BigQuery)提取数据，并将文件放入中。
我知道我们可以通过以下方式从BigQuery进行导出。
- 命令行-在这个选项中，我需要创建一个临时表。没有临时表，我就看不到任何示例或语法。
bq查询
- WebConsole --这个选项已经退出，因为需要安排时间。
- API -使用API，我也无法从SQL查询中看到。我看到了整张桌子的例子。
请告诉我，是否有任何方法可以将数据从Bigquery语句导出到google云存储，而无需创建临时表。
谢谢,
回答 2
Stack Overflow用户
发布于 2017-06-29 19:33:41
查询结果为总是保存到临时表或永久表中。。
指定目标表时，这是一个永久表，但如果不指定，BigQuery将创建一个短暂的临时表来存储结果。如果您查看查询历史记录部分，可以看到这些临时表的名称。
当我指定一个临时表作为源时，我成功地运行了一个导出作业到Cloud。
bq extract my-project:_63cfa3...c5d1ef7 gs://my-bucket/my_table.csv关于使用API，如果在插入作业后得到作业，则可以看到目标表。
https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/get
在我的示例中，获取与查询作业关联的作业ID的响应显示
{
"kind": "bigquery#job",
"id": "my-project:bquijob_ca7e64e_15cf54562fb",
"jobReference": {
"projectId": "my-project",
"jobId": "bquijob_ca7e64e_15cf54562fb"
},
"configuration": {
"query": {
"query": "SELECT \"ABC\"",
"destinationTable": {
"projectId": "my-project",
"datasetId": "_63cfa399614a54153cc386c27d6c0c6fdb249f9e",
"tableId": "anondca79e1ad06d03be556f3fc3fdbaaf2b9c5d1ef7"
},
"createDisposition": "CREATE_IF_NEEDED",
"writeDisposition": "WRITE_TRUNCATE",
"useLegacySql": false
}
},
"status": {
"state": "DONE"
},
...
}Stack Overflow用户
发布于 2021-06-11 13:49:48
使用BigQuery SQL提供的导出数据选项命令
查询：
EXPORT DATA OPTIONS(uri="gs://example-bucket/shakespeare.csv",format='csv') AS SELECT name,count FROM mydataset.babynames WHERE gender = 'M' ORDER BY count DESC LIMIT 6因此，使用'bq‘命令行实用程序，它应该如下所示
bq query --format=prettyjson --use_legacy_sql=false 'EXPORT DATA OPTIONS(uri="gs://example-bucket/shakespeare.csv",format='csv') AS SELECT name,count FROM mydataset.babynames WHERE gender = 'M' ORDER BY count DESC LIMIT 6'页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/44827982
复制相关文章
相似问题
腾讯云开发者
