1回答
现在我有一个BigQuery表，它的数据源来自GCS(Google Cloud Storage)的某个存储桶。谢谢!
浏览 34提问于2019-07-08得票数 1
我在GCS的存储桶中有很多json文件，我需要为每个文件创建一个表。
通常，我在BigQuery中手动完成:选择格式(json)，为其命名，并使用自动检测到的模式。有没有办法使用GCS的数据一次创建多个表？
浏览 26提问于2021-06-10得票数 0
通过使用GCS python，我一直试图想出一个解决方案，在不定义表模式的情况下将数据从google.cloud.bigquery加载到BigQuery。我的LoadJobConfig的自动检测被设置为True，我在GCS中使用通配符(*)。我已经确认Autodetect可以使用通配符，但是加载作业失败了，因为我使用的数据源通常会自动检测特定列为浮点数(例如0.30)，但有时会添加运算符符号(例如< 0.10)
浏览 1提问于2017-11-06得票数 0
回答已采纳
我试图使用BigQuery的自动检测功能从GCS加载一个分号分隔的文件，但它似乎没有正确地检测到我的数据，它只将一列命名为string_field_0。
浏览 0提问于2018-07-02得票数 2
回答已采纳
我正在寻找帮助设计一个用python编写的数据流管道，以读取存储在GCS上的多部分压缩Json文件，以加载到BigQuery。源无法为我们提供文件/表的架构。因此，我正在寻找一个自动检测选项。如下所示： autodetect=True,
source_format=bigquery.SourceFormat.NEWLINE_DELIMITED_JSON我
浏览 25提问于2021-02-17得票数 1
我使用气流将CSV文件(例如FILE__YYYYMMDD.csv)从GCS桶解压缩到BigQuery。由于文件经过几个月的演变，它的模式发生了变化(添加了更多的列)。因此，我使用了选项autodetect来设置烧烤中的表模式。不幸的是，一些键列被自动检测错误(由于某种原因检测出十六进制散列作为浮动)，因此我希望将每个列作为字符串导入，然后将其转换到应该分析表的查询中.
String" 您推荐这种方法吗？如何告诉Big
浏览 2提问于2021-12-09得票数 -1
回答已采纳
我在gcs中存储了多个csv文件，我希望使用云运行将它们加载到bigquery中。这有可能吗？我试着使用熊猫的数据格式，但是文件太大了，所以总是存在内存问题。
浏览 3提问于2022-04-05得票数 0
请有人分享一个将json newline_delimited文件上传到新Bigquery表的作业配置示例。
试图在谷歌文档的基础上做这件事，到目前为止都没有成功。
浏览 5提问于2017-06-05得票数 2
回答已采纳
我有两个表，这两个表都是来自两个不同区域的GCP的账单数据。我想把一张桌子插到另一张桌子上。这两个表都是按日划分的，较大的表是由GCP为计费导出而编写的，这就是为什么我想将数据插入到较大的表中。我正在尝试以下几点：
浏览 3提问于2020-04-14得票数 1
回答已采纳
我正在尝试加载一个csv文件，并让BigQuery自动创建模式。source_format CSV -F '\t' --skip_leading_rows=1 voterdb.voters gs://[[ redacted bucket ]]/extract.csv
BigQuery
浏览 9提问于2016-04-17得票数 10
回答已采纳
我正在尝试使用bigquery从google云存储中查询数据。这些是我在firebase中实时数据库的数据。它由json文件组成。如何查询和查看每个文件中的数据？更新
如果我指向特定的文件(如firebase.json)，就可以了。但我需要更新我的数据。
浏览 1提问于2018-10-29得票数 0
1回答
我使用的是，它可以很好地处理BigQuery。table_id, job_config=job_config,)
浏览 13提问于2021-05-21得票数 0
回答已采纳
4回答
我是GCP的新手，我可以从我的VM中获得一个文件到GCS，然后将它传输到bigquery。如何将多个文件从GCS传输到Bigquery。我知道通配符URi是它的解决方案，但是在下面的代码中还需要进行哪些其他更改？def hello_gcs(event, context): # Construct a BigQuery
浏览 4提问于2021-05-07得票数 0
回答已采纳
我使用BigQuery已经有一段时间了，通过从http地址获取CSV，使用Drive将其上传到Google Drive，然后使用BigQuery API将其附加到BigQuery来加载我的数据。我总是通过API指定自动检测模式，在2017年3月16日之前，它一直在cron上完美地工作。
3月16日，它停止工作。CSV仍然可以正常加载到Google Drive，但BigQuery不会拿起它。我从尝试使用BigQuery UI手动加载相同的CSV开始进行故
浏览 0提问于2017-03-23得票数 0
我使用bigquery客户端对象将一些CSV文件(位于云存储中)上载到bigquery表中。text = 'sales_2022-09-09T21-27-05_018787'
match = r
浏览 7提问于2022-11-21得票数 0
我一直试图在我的项目中执行Dataflow管道(Python)，其中我的GCP帐户分配了"Owner“角色。
从BigQuery (数据流管道运行的同一项目)读取数据。根据我的理解，Dataflow工作者使用默认的计算引擎服务account(-compute@developer.gserviceaccount.com)访问GCP上的其他服务，包括BigQuery和-compute但这条管道失败时也有同样的</e
浏览 1提问于2021-08-20得票数 0
我正在将一个java应用程序从Hadoop/Hive移植到Google /BigQuery。应用程序将avro文件写入hdfs，然后在文件之上创建一个/多个分区的Hive外部表。我们现在处理hive的方式是生成ddl，然后使用rest调用执行它。
我在BigQuery docs中找不到对创建外部表的支持，所以我转而使用java库。我设法创建了一个外部表，但在传递给调用的参数中找不到对分区的任何引用。下面是我使用的代码片段：
浏览 0提问于2018-08-17得票数 0
回答已采纳
我创建了一个数据流作业"jsonbq-1"，并使用现有的GCS_Text_BigQuery模板创建了一个简单的uDF来接收传入的CSV数据并放入表中。云函数被执行，数据流被调用，但是没有响应，log:Error中显示的错误:模板参数无效。Index.js 看起来像这样。bigQueryLoadingTemporaryDirectory: 'gs://test-bucket-np' jobName: 'j
浏览 0提问于2018-08-12得票数 2
1回答
我有一些关于Composer和BigQuery的问题。我们需要导入并创建一个自动流程，以便将表从BigQuery导出到存储。我现在有四个选择：
bigquery_to_gcs OperatorBashOperator:执行Cloud在Composer.Python函数上提供的"bq“命令:使用BigQuery API创建BigQuery函数，几乎与bigquery_to_gcs相同，并使用Airflow.D
浏览 2提问于2019-09-30得票数 0
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号