我是python新手，我正在尝试使用subprocess.run和bq load util在Bigquery中摄取CSV文件。如果我在shell (windows)中编写相同的命令，它就会像沙姆一样工作。但是当我尝试在python中使用它时，我得到了一个错误。这是我使用的代码： # run() returns a CompletedProcess object if it was successful
# errors in the created p
浏览 22提问于2020-12-28得票数 0
我需要使用模块通过Google运行BigQuery CLI命令。当我从命令行运行下面的命令时，事情会像我预期的那样工作：我尝试在以下场景中运行这个bq命令，但没有成功：
与windows cmd.exe文件的完整路径()相结合，与bq.cmd文件的完整路径()一起运行后，首先与bq命令一起<
浏览 3提问于2020-03-27得票数 0
我正在尝试使用BQ load命令将一个表从Google Cloud Storage加载到Bigquery。为此，我使用了一个使用子进程库的python脚本。如果我在CMD (Windows)中尝试，它可以工作：
bq load --source_format=CSV --field_delimiter="|" Dataset.TableName gs://sourcefile.CSV C:\schemafile.
浏览 5提问于2021-03-25得票数 0
我正在尝试将新列添加到BigQuery现有表中。我尝试过bq命令工具和API方法。当调用Tables.update()时，我得到了以下错误。我已经尝试提供带有附加字段的完整模式，这也给了我相同的错误，如下所示。}], "message": "Provided Schema does not match Table [blah]"
浏览 105提问于2013-05-23得票数 21
回答已采纳
我正在尝试让bq与不同项目的多个服务帐户一起工作，而不必使用gcloud auth login或bq init重新进行身份验证。下面是我想要做的，并且能够使用gsutil完成的示例：[Credentials]在使用bi
浏览 0提问于2016-12-28得票数 2
在下面给出的示例中，最后一行未上载。我收到一个错误：这看起来像一个bug，因为管道符号之间的所有数据都应该作为一个字段来处理fifth line | with | {"start quote"} and | a word after quotes
对此可以有一些花哨的解释。从最终用户的角度来看，这是荒谬的。
浏览 1提问于2012-09-14得票数 18
回答已采纳
该语句将查询结果导出到GCS： uri='gs://<bucket>/<file_name>.*.csv', overwrite我似乎在BigQuery文档中找不到关于如何控制这个的任何信息。我可以将导出配置为单个文件吗？还是进入N个文件，每个文件最多100万行？还是N个文件最多50 to？
浏览 6提问于2021-12-23得票数 0
如何使用bq命令行工具将csv文件加载到Bigquery中，同时将微秒时间戳转换为bq时间戳？我使用以下命令：当使用自动检测模式将数据加载到新表中时，它可以工作，但是bigquery
浏览 9提问于2022-06-28得票数 1
回答已采纳
我创建了一个云函数，用于将数据发送到BigQuery。云函数接收来自发布/订阅的数据。场景1:我写了一段python代码，直接把JSON数据发送到Bigquery，没问题 场景二:将JSON数据保存到.json文件中，使用bq load命令手动上传到Bigquery，没问题 场景3：(出现错误时)云函数可以接收来自发布/订阅的数据，但不能将数据发送到Bi
浏览 9提问于2020-07-23得票数 0
2回答
我希望使用GCP中的云函数将GCS中的>=4 GB数据传输到BigQuery。有可能这样做吗？我尝试使用mkfile命令创建一个临时的5 gb数据文件，并尝试上传到GCS。这需要很长的时间，但仍然没有上传。这是否意味着GCS不能处理超过特定文件大小的文件。
在我所引用的文档：中，我了解到GCS处理多达5 TiB的数据。那么为什么上传5GB的数据需要很长时间。是否可以通过云功能处理4GB以上<e
浏览 3提问于2021-08-12得票数 0
回答已采纳
1回答
我想将参数传递给shell中的BigQuery脚本，下面是我编写的脚本示例 #!/bin/bash
bq query --use_legacy_sql=false --destination_table=abc --append 'select * from `xyz.INFORMATION_SCHEMA.VIEWS` union all Select * from `def.VIEWS`) where table_name = "$1"' 当我运行这个脚本并
浏览 9提问于2019-12-06得票数 0
回答已采纳
更新:事件--云函数上的函数是"✅“，即使单击”部署“时有错误，该函数也可以与Cloud一起运行，并且可以工作。我使用"get_sc_df“函数作为入口点。如果我更改它并使用函数"
浏览 7提问于2022-04-16得票数 0
我使用的是gcloud版本'Google Cloud SDK 204.0.0‘，我需要获得项目中所有可用数据集的总大小和项目中所有数据集的表的总大小(我认为数据集的总大小也会给我一个数据集的所有表的总大小以及项目中所有存储桶的总大小。我一定要使用旧版本的云SDK 204.0.0。任何关于如何获得这些细节的想法也将受到高度赞赏。请帮帮忙。 谢谢
浏览 23提问于2021-08-09得票数 0
1回答
我目前正在尝试将(Python3.x)写入Google。该表有一个带有dtype对象的列，该列包含一个字符串值数组。I的目标是创建一个BQ表，该表维护嵌套的表结构，如下所示：和以下模式：所用代码：
client = bigquery.Client读取数据时出现BadRequest: 400错误，错误消息:提供的架构
浏览 3提问于2020-03-06得票数 6
我试图使用BigQuery Api C# Sdk将数据插入到C#中。
遇到的错误是：
当我通过命令使用Bq</
浏览 1提问于2014-06-06得票数 2
我已经使用Google API控制台创建了一个服务帐户，并希望将此服务帐户与 (bq)工具一起使用。我一直使用命令行工具在~/.bigquery.v2.token中使用我的有效OAuth2凭据成功访问BigQuery服务，但是我似乎找不到任何有关如何修改此文件(或以其他方式配置该工具)以使用服务帐户的文档这是我当前的.bigquery.v2.token文件 "_module"
浏览 2提问于2012-11-06得票数 13
回答已采纳
Google BigQuery在上“在BigQuery API或命令行工具中增加了对Avro源代码格式的加载操作和联邦数据源的支持”。我没有找到任何关于如何使用Avro格式加载的代码示例。我没有找到关于如何使用bq-tool进行加载的示例。
这是我的实际问题。我还无法以Avro格式将数据加载到BigQuery中。Waiting on bqjob_r62088699049ce969_000001543
浏览 5提问于2016-04-20得票数 1
回答已采纳
职务ID: p-g-us-adv-x-dat-aia-proto-1:bquijob_b951879_1540d02c1a4
浏览 1提问于2016-04-13得票数 4
logging.getLogger() with open('example.json', 'r') as f:编辑:尝试另一个选项来捕获executor.submit的结果，但是在第一个进程失败后，它退出脚本，而不是等待所有线程或进程完成，然后失败构建。
浏览 4提问于2021-09-28得票数 0
回答已采纳
1回答
CSV值的bigquery模式
、、、、
我试图使用bq-命令行工具将数据加载到bigquery中。STRING (-- comma separated list)category_code:STRING但我还是会犯错误我的理解是
文件:0/ Line:120642 / Field:5:关闭双引号(")和字段分隔符:字段之间的数据：-&g
浏览 1提问于2014-05-06得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
