腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(921)
视频
沙龙
1
回答
创
建和
替换
BigQuery
表
、
、
如何创
建和
替换
现有的
BigQuery
表
?我使用datalab定义
BigQuery
查询并将结果写入
BigQuery
表
。from someTable%%bq execute --table schemaName.destination_table --query helloWorld 但是,每次我都必须手动删除该
表
浏览 2
提问于2018-02-26
得票数 0
回答已采纳
1
回答
Bigquery
作为Dataproc的转移
、
、
、
我们正在尝试将pyspark脚本从一个前提迁移到GCP平台,该脚本通过数据转换在Hive中创
建和
删除
表
。 蜂巢被
BigQuery
所取代。在本例中,使用连接器将单元读和写转换为
bigquery
读写。然而,问题在于通过spark创
建和
删除
bigquery
表
,因为spark将默认在由蜂窝转移支持的蜂巢上运行创
建和
删除查询,而不是在大型查询上运行。我想检查一下是否有计划将DDL语句支持以及星火-
bigquery
-连接器的一部分结合在一起。此外
浏览 7
提问于2022-03-30
得票数 2
回答已采纳
1
回答
将现有的防火墙数据收集到
bigQuery
中
、
、
我正在使用firebase扩展流集合到
BigQuery
,以便将数据输入谷歌
bigQuery
。我希望将现有的集合文档导入到
bigQuery
中,使用firebase扩展流集合到
BigQuery
。
bigQuery
中的原始changelog
表
只获取该集合的创
建和
更新数据,但仍然无法访问
bigQuery
中的现有文档。 请帮我解决一些问题。谢谢
浏览 8
提问于2022-05-20
得票数 0
1
回答
Bigquery
上ETL的最佳实践方法?
、
我想知道人们在
bigquery
上构
建和
管理ETL作业时发现了哪些最佳实践/工具。目前,我有很多sql‘模板’( lob、date等使用sed类型字符串
替换
到tmp.sql文件,然后运行该模板),并使用命令行工具运行它们的序列并将输出发送到
表
中。它工作得很好,但有点笨重。我仍然不明白为什么不能在
bigquery
上运行存储过程类型参数化脚本。甚至是一些gui来建造和管理管道。我喜欢
bigquery
,但我真的觉得我缺少了一些非常明显的东西,或者是产品中的一个真正的空白(例如,非常肯定
浏览 1
提问于2016-04-30
得票数 3
回答已采纳
1
回答
无法删除通过Python API创建的
BigQuery
数据集
我可以在Web中创
建和
删除
BigQuery
数据集。但是,当我使用Python API创建dataset时,我无法删除它。我收到一条错误消息,指出我没有该数据集的"
bigquery
.datasets.delete“权限,但这不是真的,因为我在此项目中具有编辑角色。而且,如果我可以从UI中创
建和
删除数据集,那么我也应该能够使用API创
建和
删除数据集,对吗? 顺便说一下,我在这个数据集中没有任何
表
。
浏览 2
提问于2016-10-18
得票数 0
1
回答
在PySpark中写入
BigQuery
表
时的.partitionBy('id')
、
、
我正在把一个表格从
BigQuery
读到Spark。该
表
具有以下列: id(int)、string1(字符串)、string2(字符串)、string3(字符串)、date(日期)、timestamp(int)。现在,我想将结果数据帧中的行根据id写到
BigQuery
中的不同
表
中。例如,有700行id为1的行,我想创建一个
表
project.dataset.id1,并将这700行(所有列)都写到该
表
中,然后所有id为2的行都应该写到一个
表
project.dataset.id
浏览 1
提问于2019-11-19
得票数 0
1
回答
T-SQL游标在
BigQuery
中的替代
、
我有一个用T-SQL编写的存储过程,它使用游标,但现在我想在谷歌
BigQuery
中使用它。我正在用GBQ重写查询,但不知道如何转换游标逻辑,因为
bigquery
不支持它。下面是我想要转换成
BigQuery
的T-SQL脚本: @query cursor, @wm_query cursor,
浏览 0
提问于2020-01-14
得票数 1
1
回答
使用Java创建具有BIGNUMERIC数据类型的
BigQuery
表列
、
、
、
、
当使用com.google.cloud:google-cloud-
bigquery
库创建
BigQuery
表
时,我在StandardSQLTypeName枚举中看不到BIGNUMERIC列数据类型。如何以编程方式创建带有BIGNUMERIC列的
表
?谢谢!StandardTableDefinition.of(schema);
bigQuery
.c
浏览 6
提问于2022-02-09
得票数 0
回答已采纳
1
回答
BigQuery
中与时区相关的问题(用于分区和查询)
、
、
我们在不同的渠道上创
建和
运行活动。当用户点击/访问任何Adv (作为活动的一部分)时,系统会生成日志。我们的系统托管在GCP中。使用‘Exports’将要素日志导出到
BigQuery
使用此日志
表
,我们需要每天生成报告。报告可以是每个活动每天的印象数。我们需要按ETC时间显示这些报告。因为
BigQuery
<
浏览 0
提问于2019-03-11
得票数 4
1
回答
尝试在GCE上访问
BigQuery
时,“拒绝访问”
、
、
、
我开发并构建了一个jar文件,正在处理从两个
BigQuery
表
中读取的内容,然后再编写另一个
BigQuery
表
。(有三个GCP项目,每个项目都有自己的
BigQuery
表
。)jar文件是由Maven构
建和
打包的结果。我使用了Dataflow SDK依赖项。 在构建了一个jar文件之后,我在我的Mac上测试了它,并检查它运行良好。GoogleCredential credential = GoogleCredential.getApplicationDefault(HTTP
浏览 11
提问于2016-12-14
得票数 0
1
回答
替换
大txt文件中的字符
、
、
、
我有一系列的.txt文件,我需要上传到Google,以便在
BigQuery
中用它们创建一些
表
。这些文件是分隔符为“;”的
表
。由于某些原因,当文件处于这种形状时,
BigQuery
似乎在标识列(自动或不自动)方面存在问题,即使指定';‘作为分隔符。问:我是否应该找到并
替换
所有
表
中的所有分隔符?
浏览 1
提问于2018-11-19
得票数 1
回答已采纳
1
回答
如何在云数据融合中使用
BigQuery
视图作为源?
、
我可以使用
BigQuery
表
作为源并完成任务(屏幕快照-1),但是当我将
bigquery
视图
替换
为
表
时,它会抛出错误(屏幕快照-2)。截图-2
浏览 1
提问于2020-11-03
得票数 0
回答已采纳
1
回答
利用木星笔记本创建BigQueryML模型
、
、
我可以从创建
BigQuery
ML模型,但我试图将所有代码保存在python记事本中。有没有任何方法,我可以创建模型从笔记本,而不必跳出网络用户界面?
浏览 2
提问于2019-09-30
得票数 0
回答已采纳
1
回答
如何使用时间分区
表
与模板
表
和超过4000限制的
BigQuery
?
对于流插入,我想使用一个模板
表
(带有用户id后缀),它本身就是一个分区
表
。这样,我就可以使我的
表
比仅仅使用分区
表
更小,从而使我的查询更具成本效益。根据的文档 关于我以上提
浏览 0
提问于2018-07-24
得票数 3
回答已采纳
2
回答
从
Bigquery
审计日志中提取有关视图的信息
我使用日志资源管理器创建了一个Sink,它将数据推送到
Bigquery
。我可以使用以下查询获取有关
表
的信息。
浏览 12
提问于2022-07-19
得票数 0
回答已采纳
2
回答
Terraform创建
表
取代表而不是编辑
、
、
、
,但是当我在模式上添加一个新的可空字段时,Terraform建议“
替换
表
”(破坏和重新创建),而不是“更新
表
”。本机
Bigquery
和Terraform的正常行为是更新
表
。 如果使用相同的Terraform资源执行相同的测试,但不使用forEach,Terraform将具有预期的行为,并建议更新
表
。,但指示
替换
而不是版本。我重复一遍,在没有forEach的相同Terraform资源上以及在单个
Bigquery
表
上,完全相同的测试工作良
浏览 1
提问于2021-03-31
得票数 2
回答已采纳
1
回答
bigqueryoperator是write_truncate 1事务或2个事务。
、
我希望在单个事务中
替换
一个
表
。我在write_disposition='WRITE_TRUNCATE'中使用
bigquery
运算符,我的select * from my_table就是select * from my_table。如果是2个事务,那么是否可以在单个事务中用select * from my_table
替换
bigquery
表
?
浏览 1
提问于2021-06-11
得票数 1
回答已采纳
1
回答
如何使用每小时运行一次的计划查询覆盖
BigQuery
中的分区?
我在
BigQuery
中有一个
表
,该
表
按天进行分区。我需要设置一个预定的查询,它将每小时运行一次,获取今天的所有记录,聚合它们,并将截断结果写入到今天分区的目标
表
中。有可能吗?
浏览 15
提问于2020-12-21
得票数 1
1
回答
单个CREATE TABLE as SELECT已完成,但未插入任何结果行
select,有时我会创建一个空
表
,那里没有行。如果我在console中运行SQL字符串,而不是在python中运行,那么创建的
表
和填充的行都没有问题!如果我只调用'SELECT *‘部分而不像在Python中那样创建
表
,它看起来是有效的,因为我得到了这样的信息: <google.cloud.
bigquery
.table.RowIterator object0x000000084B053630> 但是对于一个神秘的'CREATE table AS (SELECT 'unlucky‘
浏览 27
提问于2020-07-15
得票数 0
1
回答
将数据存储区备份数据加载到
BigQuery
writeDisposition
datasetId': datasetId, } }我们已经将此实体加载到
BigQuery
中一次,现在正在等待进一步的加载,以便用新数据
替换
现有的
表
。
浏览 1
提问于2013-02-12
得票数 0
回答已采纳
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券