腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
dbplyr
和
BigQuery
按
分区
进行
过滤
、
、
、
我
使用
dbplyr
连接到
BigQuery
表,这些表是
按
日期或时间
分区
的(列名为_PARTITIONDATE或_PARTITIONTIME)。在
BigQuery
中,您可以
使用
WHERE _PARTITIONDATE > "some date“
进行
过滤
,以访问表的段并提高查询性能。但是当我通过
dbplyr
连接到一个表时,没有可以
过滤
的
分区
列。这是预期的行为吗?
浏览 31
提问于2021-06-23
得票数 0
1
回答
为什么
BigQuery
扫描整个表,尽管它是
按
小时
分区
的?
该表
按
小时
进行
分区
:但是,无论我在block_timestamp上指定什么
过滤
器,
BigQuery
都会扫描整个表。
BigQuery
不是应该只扫描被
过滤
掉的
分区
中的数据吗?
浏览 29
提问于2020-11-16
得票数 0
1
回答
Bigquery
从一组通配符表中选择所有最新的
分区
、
、
我们有一组谷歌
BigQuery
表,由于技术原因,这些表都通过通配符
进行
区分,例如content_owner_asset_metadata_*。这些表每天都会更新,但时间不同。我们需要从通配符的每个表中选择最新的
分区
。现在我们正在
使用
这个查询来构建我们的派生表: SELECTFROMWHERE
浏览 17
提问于2019-05-03
得票数 0
1
回答
在PySpark中写入
BigQuery
表时的.partitionBy('id')
、
、
我正在把一个表格从
BigQuery
读到Spark。如果我正在写文本文件,我将
使用
write.partitionBy('id'),当我写到
BigQuery
时,我能做什么?我尝试过
使用
python来解决这个问题,但是速度非常慢,我想知道是否有更好的方法来解决这个问题。#!() 我在考虑
按
id分组/
分区
,然后
使用
python API for
BigQuery
为每个组创建一个新的表,然后
使用<
浏览 1
提问于2019-11-19
得票数 0
1
回答
Bigquery
引擎
使用
分区
表吗?
、
、
我在
Bigquery
中有一个小于20毫克的小表,它是
按
日期划分的,在一个字段上有一个集群,它确实需要
过滤
器
分区
。当我创建一个预约,并
使用
datastudio
进行
连接时,我得到的错误是,查询不是由BI引擎提供的,因为表的大小很大(这不是真的)。 是什么导致问题的,是
过滤
器
分区
吗?
浏览 3
提问于2019-08-16
得票数 0
回答已采纳
1
回答
分区
列在计数时有用与否
、
、
从成本、时间
和
processing.here etl_batch_date的角度来看,哪一种最适合
使用
,即表的
分区
列。当运行表大小: 9.77MB时,此查询将处理427.6 kb另外,当您编写第二个查询时,它是否从每个
分区
读取数据
浏览 5
提问于2020-06-04
得票数 0
1
回答
如何
使用
dplyr语法选择带有bigrquery的嵌套字段?
、
、
、
、
如果可能的话,我想
使用
bigrquery语法(而不是dplyr )来探索GoogleAnalytics360数据。根据我收集到的内容,
使用
SQL语法,解决方法是远程unnest,而select只
使用
hits.page.pagePath字段(而不是整个hits顶层字段)。例如,类似这样的内容(这是一个不同的查询,但传达了要点): hits.page.pagePath '
bigquery
-public-data.google_analytics_sample.ga_sessions如果
浏览 1
提问于2019-12-03
得票数 6
1
回答
BigQuery
中与时区相关的问题(用于
分区
和
查询)
、
、
使用
‘Exports’将要素日志导出到
BigQuery
使用
此日志表,我们需要每天生成报告。报告可以是每个活动每天的印象数。我们需要按ETC时间显示这些报告。因为
BigQuery
表是
按
UTC时区
分区
的,所以ETC day的查询可
浏览 0
提问于2019-03-11
得票数 4
1
回答
从dplyr代码*生成
BigQuery
代码,而不实际执行
BigQuery
?
、
、
、
、
我们可以看到关于
如何
使用
tidyverse原理
使用
bigquery
使用
R包、bigrquery
和
dbplyr
对数据
进行
争论的一些简单说明。这是通过
使用
常规的dplyr代码来实现的,当用户调用%>% collect()时,它会将dplyr代码转换成
BigQuery
的风格,然后在
BigQuery
中执行
BigQuery
代码 我想知道是否可以
使用
这些包来简单地生成原
浏览 2
提问于2019-11-24
得票数 1
回答已采纳
2
回答
如何
从java创建
BigQuery
中的
分区
表?
、
我想从java在
BigQuery
中创建一个
分区
表(
按
字段划分,
按
日期类型划分)。我找了很多,但这方面没有多少信息。build();
bigquery
.create(tableInfo); 我们是否应该
使用
TimePartitioning,即使我们想
按
日期<em
浏览 0
提问于2019-12-30
得票数 3
3
回答
在
BigQuery
表中可以每小时
进行
分区
吗?
google文档只讨论每日
分区
。但是,模型中有没有什么东西阻止人们用其他时间段(例如,小时或周)来填充表中的
分区
呢? 将
分区
放在一个“小”表中有什么限制或缺点吗?
浏览 0
提问于2017-01-12
得票数 11
1
回答
BigQuery
:在自定义
分区
字段上运行时处理的数据
我有一个表,该表
按
日
使用
模式中的时间戳字段my_partition_field (而不是摄入时间_PARTITIONTIME)
进行
分区
。执行以下查询时:
BigQuery
告诉我,“此查询将在运行时处理XX MB”。处理的数据量与该字段不是
分区
字段相同。但是,如果有相同的表
按
摄入时间
进行
分区
,并且运行以下查询: SELECT _PARTITIONTIME
浏览 2
提问于2021-10-27
得票数 0
回答已采纳
1
回答
日志接收器到
bigquery
的
分区
不起作用
、
、
我在文件夹级别创建了一个日志接收器,因此它可以将所有日志整齐地流式传输到
Bigquery
。在日志接收器配置中,我指定了以下选项,以便让日志接收器流到(每日)
分区
: "bigqueryOptions": { "usesTimestampColumnPartitioning": true # output only } 根据
bigquery
documentation
和
bigquery</em
浏览 19
提问于2020-04-28
得票数 0
1
回答
如何
将数据附加到
BigQuery
表中的现有
分区
我们可以在
BigQuery
表上创建一个
分区
,同时创建一个
BigQuery
表。
如何
将数据截断并加载到
BigQuery
表中的
分区
(覆盖
BigQuery
表中的
分区
浏览 8
提问于2017-11-08
得票数 1
1
回答
bigrquery
和
dbplyr
生成的
BigQuery
的优化?
、
、
、
、
通过bigrquery
和
dbplyr
生成的bigrquery代码是否得到任何优化,或者它是否只是在它可以(未优化)的情况下生成该sql?(请注意,bigrquery
和
dbplyr
,比如dplyr,也都是tidyverse包,都是由dplyr作者Hadley Wickham编写的)我感兴趣的是
如何
优化生成的
BigQuery
代码,因为我试图确定是否值得进一步优化手工编写的用bigrquery
和
dbplyr
编写的批处理过程,重写了一些
BigQ
浏览 2
提问于2019-11-11
得票数 0
1
回答
BigQuery
表
如何
与
分区
和
群集字段一起工作?
当将TIMESTAMP列指定为
分区
时,
分区
将数据保存在磁盘上,允许每次访问。这意味着集群字段与记录保存在磁盘上的方式无关?
浏览 0
提问于2019-04-10
得票数 0
回答已采纳
1
回答
如何
使用
时间
分区
表与模板表
和
超过4000限制的
BigQuery
?
对于流插入,我想
使用
一个模板表(带有用户id后缀),它本身就是一个
分区
表。这样,我就可以使我的表比仅仅
使用
分区
表更小,从而使我的查询更具成本效益。根据的文档 关于我以上提议的体系结构,还有一个问题是我在上看
浏览 0
提问于2018-07-24
得票数 3
回答已采纳
1
回答
BigQuery
表设计最佳实践:结合日期划分
和
分片?
、
、
、
简短问题:当由于4,000个
分区
限制而不能
使用
日期字段
进行
分区
时,在
BigQuery
中分解/
分区
事实表的最佳方法是什么?目标是最大限度地提高查询性能
和
最小化成本。详细问题我不想在
BigQuery
中复制表,因为我希望为
BigQuery
优化它。因此,我一直在研究
分区
、切分
和
集群。也研究了非正规化,但这是一个不同的问题。在Oracle中,我们只需
使用
整数日期YYYYMMDD<e
浏览 3
提问于2020-03-24
得票数 0
1
回答
Apache光束窗口化
和
分片
BigQuery
输出表
、
、
我的用例很简单:从发布/订阅订阅中读取事件日志,解析它们并保存到
BigQuery
中。因为预计事件的数量将显著增加,并且我
使用
的是无限数据源,所以我决定在
BigQuery
中配置分片:根据事件数据中的时间戳将事件存储到日常表中(在Beam文档中称为“事件时间”)。我的问题是,在我的例子中,我是否需要配置窗口,或者我可以只保留默认配置,它隐式
使用
全局窗口?我之所以问这个问题,是因为我发现的大多数
BigQuery
分片示例都假定
使用
了窗口配置。但是在我的例子中,因为我没有
使用</
浏览 1
提问于2017-10-05
得票数 1
2
回答
BigQuery
群集表:
如何
创建多个集群
我的
BigQuery
表通常
使用
"where“条件的不同组合在一个或更多个常见列之间
进行
查询,例如跨列A、B、C (不
按
顺序排列)。因此,我想分别为A、B
和
C列添加单独的集群。
如何
为
BigQuery
表创建多个集群?(类似于
如何
在传统的rdbms表上创建多个索引)
浏览 5
提问于2020-05-26
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Kafka,如何成功迁移SQL数据库中超过20亿条记录?
从Lambda到无Lambda,领英吸取到的教训
新BigQuery推荐器可提供用户表格分区与分群优化建议
谷歌将以太坊区块链数据集添加到其大数据分析平台
谷歌今天更新了Firebase
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券