开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

在标准SQL的BigQuery中，collect set等效项是什么

在标准SQL的BigQuery中，collect set等效项是ARRAY_AGG函数。ARRAY_AGG函数用于将一列的值聚合为一个数组，并且可以去除重复的值。它可以在GROUP BY子句中使用，以便按照指定的列对结果进行分组，并将每个组的值聚合为一个数组。

ARRAY_AGG函数的优势在于它可以方便地将多个值合并为一个数组，使数据处理更加灵活和高效。它适用于需要对数据进行聚合和分组的场景，例如统计每个用户的购买记录、计算每个地区的平均销售额等。

在腾讯云的产品中，与BigQuery类似的云原生数据仓库服务是TencentDB for TDSQL-C，它提供了高性能、高可用的云原生数据仓库解决方案。您可以通过以下链接了解更多关于TencentDB for TDSQL-C的信息：https://cloud.tencent.com/product/tdsqlc

相关搜索:Bigquery SQL标准中的嵌套函数 BigQuery unix_timestamp中的SparkSQL等效项 BigQuery中的标准SQL -从多行中获取连接文本 Pandas中的SQL "WHERE IN“等效项 PostgreSQL中的Oracle DBMS_APPLICATION_INFO.SET_MODULE等效项 Snowflake sql中的BTEQ "Create set table“等效语句 sql server中的XMLAGG等效项 SQL: Presto中的交叉表等效项 SQL查询的BigQuery等效项 SwiftUI中的UIButton导航推送等效项是什么

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

「数据仓库技术」怎么选择现代数据仓库

我们用过很多数据仓库。当我们的客户问我们，对于他们成长中的公司来说，最好的数据仓库是什么时，我们会根据他们的具体需求来考虑答案。通常，他们需要几乎实时的数据，价格低廉，不需要维护数据仓库基础设施。在这种情况下，我们建议他们使用现代的数据仓库，如Redshift, BigQuery，或Snowflake。

03

如何用纯SQL查询语句可以实现神经网络？

在这篇文章中，我们将纯粹用SQL实现含有一个隐藏层（以及带 ReLU 和 softmax 激活函数）的神经网络。这些神经网络训练的步骤包含前向传播和反向传播，将在 BigQuery 的单个SQL查询语句中实现。当它在 BigQuery 中运行时，实际上我们正在成百上千台服务器上进行分布式神经网络训练。听上去很赞，对吧？

03

教程 | 没错，纯SQL查询语句可以实现神经网络

选自Medium 作者：Harisankar Haridas 机器之心编译参与：陈韵竹、思源我们熟知的SQL是一种数据库查询语句，它方便了开发者在大型数据中执行高效的操作。但本文从另一角度嵌套SQ

05

1年将超过15PB数据迁移到谷歌BigQuery，PayPal的经验有哪些可借鉴之处？

作者 | Romit Mehta、Vaishali Walia 和 Bala Natarajan

02

ClickHouse 提升数据效能

Google Analytics 无处不在，对于大多数营销功能的统计报告至关重要。作为加入 ClickHouse 之前没有营销分析经验并发现自己定期以博客形式贡献内容的人，我长期以来一直认为 Google Analytics (GA4) 提供了一种快速、无缝的方式来衡量网站。因此，当我们负责报告我们内容策略的成功情况并确保我们制作的内容与您（我们的用户）相关时，GA4 似乎是一个明显的起点。

01

ClickHouse 提升数据效能

Google Analytics 无处不在，对于大多数营销功能的统计报告至关重要。作为加入 ClickHouse 之前没有营销分析经验并发现自己定期以博客形式贡献内容的人，我长期以来一直认为 Google Analytics (GA4) 提供了一种快速、无缝的方式来衡量网站。因此，当我们负责报告我们内容策略的成功情况并确保我们制作的内容与您（我们的用户）相关时，GA4 似乎是一个明显的起点。

01

ClickHouse 提升数据效能

Google Analytics 无处不在，对于大多数营销功能的统计报告至关重要。作为加入 ClickHouse 之前没有营销分析经验并发现自己定期以博客形式贡献内容的人，我长期以来一直认为 Google Analytics (GA4) 提供了一种快速、无缝的方式来衡量网站。因此，当我们负责报告我们内容策略的成功情况并确保我们制作的内容与您（我们的用户）相关时，GA4 似乎是一个明显的起点。

01

使用 SQL 也能玩转机器学习

最近看到一篇文章：https://rudderstack.com/blog/churn-prediction-with-bigqueryml，主要是讲使用 BigQueryML 进行流失预测。首先解释下 BigQueryML 是什么，简而言之，就是使用 SQL 也可以完成机器学习模型的构建。

01

BigQuery：云中的数据仓库

原文地址：https://dzone.com/articles/bigquery-data-warehouse-clouds

04

技术译文 | 数据库只追求性能是不够的！

本文和封面来源：https://motherduck.com/，爱可生开源社区翻译。

01

7大云计算数据仓库

顶级云计算数据仓库展示了近年来云计算数据仓库市场发展的特性，因为很多企业更多地采用云计算，并减少了自己的物理数据中心足迹。

03

构建端到端的开源现代数据平台

在过去的几年里，数据工程领域的重要性突飞猛进，为加速创新和进步打开了大门——从今天开始，越来越多的人开始思考数据资源以及如何更好地利用它们。这一进步反过来又导致了数据技术的“第三次浪潮”。“第一次浪潮”包括 ETL、OLAP 和关系数据仓库，它们是商业智能 (BI) 生态系统的基石，无法应对大数据的4V[1]的指数增长。由于面向 BI 的栈的潜力有限，我们随后见证了“第二次浪潮”：由于 Hadoop 生态系统（允许公司横向扩展其数据平台）和 Apache Spark（为大规模高效的内存数据处理打开了大门）。

01

Apache Hudi 0.11.0版本重磅发布！

在 0.11.0 中，我们默认为 Spark writer 启用具有同步更新的元数据表和基于元数据表的file listing，以提高在大型 Hudi 表上的分区和文件 listing 的性能。在reader方面，用户需要将其设置为 hoodie.metadata.enable = true 以从中受益。元数据表和相关文件listing 仍然可以通过设置hoodie.metadata.enable=false来关闭此功能。因此，使用异步表服务部署 Hudi 的用户需要配置锁服务。如果无需使用此功能，可以通过额外设置这个配置 hoodie.metadata.enable = false 像以前一样使用 Hudi。

04

Calcite parser config介绍

Calcite针对SQL parse提供了很多的配置项，可以针对不同的SQL方言进行解析。相关的配置项都存储在SqlParser.Config这个结构中，常见的用法如下所示：

05

Apache Hudi 0.11 版本重磅发布，新特性速览!

在 0.11.0 中，默认为 Spark writer 启用具有同步更新的元数据表和基于元数据表的file listing，以提高在大型 Hudi 表上的分区和文件listing的性能。在reader方面，用户需要将其设置为 true 以从中受益。元数据表和相关文件listing 仍然可以通过设置hoodie.metadata.enable=false来关闭此功能。因此，使用异步表服务部署 Hudi 的用户需要配置锁服务。如果此功能与您无关，您可以通过额外设置这个配置 hoodie.metadata.enable=false 像以前一样使用 Hudi。

03

用MongoDB Change Streams 在BigQuery中复制数据

Chang Stream(变更记录流) 是指collection(数据库集合)的变更事件流，应用程序通过db.collection.watch()这样的命令可以获得被监听对象的实时变更。BigQuery是Google推出的一项Web服务，该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。

02

JDK1.8用了这么久！Stream流的规约操作有哪些？

前段时间介绍了部分 Stream常见接口方法，理解起来并不困难，但Stream的用法不止于此，本节我们将仍然以Stream为例，介绍流的规约操作。

04

主流云数仓性能对比分析

最近随着Snowflake上市后市值的暴增（目前700亿美金左右），整个市场对原生云数仓都关注起来。近日，一家第三方叫GigaOM的公司对主流的几个云数仓进行了性能的对比，包括Actian Avalanche、Amazon Redshift、Microsoft Azure Synapse、Google BigQuery、Snowflake，基本涵盖了目前市场上主流的云数仓服务。

01

JDK1.8 升级这么久！Stream 流的规约操作有哪些？

前段时间介绍了部分 Stream常见接口方法，理解起来并不困难，但Stream的用法不止于此，本节我们将仍然以Stream为例，介绍流的规约操作。

05

谷歌发布 Hive-BigQuery 开源连接器，加强跨平台数据集成能力

最近，谷歌宣布正式发布 Hive-BigQuery Connector，简化 Apache Hive 和 Google BigQuery 之间的集成和迁移。这个开源连接器是一个 Hive 存储处理程序，它使 Hive 能够与 BigQuery 的存储层进行交互。

02

如何使用 SQL 对数据进行分析？

我们通过 OLTP（联机事务处理）系统实时处理用户数据，还需要在 OLAP（联机分析处理）系统中对它们进行分析,今天我们来看下如何使用 SQL 分析数据。

03

谷歌又傻X之BigQuery ML

最近工作忙，又努力在写干活，没怎么关注互联网行业的发展。周末好不容易补补课，就发现了谷歌在其非常成功的云产品BigQuery上发布了BigQuery ML。说白了就是利用SQL语句去做机器学习。

02

构建冷链管理物联网解决方案

冷链物流的复杂性、成本和风险使其成为物联网的理想使用案例。以下是我们如何构建一个完整的物联网解决方案，以应对这些挑战。

00

Collector都搞不清楚，写什么Java，一张图搞定！

最近一段时间比较忙，也不知道都在做些什么。五一期间本来打算写一篇的，但是一直有各种事情拖着也没写下来。今天继续是计划内的一篇文章collector。

03

什么数据库最适合数据分析师

数据分析师都想使用数据库作为数据仓库处理并操作数据，那么哪一款数据库最合适分析师呢？虽然网上已经有很多对各种数据库进行比较的文章，但其着眼点一般都是架构、成本、可伸缩性和性能，很少考虑另一个关键因素：分析师在这些数据库上编写查询的难易程度。最近，Mode的首席分析师Benn Stancil发布了一篇文章，从另一个角度阐释了哪一款数据库最适合数据分析师。 Benn Stancil认为数据分析工作不可能一蹴而就，分析师在使用数据库的过程中阻碍他们速度的往往不是宏观上的性能，而是编写查询语句时的细节。例如，在Re

05

【观点】最适合数据分析师的数据库为什么不是MySQL？！

数据分析师都想使用数据库作为数据仓库处理并操作数据，那么哪一款数据库最合适分析师呢？虽然网上已经有很多对各种数据库进行比较的文章，但其着眼点一般都是架构、成本、可伸缩性和性能，很少考虑另一个关键因素：分析师在这些数据库上编写查询的难易程度。最近，Mode的首席分析师Benn Stancil发布了一篇文章，从另一个角度阐释了哪一款数据库最适合数据分析师。 Benn Stancil认为数据分析工作不可能一蹴而就，分析师在使用数据库的过程中阻碍他们速度的往往不是宏观上的性能，而是编写查询语句时的细节。例如，在

05

干货 ▏什么数据库最适合数据分析师？

数据分析师都想使用数据库作为数据仓库处理并操作数据，那么哪一款数据库最合适分析师呢？虽然网上已经有很多对各种数据库进行比较的文章，但其着眼点一般都是架构、成本、可伸缩性和性能，很少考虑另一个关键因素：分析师在这些数据库上编写查询的难易程度。最近，Mode的首席分析师Benn Stancil发布了一篇文章，从另一个角度阐释了哪一款数据库最适合数据分析师。

03

Tapdata Connector 实用指南：数据入仓场景之数据实时同步到 BigQuery

【前言】作为中国的 “Fivetran/Airbyte”, Tapdata 是一个以低延迟数据移动为核心优势构建的现代数据平台，内置 60+ 数据连接器，拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力，以及低代码可视化操作等。典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用 ETL 处理等。随着 Tapdata Connector 的不断增长，我们最新推出《Tapdata Connector 实用指南》系列内容，以文字解析辅以视频演示，还原技术实现细节，模拟实际技术及应用场景需求，提供可以“收藏跟练”的实用专栏。本期实用指南以 SQL Server → BigQuery 为例，演示数据入仓场景下，如何将数据实时同步到 BigQuery。

01

Iceberg-Trino 如何解决链上数据面临的挑战

随着区块链技术的使用越来越广泛，存储在区块链上的数据量也在增加。这是因为更多的人在使用该技术，而每笔交易都会给区块链增加新的数据。此外，区块链技术的使用已经从简单的资金转移应用，如涉及使用比特币的应用，发展到更复杂的应用，包括智能合约之间的相互调用。这些智能合约可以产生大量的数据，从而造成了区块链数据的复杂性和规模的增加。随着时间的推移，这导致了更大、更复杂的区块链数据。

03

从1到10 的高级 SQL 技巧，试试知道多少？

以正确的方式有效更新表很重要。理想的情况是当您的事务是主键、唯一整数和自动增量时。这种情况下的表更新很简单：

01

Java函数式编程Stream.collect()为什么这么受欢迎？

前几天更新的文章内容相信前面繁琐的内容已彻底打消了你学习Java函数式编程的热情，不过很遗憾，下面的内容更繁琐。但这不能怪Stream类库，因为要实现的功能本身很复杂。

05

【学习】什么数据库最适合数据分析师

有奖转发活动回复“抽奖”参与《2015年数据分析/数据挖掘工具大调查》有奖活动。文 | 孙镜涛来源 | InfoQ 数据分析师都想使用数据库作为数据仓库处理并操作数据，那么哪一款数据库最合适分析师呢？虽然网上已经有很多对各种数据库进行比较的文章，但其着眼点一般都是架构、成本、可伸缩性和性能，很少考虑另一个关键因素：分析师在这些数据库上编写查询的难易程度。最近，Mode的首席分析师Benn Stancil发布了一篇文章，从另一个角度阐释了哪一款数据库最适合数据分析师。 Benn Stancil认为数据分

04

谷歌BigQuery ML VS StreamingPro MLSQL

今天看到了一篇 AI前线的文章谷歌BigQuery ML正式上岗，只会用SQL也能玩转机器学习！。正好自己也在力推 StreamingPro的MLSQL。今天就来对比下这两款产品。

03

15 年云数据库老兵：数据库圈应告别“唯性能论”

本文由 Cloudberry Database 社区编译自 MotherDuck 官网博文《PERF IS NOT ENOUGH》，原作者为 Jordan Tigani（ MontherDuck 联合创始人兼 CEO），译文较原文稍有调整。

01

如何使用 SQL 对数据进行分析？

我们通过 OLTP（联机事务处理）系统实时处理用户数据，还需要在 OLAP（联机分析处理）系统中对它们进行分析,今天我们来看下如何使用 SQL 分析数据。

01

构建高大上的MySQL监控平台

对于MySQL的监控平台，相信大家实现起来有很多了：基于天兔的监控，还有基于zabbix相关的二次开发。相信很多同行都应该已经开始玩起来了。我这边的选型是prometheus + granafa的实现方式。简而言之就是我现在的生产环境使用的是prometheus，还有就是granafa满足的我的日常工作需要。

02

云原生数据库设计新思路

本文作者为 PingCAP 联合创始人兼 CTO 黄东旭，将分享分布式数据库的发展趋势以及云原生数据库设计的新思路。

01

详细对比后，我建议这样选择云数据仓库

以数据洞察力为导向的企业每年增长 30% 以上。数据有助于公司排除决策错误。团队可以利用数据结果来决定构建哪些产品、增加哪些特性以及追求哪些增长。

01

Prometheus + Granafa 构建高大上的MySQL监控平台

作者 | 小罗ge11 来源 | http://r6d.cn/UdS6 概述对于MySQL的监控平台，相信大家实现起来有很多了：基于天兔的监控，还有基于zabbix相关的二次开发。相信很多同行都应该已经开始玩起来了。我这边的选型是prometheus + granafa的实现方式。简而言之就是我现在的生产环境使用的是prometheus，还有就是granafa满足的我的日常工作需要。 1、首先看下我们的监控效果、mysql主从 2、mysql状态： 3、缓冲池状态： exporter 相关部署

02

选择一个数据仓库平台的标准

原文地址：https://dzone.com/articles/criteria-for-selecting-a-data-warehouse-platform

04

如何使用5个Python库管理大数据？

如今，Python真是无处不在。尽管许多看门人争辩说，如果他们不使用比Python更难的语言编写代码，那么一个人是否真是软件开发人员，但它仍然无处不在。

01

Prometheus + Granafa 构建高大上的MySQL监控平台

对于MySQL的监控平台，相信大家实现起来有很多了：基于天兔的监控，还有基于zabbix相关的二次开发。相信很多同行都应该已经开始玩起来了。我这边的选型是Prometheus + Granafa的实现方式。简而言之就是我现在的生产环境使用的是prometheus，还有就是granafa满足的我的日常工作需要。在入门的简介和安装，大家可以参考这里：

03

寻觅Azure上的Athena和BigQuery（一）：落寞的ADLA

AWS Athena和Google BigQuery都是亚马逊和谷歌各自云上的优秀产品，有着相当高的用户口碑。它们都属于无服务器交互式查询类型的服务，能够直接对位于云存储中的数据进行访问和查询，免去了数据搬运的麻烦。对于在公有云的原生存储上保存有大量数据的许多客户而言，此类服务无疑非常适合进行灵活的查询分析，帮助业务进行数据洞察。

02

SQL性能分析工具包

本章介绍可用于主动分析特定SQL语句的分析工具。这些工具收集有关这些SQL语句执行的详细信息。使用这些信息，开发人员可以采取措施提高低效SQL语句的性能。

02

云原生数据库设计新思路

在讲新的思路之前，先为过去没有关注过数据库技术的朋友们做一个简单的历史回顾，接下来会谈谈未来的数据库领域，在云原生数据库设计方面的新趋势和前沿思考。首先来看看一些主流数据库的设计模式。

01

一日一技：如何统计有多少人安装了 GNE?

GNE 正式版上线已经一周了，我想知道有多少人使用 pip 安装了 GNE，应该如何操作呢？

02

谷歌推出 Bigtable 联邦查询，实现零 ETL 数据分析

作者 | Steef-Jan Wiggers 译者 | 明知山策划 | 丁晓昀最近，谷歌宣布 Bigtable 联邦查询普遍可用，用户通过 BigQuery 可以更快地查询 Bigtable 中的数据。此外，查询无需移动或复制所有谷歌云区域中的数据，增加了联邦查询并发性限制，从而缩小了运营数据和分析数据之间长期存在的差距。 BigQuery 是谷歌云的无服务器、多云数据仓库，通过将不同来源的数据汇集在一起来简化数据分析。Cloud Bigtable 是谷歌云的全托管 NoSQL 数据库，主要用

03

大数据入门与实战-Hive 常见SQL、技巧与问题

SQL 中的 TRIM 函数是用来移除掉一个字串中的字头或字尾。最常见的用途是移除字首或字尾的空白。

03

关于 Java Lambda 表达式看这一篇就够了（强烈建议收藏）

Java Lambda表达式的一个重要用法是简化某些匿名内部类（Anonymous Classes）的写法。实际上Lambda表达式并不仅仅是匿名内部类的语法糖，JVM内部是通过invokedynamic指令来实现Lambda表达式的。具体原理放到下一篇。本篇我们首先感受一下使用Lambda表达式带来的便利之处。

03

运用谷歌 BigQuery 与 TensorFlow 做公共大数据预测

【新智元导读】谷歌BigQuery的公共大数据集可提供训练数据和测试数据，TensorFlow开源软件库可提供机器学习模型。运用这两大谷歌开放资源，可以建立针对特定商业应用的模型，预测用户需求。 Lak Lakshmanan 是谷歌云服务团队的大数据与机器学习专业服务成员，他在谷歌云平台写了下文，以帮助用户使用谷歌云预测商业需求。所有商业业务都会设法预测客户需求。如果你开饭馆，你需要预测明天要做多少桌饭、顾客会点哪些菜，这样你才能知道需要购买那些食材、厨房需要多少人手。如果你卖衬衫，你要提前预测，你应该从

06

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭