选择查询以使用BigQuery对输出json中的记录进行分组

文章/答案/技术大牛

发布

1回答

sql、json、database、google-bigquery

我在BigQuery中有一个datetime分区表，其模式如下：customer_id STRING REQUIRED因此，如果我做一个SELECT * FROMmy_table`，它将生成一个具有如下结构的JSON： {FROM `my_table` CROSS JOIN UN

浏览 4提问于2020-02-18得票数 0

回答已采纳

1回答

如何从数据流作业发送和过滤结构化日志

google-cloud-dataflow、logback、apache-beam、google-cloud-stackdriver

其目标是存储来自不同应用程序/作业的审计日志，并能够根据某些is对它们进行聚合。为此，我们选择了BigQuery，因此我们需要从日志中获取到BigQuery的结构化信息。我们成功地使用了部署在kubernetes引擎中的应用程序，将输出日志以json的形式记录到stdout，并对其<

浏览 0提问于2019-04-18得票数 6

1回答

BigQuery -记录字段中的灵活模式

json、google-bigquery、record

我有一个用于BigQuery的模式，其中记录字段是类似于JSON的，但是JSON中的键是动态的，也就是说，新的键可能会出现在新的数据中，很难知道总共有多少个键。根据我的理解，不可能对这样的表使用BigQuery，因为需要显式定义记录字段类型的模式，否则会引发错误。唯一

浏览 0提问于2015-06-23得票数 9

回答已采纳

2回答

Bigquery : regex提取后的计数/分组

sql、group-by、google-bigquery、count

我是bigquery的新手。'title', 'STRING', 'NULLABLE', None, ()),电影的标题是这样的:法老的军队(1995)order by

浏览 13提问于2022-03-17得票数 1

回答已采纳

1回答

用于非结构化数据的BigQuery

bigdata、google-bigquery、data-analysis

我正在考虑使用BiqQuery进行数据(非结构化)分析的想法。我如何利用这种潜力来处理非结构化数据？根据我对BigQuery的理解，它对以关系形式表示的数据进行操作，这是向BigQuery提供数据时要遵循的结构。有没有办法让B

浏览 12提问于2014-09-09得票数 1

2回答

BigQuery中不同文件格式加载的比较

google-cloud-platform、google-bigquery

我们目前通过csv或直接通过流式API将大部分数据加载到BigQuery中。然而，我想知道是否有可用的基准(或者Google工程师可以在答案中告诉我)加载不同格式的效率如何比较。例如，如果我们有相同的100行数据，BigQuery是否显示与加载它有任何性能差异：我相信其中一个答案将是“为什么你不测试它”，但我们希望，在架构转换器或重写我们的应用程序之前，工程师可以与我们分

浏览 1提问于2018-03-14得票数 1

回答已采纳

1回答

Google Bigquery:如何从web UI查询界面以编程方式创建表(保存结果)？

google-bigquery

我们通过一个似乎主要是Web查询/结果窗口的接口来使用BigQuery，我需要在那里运行一个查询来创建中间结果，然后对它们进行连接(逐步解决问题，因为BigQuery似乎不支持嵌套子查询(具有外部连接)或连接子句中的函数)。我可以在Web中执行此操作，方法是运行第一个查询(对于中间结果集)，从BigQuery UI的查询</em

浏览 1提问于2016-04-16得票数 1

1回答

SSRS报表多值报表筛选和分组

sql-server、reporting-services、ssrs-2008-r2

这是我想在报告上看到的输出。它将被导出到Excel中，因此我将使用它来描述所需的输出。样本报告输出：(标签参数选择:a和D)Worksheet 2=显示与选定的所有标记匹配的记录(必须同时具有A和D！目前，在报告中，我有3张表可供选择：表1:只显示完整的查询<

浏览 2提问于2017-10-24得票数 0

回答已采纳

1回答

BigQuery json导出使用什么格式？

json、google-bigquery

我试图从Google的json导出中加载数据，但是看起来它是无效的JSON (ECMA-404)，(RFC 7159)，(RFC 4627)。以下是我对json新闻行的期待：但它所给予的却是：以下是单击四行查询结果上的"Download“按钮的示例输出： {"c0":"001U0000016lf5jIA

浏览 0提问于2018-03-06得票数 5

回答已采纳

1回答

是否有方法将BigQuery交互式shell结果保存到文件中？

sql、shell、google-bigquery

执行bq shell运行BigQuery交互式shell。运行后，shell可以接受SQL命令，并显示结果的表格格式。有没有办法将这些交互结果保存到文件中(例如CSV、JSON等)？

浏览 4提问于2020-02-17得票数 2

回答已采纳

2回答

对BigQuery中嵌套字段的查询是否仅将子字段的大小计为按需定价中的“已处理数据量”？

google-bigquery

另一种可能是“已处理数据量”具有顶部的大小，包括STRUCT/RECORD类型，即使只选择了STRUCT/RECORD列的一个子字段。在线doc有"0字节+所包含字段的大小“，这对我来说并不明确。

浏览 72提问于2020-08-15得票数 0

1回答

BigQuery中记录类型与扁平表的查询性能

google-bigquery

我有一个包含"orders“和"order line”的表，它们以JSON的形式出现，在中以JSON的形式存储它非常简单。我可以运行一个进程将文件展平为行，但这是一种负担，而且会使BigQUery表变得更大。 BigQuery的最佳性能结构是什么？假设我对sum或products以及订单行中的销售额有疑问。记录</em

浏览 0提问于2012-11-02得票数 3

1回答

BigQuery -查询元数据，如“上次修改”

google-bigquery

有没有办法在BigQuery中查询表的详细信息？我什么意思？运行查询，如我得到计费项目的名称、数据集名称、表名、表类型、如果是可插入的、键入的和创建时间。但是，查看BQ控制台中的details选项卡，我可以找到表大小、上次修改、行数、分区等等。是否也有任何方法来查询这些元数据？你的帮助将不胜感激。

浏览 11提问于2021-09-21得票数 0

回答已采纳

2回答

Rails中仅附加数据库的软删除

ruby-on-rails、activerecord、google-bigquery、soft-delete

使用Rails和一个仅附加的数据库(Google BigQuery)，软删除的最佳实践是什么？我考虑的模式是为每次更新/删除添加一个新行，并且只收集最近的记录。但我不确定有什么干净的方法能用活跃的记录。还有其他建议的模式/最佳做法吗？

浏览 4提问于2016-04-04得票数 0

回答已采纳

1回答

通过中间件使用BigQuery* API客户端并定位secrets.json文件*

javascript、google-bigquery、next.js

我想使用一个机密文件夹来存储我的bigquery客户端机密json，并使用BigQuery 作为节点对数据库进行查询。但是在中，它展示了从json文件加载凭据的方法，而不是直接加载凭据。我正在使用类型记录来查询表并追加行，在接下来的js中，我对如何访问不会暴露于客户端的机密文

浏览 1提问于2021-12-27得票数 1

1回答

在Angular中发送点击到Google Pub/Sub

javascript、google-cloud-platform、google-analytics、google-cloud-pubsub

我是GCP的新手，我想知道我是否可以将我的Angular应用程序中的页面点击或其他分析数据发送到Pub/Sub。我知道，仅仅使用Google Analytics的基础知识也有类似的效果，但我真的很想尝试通过自定义代码将分析数据发送到Pub/Sub。如果我理解正确的话，我不能简单地向我的网页添加一个JavaScript片段，它会将数据发送到一个特定的api (例如：将用户访问网站的时间发送到gcloud.com&#x

浏览 3提问于2020-04-27得票数 1

1回答

BigQuery和Data的使用(成本)

google-cloud-platform、google-bigquery、google-data-studio、google-logging

我想在我的项目中查看BigQuery成本。我根据以下功能将日志下载到表中：protoPayload.methodName = "jobservice.jobcompleted"protoPayload.serviceName = "bigquerybi

浏览 10提问于2022-02-21得票数 1

1回答

使用API将Bigquery数据导出到外部应用程序的最佳GCP体系结构

google-app-engine、google-cloud-platform、google-bigquery、google-cloud-sql

我将以下GCP产品一起用于CRM系统： Appengine运行使用这些ids过滤的Bigquery查询。类

浏览 2提问于2022-04-16得票数 -4

回答已采纳

2回答

大数据分析

python、database、bigdata、google-bigquery、data-analysis

我正试图分析大量的GitHub存档数据，并被许多限制所困扰。我可以非常快地使用Google BigQuery获得这个结果，但它每次“分析”13.6GB的数据。这将我限制在<75请求，而不必支付每增加75美元5美元。我的另一个选择是搜索我<em

浏览 6提问于2014-08-02得票数 1

回答已采纳

1回答

如何分析来自云日志记录的Firebase托管下载

firebase、firebase-hosting、google-cloud-logging

我有一个小型的防火墙项目，它使用firebase托管一个带有几个云功能的静态站点。通常情况下，它很好地低于自由极限，但在过去的几天里，我看到了一些非常大的峰值，远远超过了自由极限。我已经将该项目的防火墙托管链接到google日志记录。所以我可以进去看看网络请求日志，这样我就可以看到原始的细节了。但我找不到一种方法来汇总和分析这些信息。例如，我想回答如下问题：在给定的24小时内，列出按所有请求的聚合请求大小排序的

浏览 5提问于2021-09-12得票数 1

回答已采纳

点击加载更多