如何使用BigQuery生成日期数组并向前填充缺少的数据？

文章/答案/技术大牛

发布

1回答

sql、google-bigquery

BigQuery的GENERATE_DATE_ARRAY函数来填充每个客户缺失的周(在2019-10-20到2019-11-10之间)，这将导致缺失的周的customer_id和记分值为空(如下所示)。27 | 2 | 8 2019-11-10 | NULL | NULL 我希望使用最后一个非空值来向前填充如果我过

浏览 20提问于2021-05-28得票数 0

1回答

将空值设置为缺失表字段的默认值

java、sql、google-bigquery

我使用Java和SQL将数据移动到一个新表。我想：不幸的是，一些旧数据遵循不同的模式。一些旧表可能有从一个到几百个缺失的列(字段)。我没有任何可靠的方法来生成或填充这些缺失的数据

浏览 0提问于2019-01-28得票数 0

回答已采纳

1回答

如何在数据集中创建动态表并在tableau中访问？

google-bigquery、tableau-api

我有一个BigQuery数据库，我想要创建动态表。例: table_20170609 -如果日期是2017年6月9日每天我会得到一些excel数据，我必须上传到上面动态创建的表excel中的数据不是按日计算的，它将从开始日期到今天的日期。我知道将bigquery连接到tableau<e

浏览 3提问于2017-06-09得票数 0

1回答

为什么在BigQuery沙箱环境中会发生这种情况？-它只在BigQuery中创建空分区表

google-cloud-platform、google-bigquery

这对我来说也是一样的，在DDL语句下面运行创建分区表时，它创建的是空的分区表，不确定为什么！--这发生在BigQuery Sandbox环境中。FROM bigquery-public-data.stackoverflow.posts_questions

浏览 18提问于2022-03-21得票数 1

回答已采纳

6回答

需要帮助创建将CSV加载到BigQuery的架构

csv、google-bigquery、loading

我正在尝试从将一些CSV文件加载到BigQuery中，并与模式生成进行斗争。有一个自动生成选项，但它的文档很少。问题是，如果我选择让BigQuery生成模式，它在猜测数据类型方面做得不错，但有时它才会将数据的第一行识别为标题行，而有时则不会(将第一行视为数据，并生成类似于string_field_N的列名)。我的数据的<

浏览 0提问于2019-01-22得票数 2

1回答

如何有效地解析google云功能中的大XML？

node.js、google-bigquery、google-cloud-functions、xml-parsing

我必须从Google函数中数百MB大小的XML文件中提取数据，我想知道是否有任何最佳实践？由于我已经习惯了nodejs，所以我查看了一些流行的库，比如，但是如果您只想从一个庞大的xml中获取特定的数据，那么它就显得很麻烦了。当XML太大时，我也不确定是否存在性能问题。总的来说，这并不是解析和从庞大XML中提取数据的最佳解决方案。然后，我想知道是否可以将用于这个任务，简单地将xml转换为json，并将其扔到Dataset中，然后可以使用</em

浏览 2提问于2021-10-07得票数 1

回答已采纳

2回答

在中处理tableSchema of BigQuery中的缺失和新字段

google-cloud-platform、google-bigquery、google-cloud-functions、google-cloud-dataflow、apache-beam

，并使用云函数写入BigQuery。例如，在数据"PhoneNumber"的第5行显示..。问题1：如果缺少<em

浏览 2提问于2018-02-20得票数 1

回答已采纳

1回答

对bigquery.jobs.query的API调用失败，错误:访问被拒绝: Project大查询:用户没有bigquery.jobs.create权限

html、google-apps-script、google-bigquery

我创建了一个Google，它通过侧边栏从Big中提取数据。当我通过自定义菜单运行函数或从编辑器执行函数时，我能够获得数据。该函数只需查询BQ中的一个表，并输出工作表中的数据。但是，当我试图通过侧栏中的submit按钮运行函数时，我会得到一个错误。我在HTML中使用google.script.run来执行Apps脚本函数。下面是我得到的错误：错误: GoogleJsonResponseException: API对bigque

浏览 7提问于2022-05-22得票数 3

回答已采纳

1回答

使用熊猫-gbq在BigQuery中插入零值

python、pandas、google-bigquery

我有一个BigQuery表，我希望使用熊猫-gbq填充。该表具有一个预定义的架构，其中包括可空int和string字段。目前，我正在为每个数据字段生成一个列表的dict，并在缺少值时放置pandas.NA或None (我尝试过两者)。我目前丢失了我的一个可空int字段的值，例如： df_dict = {'ints': [1,2,None, 3], 'strings': [&#x

浏览 2提问于2022-01-04得票数 0

回答已采纳

2回答

填充日期数组并添加虚拟变量

excel

我有一个有日期的专栏叫做“日期”。本专栏的日期为2010年1月1日至2010年12月31日。它应该有365行，但实际上只有231行，因为数据不是定期收集的。其他人不见了，我想填补时间上的空白。如何用缺少的日期填充该列的数组？我想在丢失的日期中添加134行，填充缺失的<

浏览 2提问于2014-05-14得票数 0

回答已采纳

4回答

Avro日期和时间与BigQuery的兼容性？

google-bigquery、avro

BigQuery通常在加载Avro数据方面做得很好，但是"bq“在时间戳和其他使用Avro logicalType属性的日期/时间字段方面遇到了很多问题。当BigQuery时间戳将其解释为微秒时间戳时，我使用Avro类型的时间戳-millis的数据就会出现故障。可以加载到时间戳中的时间戳-micros整数在BigQuery日期时间中无效。

浏览 3提问于2016-11-17得票数 5

回答已采纳

1回答

R的时序会自动生成丢失的数据吗？

r、time-series、missing-data、imputation

我想知道是否有人从统计软件包中了解R的时间序列可以帮助我。我目前正在使用stat的ts函数生成时间序列。我向ts函数传递了一个数据集(包含3年的日期和每天的数值)、已解析为十进制日期的开始和结束日期以及365的频率。但是，缺少某些日期范围(例如，缺少2016年4月30日至2017年1月2日之间的日期<

浏览 4提问于2017-09-14得票数 1

4回答

Objective-C，我如何生成一个字符串数组/列表并计算每个字符串数组/列表？

iphone、objective-c、xcode

我的目标是生成一个数组，我可以使用它为UITableView添加节标题。我认为最简单的方法是生成一个sections数组。我想为日期创建区段标题，其中每个日期都有几行或没有行。因此，在我填充数据数组函数中，我希望填充一个显示数组。因此记录1，在我的显示数组中查找第一个日期，如果它不存在，则创

浏览 4提问于2010-11-04得票数 0

回答已采纳

1回答

在Angular应用程序中未获得正确的日期值的周数

angular、date-fns

我正在做一个计划器项目，并且我使用了datefns库。我有一个函数，它给出了一年中的周数。问题是，只要我点击选定的周(下拉列表)，它就不会给出正确的日期。我想要显示所选周的第一天和最后一天。如何显示所选周的正确日期和所选周的最后一天？下面是我的ts代码： export class AppComponent implements OnInit { t

浏览 14提问于2021-10-29得票数 0

回答已采纳

1回答

缺少数据时选择一行

postgresql

我每天都使用这个直接向前的查询来检索数据。数据的一部分是ID。ID Date Value003 2013-07-02 750重要的</e

浏览 1提问于2013-07-04得票数 1

3回答

如何在包含日期范围的数组中填充日期？

javascript、momentjs

我有一个包含计数值的日期数组。13T08:00:00.000Z", } "date": "2014-11-16T08:00:00.000Z", }如何使用count = 0填充缺少的日期，以便在javascript中生成以下内容：

浏览 1提问于2014-10-23得票数 0

2回答

如何使用JAVA API从BigQuery查询数据

java、google-api、google-bigquery、google-api-java-client

我们有一个用JAVA编写的应用编程接口项目，使用spring hibernate并从MySQL读取数据。最近，我们添加了另一个数据源BigQuery，因此我们希望允许用户使用JAVA api客户端调用特定的api来查询来自BigQuery的数据-来自BigQuery中orders表的orders count我的web应用程序调用-> java api lay

浏览 20提问于2016-01-28得票数 0

5回答

BigQuery表的索引

cloud、google-bigquery

我有一个用例，其中我们在BigQuery中有几个表。现在，我想在BigQuery表中的一个列上实现一个索引。但我找不到足够的文件来做这件事。我发现一些博客和帖子提到BigQuery不支持索引。请帮我找到一个博客或帖子，可以帮助我在BigQuery上实现索引。提前谢谢。

浏览 3提问于2015-02-19得票数 18

回答已采纳

1回答

Google BiqQuery，无效模式更新。字段已将类型从整数更改为字符串。

python、google-bigquery、dataset、config、gcloud

在GCP中，使用python，我的query选择要插入表BQ_table中的一些数据。BQ_table跟随schema。schema = [ bigquery.SchemaField("name", "STRING", mode="NULLABLE"), bigquery.SchemaField("age&quo

浏览 7提问于2020-11-08得票数 2

回答已采纳

1回答

如何在Siddhi中将来自BigQuery的数据作为源进行流(查询)

java、google-bigquery、siddhi

希望使用siddhi ()开发一个数据处理管道应用程序来从BigQuery读取数据并生成事件。有许多引用使用HTTP、关系数据库管理系统和TCP作为源，但不确定如何处理BigQuery。任何关于如何从Siddhi应用程序作为源连接到BigQuery的引用或示例都会有所帮助。

浏览 7提问于2022-05-29得票数 -1

回答已采纳

点击加载更多