有没有办法从BigQuery表中的所有列中获得不同的值？

文章/答案/技术大牛

发布

1回答

google-cloud-platform、google-bigquery

Select column_name from projectname.tablename.INFORMATION_SCHEMA.COLUMNS where table_name = 'something'从特定表中获取列名列表我不确定正确的方法是遍历所有列名，同时为每个列名获取不同的值，还是在BigQuery中有不同的方法可遵循。预期结果为：1

浏览 22提问于2020-05-19得票数 0

1回答

如何在BigQuery表中的450个列中找到"-32767“值？

google-bigquery

我有一个包含450个列和数百万行的BigQuery表。正如可以预期的那样，该表具有所有类型的列，如日期时间、日期、整数、数字和字符串。我想知道哪一列包含值"-32767“。有没有办法在BigQuery中实现这一点？

浏览 8提问于2022-05-11得票数 0

1回答

将可变结构的JSON加载到Google BigQuery中，重复和可空的问题

json

我正在尝试将Google JSON文件加载到200k+ BigQuery中。数据集是出纳员数据，在一些交易中使用一张折扣凭证，在一些交易中使用一张以上的凭证，而在其他交易中不使用凭证。因此，一些字段在一个文件中是可重复的，但在另一个文件中为空。加载时，我得到一个错误：'***': Invalid schema update

浏览 2提问于2017-05-04得票数 0

2回答

谷歌BigQuery -导入CSV -如何匹配列？

csv、google-bigquery

我有定期进口到BigQuery通过CSV，这是很好的。但是，我的CSV中列的顺序最近发生了变化，当导入到BigQuery时-- CSV中的列名与BigQuery表<

浏览 0提问于2017-06-30得票数 0

1回答

在较大的CSV文件上加载BigQuery失败

csv、unix、google-bigquery、amazon-redshift

我在谷歌的BigQuery上加载较大的文件时遇到了一个问题。问题是，当我加载少于1000行的文件时，它加载没有任何错误，但当我加载超过10000行的文件时，我得到加载错误。BigQuery error in load operation: Error processing job '......': Too many errors encountered.任务是从Redshift导出数据并将其加载到BigQuery中</em

浏览 0提问于2016-08-10得票数 2

4回答

是否可以查询存储的云存储日志数据而不使用BigQuery对其进行清理？

google-cloud-platform、google-bigquery、stackdriver

我有大量日志数据从StackDriver导出到。我正在尝试使用BigQuery运行查询。但是，在BigQuery Dataset中创建表时，我将得到大量日志数据是从包含大量唯一列名的StackDriver接收器中导出的。其中一些名称不符合BigQuery表的要求。解决这

浏览 0提问于2019-09-04得票数 0

回答已采纳

1回答

如何进行查询，以便为大型查询中的所有分区表转换列中的值

sql、google-bigquery、partition

我很好奇是否有一种方法可以查询和写入大型查询中的所有分区表。我希望将单个列转换为不同的数据类型，并将其应用于大型查询表中所有分区的值。即 select cast(nums as STRING) from `project_id.dataset.table` 并将其写回表中列中的所有值<

浏览 14提问于2019-06-19得票数 1

回答已采纳

1回答

BigQueryIO读fromQuery

google-bigquery、google-cloud-dataflow、dataflow

比如说，在Dataflow/Apache程序中，我正在尝试读取数据呈指数增长的表。我想提高阅读的性能。dataset.tablename")BigQueryIO.Read.fromQuery("SELECT A, B FROM [projectid:dataset.tablename]") 如果我只是在表中选择所需的列，而不是上面的整个表，那么我的读取性能会提高吗？

浏览 1提问于2019-01-29得票数 4

回答已采纳

3回答

为什么BigQuery没有删除列的选项？

google-bigquery

我正在寻找一个像ALTER TABLE TABLE_NAME DROP COLUMN_NAME这样从我的BigQuery表中删除列的选项-但我在online中找到的所有内容都是，删除旧表并创建一个新表。我只是想知道，在BigQuery中没有这个选项有什么逻辑上的原因吗？

浏览 3提问于2017-08-22得票数 8

1回答

有没有办法在大查询中取消删除表列？

google-bigquery

如果我删除bigquery中的列，bigquery是可恢复的吗？如果有多长时间？有没有办法在大查询中取消删除表列？如果我确实想要永久删除大型查询表中的列，我该如何着手呢？有没有可能永久删除列而不制作表的副本(没有不需要的列)？

浏览 28提问于2020-11-06得票数 0

1回答

BigQuery加载JSON文件:如何忽略或重命名字段？

google-bigquery

我的计算机上有一个NEWLINE_DELIMITED_JSON文件，我想将其加载到BigQuery表中。我每行有3个键。其中之一是时间戳:我想删除它，并且不想在我的BigQuery表中获得"timestamp“列。其中一个键的名称是错误的: JSON文件中的键的名称是"special_id“，但我希望将其加载

浏览 0提问于2020-07-24得票数 1

1回答

在大查询驱动的Google连接的工作表列之间插入手动列的可能性

sql、google-bigquery

我试图通过连接的工作表在大查询生成的提取列之间插入一个手动列。基本上，我已经有一个Google连接表，它通过SQL从大型查询中提取出来。但是，每当我试图在查询生成的列之间插入手动列时，它就会自动将手动列移到右侧的末尾或左侧的末尾。我不想要这个。我希望能够在Google表中生成的大型查询列之间插入一个手动

浏览 6提问于2022-08-26得票数 1

3回答

如何将JSON字符串列行转换为可查询表

sql、json、google-bigquery

我已经从Firestore导出了一个完整的集合到BigQuery，以执行对它的某些查询。` 现在，这个语句抛出了我的不同的列，但是我要寻找的是数据列，在我的数据列中是每个文档JSON，但是是json格式的，我需要查询所有这些值。timestamp": { &qu

浏览 2提问于2020-05-29得票数 0

1回答

如何从GCS中的文件中自动检测模式并加载到BigQuery？

google-bigquery、airflow

我正在尝试将一个文件从GCS加载到BigQuery，它的模式是从GCS中的文件自动生成的。我使用Apache气流来做同样的事情，我遇到的问题是当我使用自动从文件中检测模式时，BigQuery根据大约100个初始值创建模式。例如，在我的例子中有一个列，比如X，X中的值大多是In

浏览 2提问于2019-12-27得票数 0

2回答

谷歌BigQuery:停止运行查询

google-bigquery

几个小时前，我在谷歌BigQuery上运行了一个查询，该查询仍在运行。我点击了“放弃”，但似乎没有办法停止查询。我能做什么?我可以以某种方式联系Google，让他们停止查询吗？我一直在为一家使用BigQuery分析谷歌分析数据的公司做一个项目，所以我不想给他们开一大笔账单。(也许StackOverflow不是问这个问题的合适地方，但我试着找了另一个地方，但是我找不到。在BigQuery支持页面上，有人说问题应该在这里问，带有google-bigquery标签，所以我就这

浏览 1提问于2015-02-04得票数 1

1回答

在BigQuery中将np.array或python列表对象保存为单个记录的最佳方法是什么？

python、arrays、google-bigquery、embedding

我有一个ML模型(文本嵌入)，它输出一个很大的1024长度的浮点数向量，我希望将其持久化到一个BigQuery表中。向量中的各个值本身没有任何意义，整个向量是感兴趣的特征。因此，我希望将这些列表存储在BigQuery中的单个列中，而不是每个浮点对应一列。此外，向最初只有4或5行的表中

浏览 10提问于2020-02-27得票数 0

2回答

用户ID未显示在BigQuery中

google-analytics、google-bigquery、analytics

user_id在BigQuery中出现null的原因是什么？来自分析的数据将发送到BigQuery，但不会传递user_id。user_id被发送到Google Analytics，但BigQuery中没有它的原因可能是什么？

浏览 3提问于2016-08-08得票数 3

1回答

无法按自定义分析标签聚合Firebase通知事件？

firebase、firebase-realtime-database、google-analytics、google-bigquery、google-cloud-messaging

我正在使用FireBase的云消息功能，我需要分析存储在BigQuery中的通知数据。我在BigQuery中有两个表： .analytics_[0-9]*.event_*，其中包含所有事件的详细信息。事件_名称，事件_参数，事件_日期等like“通知_打开“或”通知_ closed“等和leavoice.firebase_messaging.data表，该表包含类似于message的列</

浏览 69提问于2021-02-19得票数 0

回答已采纳

1回答

扳手到CSV DataFlow

google-cloud-platform、google-bigquery、google-cloud-dataflow、google-cloud-spanner

我正在尝试将表从扳手复制到大型查询。我已经创建了两个数据流。一个是从扳手复制到文本文件，另一个是将文本文件导入bigquery。表中有一列，该列的值为JSON字符串。从文本文件导入到bigquery时，数据流作业运行时出现问题。作业抛出以下错误： INVALD JSON：:1:38预期的eof，但发现，"602...有没有什么办法可以

浏览 23提问于2020-09-11得票数 0

点击加载更多