BigQuery -从嵌套表中筛选无效
BigQuery是一种由Google Cloud提供的全托管的大数据分析平台。它可以帮助用户高效地进行数据存储、查询和分析。在使用BigQuery时，可以从嵌套表中筛选无效的数据。
嵌套表是一种特殊的数据结构，它可以在表中包含其他表或者记录。在某些情况下，嵌套表中的某些数据可能是无效或不需要的，这时就需要筛选出有效的数据。可以通过使用BigQuery的查询语言（SQL）来实现对嵌套表的筛选。
在BigQuery中，可以使用WHERE子句来筛选嵌套表中的无效数据。WHERE子句可以指定一些条件，根据这些条件来过滤数据。例如，可以使用WHERE子句来筛选出特定条件下的有效数据，如日期范围、数值范围、字符串匹配等。
除了使用WHERE子句，BigQuery还提供了其他一些功能来处理嵌套表中的数据。例如，可以使用JOIN操作将多个表关联起来，然后进行筛选和查询。此外，BigQuery还支持使用用户定义的函数（UDF）来处理嵌套表中的数据，以实现更复杂的筛选和处理操作。
对于BigQuery的应用场景，它适用于需要高效处理大规模数据集的场景，例如数据分析、业务智能、日志分析等。它具有强大的数据查询能力和高可扩展性，能够处理PB级别的数据，并且可以通过使用BigQuery API进行集成和自动化操作。
在使用BigQuery时，可以结合腾讯云提供的相关产品来实现更全面的解决方案。腾讯云提供了云原生数据库TencentDB和云存储对象存储COS等产品，可以与BigQuery进行集成，实现数据的存储和处理。同时，腾讯云还提供了弹性MapReduce（EMR）和数据仓库（DW）等产品，可以与BigQuery结合使用，实现更复杂的数据分析和处理需求。
更多关于BigQuery的详细信息和腾讯云相关产品的介绍，您可以访问腾讯云官方网站的以下链接：
- BigQuery产品介绍：https://cloud.google.com/bigquery
- 腾讯云云原生数据库TencentDB介绍：https://cloud.tencent.com/product/tcdb
- 腾讯云对象存储COS介绍：https://cloud.tencent.com/product/cos
- 腾讯云弹性MapReduce（EMR）介绍：https://cloud.tencent.com/product/emr
- 腾讯云数据仓库（DW）介绍：https://cloud.tencent.com/product/dw
相关·内容
这个问题是的扩展。
我有一个表(2014_05_31_transformed.Video)，其模式如下所示。我已经将BigQuery API返回的JSON放在中描述它的模式。
我试图使用如下所示的API调用针对该表创建一个视图：
{
'view': {
'query': u 'SELECT deleted_mod_time FROM [2014_05_31_transformed.Video]'
},
'tableReference': {
'dataset
浏览 2提问于2014-06-04得票数 4
通过在Google上运行代码，我使用从BigQuery中的表中提取数据。据我所知，这里共享的代码如下：
conf = {
# Input Parameters.
'mapred.bq.project.id': project,
'mapred.bq.gcs.bucket': bucket,
'mapred.bq.temp.gcs.path': input_directory,
'mapred.bq.input.project.id': 'publicdata',
&#
浏览 0提问于2018-11-09得票数 2
回答已采纳
我们正在将数据从MySql写入BigQuery。我们已经设定了一些指标，比如
插入-如果第一次添加记录，则在指示器字段中使用“i”保存它。
更新-如果记录有一些更新的数据，然后保存它与'U‘在指示字段，并忽略重复的记录，如果没有改变。
但是在“更新”的情况下，它也在写重复的记录，这一点甚至没有改变。下面是我们当前用于将数据插入BigQuery表中的查询。我们可以对这个查询做什么更改？
"insert into `actual_table`
(
Id,
...
)
select
temp.Id,
...
case when actual.Id i
浏览 0提问于2019-03-18得票数 2
我们通过一个似乎主要是Web查询/结果窗口的接口来使用BigQuery，我需要在那里运行一个查询来创建中间结果，然后对它们进行连接(逐步解决问题，因为BigQuery似乎不支持嵌套子查询(具有外部连接)或连接子句中的函数)。
我可以在Web中执行此操作，方法是运行第一个查询(对于中间结果集)，从BigQuery UI的查询历史记录中获取临时表名，并对其运行第二个查询联接，或者将第一个查询的结果保存到UI中更持久的表名中。
在查询中，有没有一种方法可以告诉BigQuery将输出保存到表中--例如，在语法上等同于python查询配置中的destinationTable属性？
浏览 1提问于2016-04-16得票数 1
1回答
我有一个要求，我需要创建一个数据流作业，该作业将通过过滤将作为json数据一部分的属性的消息，将数据从Google PubSub主题传输到BigQuery表。使用谷歌提供的模板，我可以使用谷歌提供的"PubSub to BigQuery“模板，但这不允许对数据进行过滤。
有办法定制模板"PubSub到Bigquery“吗？如果是的话，任何关于如何做到这一点的链接或示例都会有帮助。
浏览 0提问于2018-11-27得票数 2
在Google BigQuery 1中，它支持嵌套字段类型，所以我可以说它是组织的首选方法，而不是分割成表和使用联接进行查询吗？
Bigquery支持修补程序--当我们需要添加新列时，在非常大的表(例如1TB )中添加新列的性能如何？关闭时间，因为我们可能需要每月更新几次列。
浏览 6提问于2014-05-16得票数 3
我不知道如何在使用嵌套结构时优化表模式。
假设我在BigQuery中有一个具有以下模式的表：
USER
firstName: string
lastName: string
accountID: string
posts: [
{
title: string
body: string
postID: string
}
]
如果我想选择标题为"Hello！“的帖子的用户，这会比SELECTing用户的firstName = "Jose”查询慢得多吗？换句话说，如果查询嵌套值，是否会失去列存储的速度优势？
是否最好为每种类型的查询创建一
浏览 0提问于2019-07-15得票数 0
回答已采纳
我想使用google bigquery数据库查询比特币区块链中记录的子集。我转到这里并单击view dataset https://console.cloud.google.com/marketplace/details/bigquery-public-data/bitcoin-blockchain。然后，在左边栏，你似乎必须点击'bigquery-public-data‘的下拉列表，然后点击'bitcoin_blockchain’，然后点击'transactions‘。然后你必须点击右边的“查询表”按钮。这是我找到的选择表的唯一方法--只是复制和粘贴下面的命令不会重
浏览 11提问于2019-03-17得票数 0
回答已采纳
BigQuery刚刚宣布在使用来自谷歌云存储的外部表时支持缓存结果集，这很棒，尽管从文档中看不出来，但BigQuery如何知道云存储桶中是否有新文件到达或更改，从而使缓存失效？
还是由用户来使其无效？
浏览 23提问于2021-02-13得票数 0
回答已采纳
我正在用Python创建模板：
query = "#standardSQL" + """
SELECT
Frame.Serial,
Frame.Fecha,
Frame.Longitud,
Frame.Latitud,
ARRAY_AGG (CONCAT (ID, '-', Valor) ORDER BY ID) AS Resumen
FROM <...>
TABLE_SCHEMA = 'Serial:STRING,Fecha:DATETIME,Longitud:STRING,Latitud:
浏览 1提问于2018-12-04得票数 1
回答已采纳
我正在使用BI工具查看Bigquery中的数据。数据分布在多个表中，因此在查询中有几个联接，以获得所需格式的数据。由于处理所有这些数据花费了一分钟时间，而且我希望有一种实时的体验，所以我创建了一个调度的查询来运行这个查询，它可以连接并将输出保存到一个表中。表中的数据每30分钟从ETL工具中输入(增量负载)。这将创建Bigquery来加载数据。
我有一个特定的表，在这个表的作业完成后，我想运行预定的查询。
我在调度查询中禁用了调度，因此它只能在API调用期间运行。我编写了一个python脚本，它将一个API请求发送到预定的查询。
在python中是否有任何方式实时监视特定Bigquery表的日志
浏览 1提问于2020-01-30得票数 0
回答已采纳
2回答
我正在学习在bigquery中取消嵌套，我的理解是UNNEST(hits)跟在表名后面，在where子句中，您可以在WHERE子句中定义hits.type。下面的查询显示错误:表名称无效，但表名是正确的：
SELECT index, value
FROM (SELECT hits.customDimensions.index as index,
hits.customDimensions.value as value
FROM `60400612.ga_sessions_*`,
UNNEST(hits) AS hits
浏览 0提问于2019-08-14得票数 0
1回答
假设我有实体A、B和C，要在BigQuery中存储one-to-many关系。
A -- (one to many) --> B --- (one to many) --> C
对于“常规”SQL数据库，我将根据A和C的主键在A和B中创建带有主键和外键的表B、A和C。
它对BigQuery有用吗？是否最好将该结构去奥马尔化，并将所有A、B和C存储在一个表中？
浏览 1提问于2018-05-22得票数 4
回答已采纳
1回答
从web接口到bigquery，可以组合查询，然后将其保存为视图，但在使用标准SQL时，这似乎不起作用。例如，当试图使用此查询保存视图时：
SELECT * FROM `bigquery-public-data.samples.shakespeare` LIMIT 10
我收到的错误消息是：“未能保存视图。无效表名：bigquery-public-data.samples.shakespeare”。
视图是否支持标准SQL，还是将来会支持？
浏览 0提问于2016-05-06得票数 0
回答已采纳
我试图通过app脚本列出一个bigquery表的列名。
代码类似于：
var options = {'method': 'get', 'headers' : {'Content-Type':'application/json'}};
Logger.log(options);
var url = 'https://www.googleapis.com/bigquery/v2/projects/some_project_id/datasets/'+datasetId+'/table
浏览 0提问于2018-04-07得票数 0
我正在将一个java应用程序从Hadoop/Hive移植到Google /BigQuery。应用程序将avro文件写入hdfs，然后在文件之上创建一个/多个分区的Hive外部表。据我所知，Big目前只支持日期/时间戳分区，不支持嵌套分区。
我们现在处理hive的方式是生成ddl，然后使用rest调用执行它。
我在BigQuery docs中找不到对创建外部表的支持，所以我转而使用java库。我设法创建了一个外部表，但在传递给调用的参数中找不到对分区的任何引用。下面是我使用的代码片段：
....
ExternalTableDefinition extTableDef =
ExternalTab
浏览 0提问于2018-08-17得票数 0
回答已采纳
在GCP中，使用python，我的query选择要插入表BQ_table中的一些数据。
query生成两个文件/列:字符串和整数。
BQ_table跟随schema。
schema = [ bigquery.SchemaField("name", "STRING", mode="NULLABLE"),
bigquery.SchemaField("age", "INTEGER", mode="NULLABLE")
]
config
浏览 7提问于2020-11-08得票数 2
回答已采纳
我试图从Google中获取BigQuery表的源数据。
我将源数据位置指定为"Google“，并将其放入到Google表的正确URL中。
但是，在创建表时，我遇到了“无效源”错误。我确信URL是有效的。
创建表失败:无效的源URI：https://docs.google.com/a/sph.com.sg/spreadsheets/d/1e2ognNM1aFd4t
我不知道哪里出了问题。希望有人能帮忙。谢谢。
浏览 0提问于2017-11-15得票数 0
2回答
我对Bigquery/Firebase/GA (甚至SQL )非常陌生。(顺便说一句，如果你有一些好的经验或建议，我可以开始学习，那就太好了！)
但我对Bigquery的主要问题现在需要解决。我尝试了所有的来源，我可以从一些信息/提示。我希望这个社会会成为其中一员。
所以我的问题是定制定义。我们在中定义了它们。我们希望用这个定义来划分用户，并对它们分别进行分析：
我的问题是:如何在bigquery中找到这些自定义定义来过滤我的数据？我有正常的字段，如用户ID、时间戳等，但是找不到这些自定义定义。
我已经做了一些研究，但仍然没有一个明确的答案，如果有人可以给我一些提示或解决方案，我将永远负债！x
浏览 17提问于2021-04-05得票数 0
我正在使用从bigquery中的一堆表中查询。我希望每个结果行都能显示它来自哪个表。
我尝试在select中包含，但是它不会编译：
SELECT _TABLE_SUFFIX, *
FROM `foo.bar_*`
WHERE x = ...
无效字段名"_TABLE_SUFFIX“
浏览 1提问于2019-06-17得票数 0
回答已采纳
我使用dbplyr连接到BigQuery表，这些表是按日期或时间分区的(列名为_PARTITIONDATE或_PARTITIONTIME)。在BigQuery中，您可以使用WHERE _PARTITIONDATE > "some date“进行过滤，以访问表的段并提高查询性能。 但是当我通过dbplyr连接到一个表时，没有可以过滤的分区列。这是预期的行为吗？
浏览 31提问于2021-06-23得票数 0
1回答
我试图在这个pySpark上使用 (表大小: 268.42 GB，行数: 611,647,042)。我将集群的区域设置为US (与BigQuery表相同)，但是即使在集群中使用几台高性能机器时，它的代码也非常慢。知道为什么吗？我应该在桶中创建一个公共BigQuery表的副本吗？如果是，怎么做？
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master('yarn') \
.appName('spark-bigquery-crypto') \
.config
浏览 7提问于2021-07-02得票数 0
1回答
我已经为bigquery安装了流数据的firebase扩展。之后，我用历史数据回填了表格。我很难理解的一件事是，表构建在changelogs上，因此每个流事件的数据都作为嵌套的json对象包含在一个名为“data”的列中。
我想知道是否有一个简单的函数从这个json对象中创建一个视图/表。这样，它将键分别作为列，然后用每一行的值填充它。
一个困难是不同的事件类型包含不同的json对象，这些对象被不同的嵌套。
这就是为什么我希望为每个事件创建一个表/视图。
浏览 4提问于2022-09-22得票数 0
当尝试在BigQuery中执行一个简单的查询时，我得到了以下错误：
Access Denied: BigQuery BigQuery: Permission denied while opening file.
我正在使用一个带有BigQuery管理角色的IAM用户。我可以查看数据集和表，而不是任何数据。
我也授权了数据集。
浏览 9提问于2022-02-28得票数 -1
当试图从需要分区筛选器的BigQuery表提取数据时，提取作业失败。
下面是一个简单的示例，创建一个表并运行一个提取作业。
package com.example;
import com.google.cloud.bigquery.*;
public class BigQueryExtractTest {
private static final String PROJECT_ID = "my-project-id";
private static final String DATASET_ID = "test_dataset";
浏览 2提问于2018-03-27得票数 1
回答已采纳
以前有人使用Google (insert_rows_from_dataframe())将数据流传输到(google) BigQuery？
我的问题是，有时表模式似乎没有立即更新，当您试图在创建模式中的新字段后立即将一些数据加载到表中时，它将返回一个错误：
BigQueryError：{“原因”：“无效”、“位置”：“测试”、"debugInfo"："“、”消息“：”没有“字段。
但是，如果我尝试在几秒钟后再次加载，那么我的问题是，是否有人知道更新的最长时间(从BigQuery方面)，以及是否有可能以某种方式避免这种情况？
浏览 3提问于2019-10-24得票数 1
我计划在BigQuery中存储多维表。在规范化设计中，我将有包含引用一个或多个维度表的外键的事实数据表。
我读过一些关于非正规化的文章，我想知道我该走多远。通常，在BigQuery中，人们是否将事实数据和维度数据混合到一个表中？
关于嵌套字段:如果一个事实引用了多个维度表，那么您是在每个维度表中都有一个嵌套列，还是只在一个事实表中使用联接？
浏览 0提问于2018-03-23得票数 2
回答已采纳
1回答
在同一表上执行2次联接
、、、、
我在Google BigQuery中使用Standard。我试图列出2018年12月从格林威治村北到格林威治村南的tlc黄色旅行次数(这是taxi_zone_geom表中的区域_id)和总数。zone_id对应于pickup_location_id表中的tlc_yellow_trips_2018和dropoff_location_id。
taxi_zone_geom表：
Row zone_id zone_name borough zone_geom
1 1 Newark Airport EWR POLY
2 3 Allerton/Pelham Gardens Bronx
浏览 3提问于2020-10-10得票数 0
回答已采纳
我删除了bigquery中的一个视图。我逐渐意识到，基于表快照修饰器，可以选择。是否有任何方法检索已删除的bigquery视图？
浏览 4提问于2017-10-24得票数 7
回答已采纳
我创建了一个包含五个嵌套/重复记录的Google BigQuery表，当我尝试查询...bigquery.jobs().query(projectId, queryRequest).execute();... then ...queryResponse.getRows()...时，BigQuery返回一个平面json。
我已经看到了python bq --extract工具，能够很好地返回json。实际上，这个json就是我加载的json。如何使用Java的API？有人能帮帮我吗？谢谢Onofrio
浏览 1提问于2014-02-07得票数 5
我有一个宽的平面表，以类似的格式存储在中：
log_date:integer，会话ip:整数，计算机:字符串，ip:字符串，event_id:integer，数量:浮点数
我正在尝试以分层嵌套格式创建此表，该表具有2个嵌套级别，如下所示：
[
{
"name": "log_date",
"type": "integer"
},
{
"name": "session",
"type": "record",
浏览 0提问于2013-03-13得票数 5
Noob to bigquery，但我需要查询一个从crashlytics转储到bigquery的简单项目。 在一个完美的世界里。这个查询对我来说是有意义的，但是exceptions是一个更复杂的类型，需要取消嵌套？ SELECT exceptions.exception_message
FROM `rollertoaster-235.firebase_crashlytics.com_rollertoaster_app_ANDROID`
WHERE STARTS_WITH(issue_title, 'MyCrashFile.java') LIMIT 1000 异常在表模式中定
浏览 72提问于2021-07-17得票数 0
回答已采纳
对于Firestore表的每一种“记录”类型，BigQuery都会自动添加“键”列。我不希望为每个“Record”Type字段添加这些内容。如何摆脱这些由BigQuery自动添加的额外列？(我想去掉BigQuery表模式中以黄色突出显示的下列列)
浏览 1提问于2020-06-08得票数 0
回答已采纳
遵循下面的示例
我试图在bigquery中运行一个查询，但是我得到了“无效表名：my_db:my_dataset.my_table 。”(第68行，文件"bigquery")
我该怎么做才能让这件事起作用？
浏览 0提问于2018-10-04得票数 1
回答已采纳
我正在尝试查询表，并使用将结果存储在另一个BigQuery表中。但是，当我在查询部件中使用标准SQL时，它会引发无效的表名错误。如何在BigQuery API中使用标准SQL？我用的是气流BigQuery挂钩
'configuration': {
'query': {
'destinationTable': {
'tableId': u 'our_table_name',
'datasetId':
浏览 1提问于2017-03-22得票数 7
回答已采纳
这个问题与BigQuery中的事务管理有关。我正在尝试从我的代码中插入多个表。但是，由于每条语句后面都有一个隐式提交，因此如果插入到后续表失败，我将无法从第一个表回滚。我有这样的情况，表在功能上是相关的，我们需要在所有表中都有数据才能有逻辑意义。某些表中的孤立记录会导致数据完整性问题。有谁有解决方案吗？
浏览 2提问于2019-12-04得票数 2
我刚在BigQuery上遇到了一个有趣的问题。
本质上，有一个批处理作业在BigQuery中重新创建一个表--删除数据--然后立即开始通过流接口在一个新集合中输入数据。
曾经像这样工作过一段时间--成功了。
最近，它开始失去数据。
一个小测试案例已经证实了这种情况--如果数据提要在重新创建后立即启动(成功！)表中的部分数据集将丢失。也就是说，在4000个正在输入的记录中，只有2100-3500个才能通过。
我怀疑，在整个环境中成功传播表操作(删除和创建)之前，表创建可能会返回成功，因此数据集的第一部分被输入到表的旧副本(在这里推测)。
为了确认这一点，我在表创建和启动数据提要之间设置了一个超时
浏览 2提问于2016-04-05得票数 11
回答已采纳
我有两个文件名为：order_comments.csv和order_users.csv.我想使用气流将这些文件从gcs加载到bigquery。我测试了一个从gcs到bigquery的文件，它成功了。现在我想用多个文件进行测试，但是destination_project_dataset_table中有一个无效表id的错误。我希望bigquery中的表名在gcs中被命名为文件名。我的代码如下：
BUCKET_NAME = 'my_bucket'
with DAG(
'dag_sensor',
default_args=dict(start_date=
浏览 9提问于2022-10-27得票数 1
回答已采纳
1回答
我们使用连接的表在BigQuery上触发请求。我们正试图在计费帐户上确定这种使用的成本，但只有BQ分析服务。例如，SKU中没有任何标识为“连接的工作表”。
有没有人找到了一种方法，可以轻松地识别GCP上连接的工作表请求的使用情况？
提前感谢
浏览 4提问于2022-03-07得票数 0
我有一个包含"orders“和"order line”的表，它们以JSON的形式出现，在中以JSON的形式存储它非常简单。我可以运行一个进程将文件展平为行，但这是一种负担，而且会使BigQUery表变得更大。
BigQuery的最佳性能结构是什么？假设我对sum或products以及订单行中的销售额有疑问。
记录列中“记录”(或“订单行”)的数量的最佳实践是什么？它能容纳数千人吗?还是只针对少数人？假设我会像在基于文档的数据库中那样查询它。
这将帮助我规划正确的架构。
浏览 0提问于2012-11-02得票数 3
我试图在GCS中的分区数据上创建一个外部表，该数据是从星星之火作业中编写的，其日期以拼花格式划分。
数据是GCS桶，如图所示。
我创建了一个具有表定义的外部表
"hivePartitioningOptions": {
"mode": "AUTO",
"sourceUriPrefix": "gs://transaction_data_bucket_for_bigquery/trx_data"
},
"sourceFormat": "PARQUET"
浏览 4提问于2020-05-03得票数 1
回答已采纳
1回答
我使用Java和SQL将数据移动到一个新表。我想：
从BigQuery中的旧表中提取数据
更新/修改几个条目
将其推送到BigQuery中的另一个现有表
不幸的是，一些旧数据遵循不同的模式。一些旧表可能有从一个到几百个缺失的列(字段)。我没有任何可靠的方法来生成或填充这些缺失的数据，所以我决定将它保留为空。如何添加具有缺省空值的列？
目前，我正在使用SQL QueryJobConfiguration来提取、更新和将数据推回BQ：
QueryJobConfiguration queryConfig =
QueryJobConfiguration.new
浏览 0提问于2019-01-28得票数 0
回答已采纳
我的任务是将数据从托管在GCE上的mongodb集合导入到Bigquery。我试过以下几种方法。由于bigquery不接受字段名中的“$”符号，所以我运行以下命令来删除$oid字段，
mongo test --quiet \
--eval "db.trial.find({}, {_id: 0})
.forEach(function(doc) {
print(JSON.stringify(doc)); });" \
> trial_noid.json
但是，在导入结果文件时，我得到了一个错
浏览 3提问于2016-02-10得票数 1
我使用BigQuery会话表来查询产品字段。但是我只能用硬编码的索引值查询第一行。有人能帮助我解析JSON吗？
查询：
select visitId, hits[OFFSET(0)].product[OFFSET(0)].productSKU, hits[OFFSET(0)].product[OFFSET(0)].v2ProductName
FROM `bigquery-public-data.google_analytics_sample.ga_sessions_20170801`
LIMIT 5
样本会话表数据：
[
{
"visitId":
浏览 11提问于2021-12-03得票数 0
回答已采纳
1回答
我正在创建一个从jave jdbc到bigquery的管道，但是我想添加一个额外的步骤来检查某一列中的值是否满足大于4个字符的标准。我将使用什么方法？ 下面是我的代码，它读取jdbc，转换为tablerow，并将tablerow附加到现有的bigquery表中。 import com.google.api.services.bigquery.model.TableRow;
import com.google.cloud.teleport.io.DynamicJdbcIO;
import com.google.cloud.teleport.templates.common.JdbcConver
浏览 13提问于2021-07-22得票数 0
我正在学习关于Bigquery和金融欺诈检测的Qwiklabs教程，并在下面遇到了一个我无法理解的查询。
CREATE OR REPLACE TABLE finance.fraud_data_model AS
SELECT
*
FROM finance.fraud_data_sample
EXCEPT distinct select * from finance.fraud_data_test
我试图了解从finance.fraud_data_test表中检索或忽略什么，或者当涉及到其他两个表时，主要的finance.fraud_data_model是由什么组成的？
浏览 2提问于2021-08-03得票数 0
回答已采纳
我有一个数据源'dbo.Equipment‘，我想更新'EquipmentToBeChanged’集合中的记录。
我认为这是正确的代码。
Patch('[dbo].[Equipment]',EquipmentToBeChanged);
但我明白这个错误。
无效参数类型(表)。相反，需要一个记录值。
浏览 2提问于2019-10-08得票数 0
回答已采纳
我试图将查询中的数据附加到bigquery表中。
作业ID job_i9DOuqwZw4ZR2d509kOMaEUVm1Y
错误:向Bigquery写入时作业失败。无效:非法架构更新。不能在null处添加字段(字段: debug_data)
我复制并粘贴在上面jon中执行的查询，在web控制台中运行它，并选择相同的dest表来附加，它可以工作。
浏览 1提问于2014-09-17得票数 5
1回答
继我在谷歌中找到的之后，我尝试做一个示例设置，在pubsub中发布消息，并使用dataflow sql将其加载到bigquery表中。
但是，当我创建数据流作业时，会出现以下错误：
启动SQL作业的无效/不受支持的参数:数据目录中的无效表规范:在为Pubsub主题创建TABLE.CREATE表中为Pubsub源指定的不受支持的模式必须至少包括“event_timestamp”类型的“时间戳”字段
请帮助我解决这个问题，并澄清我以下的疑虑：
是否必须将event_timestamp字段保留在公共模式/数据流sql/bigquery表中？
当我用模式创建pubsub时，它没有在da
浏览 11提问于2022-07-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
