未上载数据，但作业状态在使用java的bigquery加载作业中已完成

文章/答案/技术大牛

发布

1回答

加载作业后，何时准备好在谷歌BigQuery中查询数据？

google-bigquery

假设我有一个非常大的CSV文件，正在加载到一个bigquery表中。此数据是否仅在整个文件已上载且作业已完成后才可用于查询，还是可在上载文件时进行查询？

浏览 9提问于2020-06-30得票数 0

回答已采纳

1回答

java、google-bigquery

我正在尝试上传CSV文件，它是正确的格式。如果我尝试只上传3行数据，那么它可以工作，但对于大文件，有时它会显示socket-timeout exception our just job DONE。此数据集位于其他位置。Bigquery bigquery = GoogleConnector.getBigQuery(); Listinsert = bigquery.jobs().insert(p

浏览 2提问于2017-07-28得票数 1

回答已采纳

1回答

当bigquery上载作业在加载部分JSON文件后失败时会发生什么？

google-bigquery

正如标题所提到的，当我启动bigquery上载作业时会发生什么，比如说，在JSON文件中加载了50%的行之后，作业失败了。bigquery是否回滚了加载作业的所有内容，还是只剩下50%的数据被加载？我每天都把数据附加到一个表中，并且保持不重复是非常重要的。我们正在使用

浏览 2提问于2013-09-03得票数 0

回答已采纳

2回答

通过加载作业(非流式处理)插入到BigQuery

google-bigquery、google-cloud-dataflow

我希望使用数据流将数据加载到使用的BigQuery表中，而不是流式处理(对于我们的用例，流式处理的成本太高)。我看到Dataflow SDK内置了对通过BQ流插入数据的支持，但我在Dataflow SDK中找不到任何开箱即用的支持加载作业的功能。如果我必须自己滚动，使

浏览 0提问于2015-06-17得票数 3

1回答

CSV API:：能够插入BigQuery数据，但BigQuery中的数据反射不及时

python、google-app-engine、csv、google-bigquery

使用Google app engine的python脚本将CSV data上传到Bigquery中。使用Eclipse on Windows 7的PyDev透视图编码。insert是成功的，但在BigQuery中，数据有时会立即插入，有时需要几个小时才能反映出来。j={'jobRe

浏览 1提问于2014-10-21得票数 0

2回答

Google BigQuery* -单一职务重复导入*

google-bigquery

BigQuery中是否存在单一作业导致重复导入的已知问题？我们看到了这个问题，需要帮助解决在BigQuery中发生的问题。我们的上传过程成功地将单个作业发布到<em

浏览 5提问于2012-12-26得票数 0

回答已采纳

3回答

谷歌数据流每项作业是否有BT写原子？

google-cloud-dataflow

也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。我知道写GCS似乎不是原子的，在作业运行的<

浏览 6提问于2016-08-05得票数 1

回答已采纳

1回答

BigQuery :作业已完成，但尚未创建表

google-bigquery

我目前正在尝试运行2个作业和一个查询通过一个脚本使用谷歌BigQuery应用程序接口。这两项工作涉及从Google Cloud Storage将两个CSV(压缩为BigQuery )加载到GZIP，并创建两个表。然后，我们运行查询以使用另外两个表创建第三个表。为了同步执行此操作，我检查作业响应的状态字段，当状态为完成时，我进行查询。不幸的是，即使状态被标记为<e

浏览 0提问于2014-08-20得票数 1

1回答

在BigQuery中聚合最近30天的数据

google-bigquery

我正在检查从Redshift迁移到BigQuery的可行性。我需要在BigQuery上实现以下用例的帮助。下面是我们目前在Redshift中是如何做到的- 我们将聚合的数据放在一个新的表中，例如product_performance_last30days_temp。因此，product_performan

浏览 0提问于2016-11-08得票数 1

1回答

google-app-engine、google-cloud-platform、google-cloud-scheduler

我有两个作业，我只想在第一个作业完成时执行第二个作业。两者都是在云调度器上调度的。我正在尝试使用get API检查第一个作业的状态，但status字段下没有数据。请注意，在我的第一个作业运行时，我曾尝试获取此数据。

浏览 14提问于2020-07-17得票数 0

1回答

BigQuery -最大数据集大小

google-bigquery

BigQuery的数据集有最大大小(GB的插入数据)吗？我需要知道我可以上传多少数据到一个用于学术研究的<e

浏览 0提问于2013-06-11得票数 2

回答已采纳

5回答

使用BigQuery进行实时分析

google-bigquery

有没有办法用BigQuery运行实时分析？我使用了CSV upload选项，该选项启动一个作业并以脱机模式加载数据，加载完成后可以对其进行分析。但在关于BigQuery的公告中，提到了使用BigQuery进行实时分析。如何才能做到这一点？我们可以将数据从Google Cloud数据库追加(无更新)到BigQuery中</

浏览 0提问于2012-05-02得票数 3

回答已采纳

1回答

使用数据流在BigQuery表之间进行流式更新

google-bigquery、google-cloud-dataflow、apache-beam

正在尝试在云数据流作业中启用流式处理，该作业需要从一个BigQuery表中读取数据，然后使用附加模式将其写入另一个BigQuery表。为此，我在Java代码中启用了options.setStreaming(true);。<TableRow>into(FixedWindows.of(Duration.standardMinutes(1)))); 最后<e

浏览 0提问于2019-03-06得票数 0

0回答

使用Python API的Bigquery* update语句*

google-bigquery

在发布这篇文章之前，我在互联网上看过类似的帖子，但我找不到匹配的。如果已经回复了，并且我错过了帖子，我很抱歉。我已经创建了一个python脚本，通过应用程序引擎将数据从谷歌云存储加载到BigQuery。由于app engine有60秒的超时窗口，因此希望以异步模式提交这些作业，并希望将作业ID存储在其中一个bigquery表中。另一个脚本将保留作业的状态<

浏览 1提问于2017-06-22得票数 0

回答已采纳

点击加载更多

加载作业后，何时准备好在谷歌BigQuery中查询数据？