BigQuery日志-如何知道作业是否成功
BigQuery日志是指Google Cloud平台上的BigQuery服务所生成的日志信息。通过查看BigQuery日志，可以了解作业的执行情况，包括作业是否成功完成。
要知道作业是否成功，可以通过以下步骤进行：
- 登录Google Cloud控制台：打开浏览器，访问https://console.cloud.google.com/，使用您的Google账号登录。
- 打开BigQuery页面：在Google Cloud控制台的主页上，点击左侧导航栏中的"BigQuery"选项，进入BigQuery服务页面。
- 选择项目和数据集：在BigQuery页面的顶部工具栏中，选择正确的项目和数据集，以便查找特定作业的日志。
- 进入作业历史记录：在左侧导航栏中，点击"作业历史记录"选项，进入作业历史记录页面。
- 查找特定作业：在作业历史记录页面，可以看到所有执行过的作业列表。根据您的需求，可以使用筛选器、搜索框或时间范围来找到特定的作业。
- 查看作业状态：在作业列表中找到目标作业后，可以查看作业的状态。如果作业成功完成，通常会显示"已完成"或"成功"的状态。如果作业失败，可能会显示错误消息或失败状态。
通过以上步骤，您可以查看BigQuery日志并了解作业是否成功完成。如果作业失败，您可以进一步查看日志中的错误消息以便进行故障排除。
在腾讯云中，类似的服务是腾讯云的数据仓库服务TencentDB for TDSQL，它提供了类似于BigQuery的数据分析和查询功能。您可以在腾讯云官网上了解更多关于TencentDB for TDSQL的信息：https://cloud.tencent.com/product/tdsql
相关·内容
我想在一个BigQuery云监视仪表板中监视我的计划查询的状态。我创建了几个基于日志的度量标准来跟踪其他服务/资源中的错误，但在云日志记录中发现任何计划查询错误的指示都有困难。
在BigQuery UI中的调度查询页面中，我可以检查失败的调度查询的运行详细信息，它显示了一些解释错误的日志条目。
9:02:59 AM Error code 8 : Resources exceeded during query execution: Not enough resources for query planning - too many subqueries or query is too comp
浏览 8提问于2020-11-17得票数 3
BigQuery中是否存在单一作业导致重复导入的已知问题？我们看到了这个问题，需要帮助解决在BigQuery中发生的问题。
我们的进程每15分钟运行一次，将CSV导入到BigQuery。我已经调查过我们的日志和处理了两次的作业显示了下面的问题。处理两次的CSV文件中有36101行。
我们的上传过程成功地将单个作业发布到BigQuery。上传的CSV文件有36101行，大小为2846673。
我们的过程检查作业的状态。当检查作业状态时，请注意"outputRows“。与预期相同(36101)。
“状态”：{“状态”：“运行”}，“统计”：{ "startTime"
浏览 5提问于2012-12-26得票数 0
回答已采纳
我在GAE有一份cron工作。此cron作业将创建一个BigQuery作业并提交它。
当我登录到BigQuery控制台时，看不到此作业。我只看到从BigQuery控制台创建的作业，没有看到通过此CRON作业创建的作业。
我想看看这项工作是否成功完成。如何在BigQuery控制台查看GAE创建的作业？
我在GAE中使用Python，下面是它的代码片段
job = bigquery_client.run_async_query(job_name, query)
# We are using Standard SQL
job.use_legacy_sql = False
# Star
浏览 3提问于2017-06-16得票数 0
回答已采纳
当BigQuery作业有错误时，我可以在作业历史记录和StackDriver日志中查看错误。我想得到通知(通过电子邮件)，当任何工作失败。
在用户首选项中，我为新错误启用了"StackDriver错误报告“。我还查看了StackDriver BigQuery资源，看看是否可以创建一个警报策略，但我不明白是否有任何条件适用于烧烤作业错误。
这是可能的吗?如果是的话，我如何收到BigQuery作业中错误的通知？
浏览 1提问于2019-02-01得票数 2
回答已采纳
我正在尝试部署一个Dataflow作业，该作业从BigQuery读取并按固定计划写入Cassandra。模板代码是用Java编写的，使用Apache和Dataflow库。我已经将模板放到上，并配置了一个Cloud实例以及用于触发Dataflow模板的云函数。我正在使用最新版本的所有束和BigQuery依赖关系。
但是，我发现当使用相同的阶段模板部署作业时，BigQuery提取作业似乎总是使用相同的作业ID，这会导致日志中显示的409个错误。BigQuery查询作业似乎是成功的，因为查询作业ID有一个唯一的后缀，而提取作业ID使用相同的前缀，但没有后缀。
我考虑了两种替代解决方案:要么使用cro
浏览 2提问于2020-06-30得票数 1
回答已采纳
我正在寻找"bigquery数据传输服务“的php客户端库，特别是如何启动bigquery作业来运行或调度已定义的bigquery数据传输服务的回填。
我找不到"bigquery数据传输服务“的php客户端库。也许是因为它是新的。
对于bigquery数据服务，我面临的问题是
有时，它失败了。“传输”日志将显示“传输运行失败”状态。
有时，“传输”的状态显示“传输运行已经成功完成”。但是预定的传输应该提取的数据仍然是空的(可能是由于传输运行时，数据不可用)。
对于这两种情况，通常，我会手动运行回填传输，这将解决问题。
但问题是，所有上述活动，检查是否有状态显示
浏览 2提问于2017-07-17得票数 3
回答已采纳
1回答
其目标是存储来自不同应用程序/作业的审计日志，并能够根据某些is对它们进行聚合。为此，我们选择了BigQuery，因此我们需要从日志中获取到BigQuery的结构化信息。
我们成功地使用了部署在kubernetes引擎中的应用程序，将输出日志以json的形式记录到stdout，并对其进行了解析，这种结构可以在堆栈驱动程序中看到为jsonPayload。我们从那里拿来的。
但是，当我在数据流作业中使用相同的日志附录时，它不会被视为结构化消息，而是被视为jsonPayload.message字段中的字符串。
我需要做两件事的结构：
在中的过滤器中使用它来进行大查询
在BigQuery中具有
浏览 0提问于2019-04-18得票数 6
1回答
我使用标准模板JDBC to BigQuery在Dataflow中创建了管道，有些作业意外失败，没有显示任何日志。
问题是，当作业由于资源而失败时，作业所需的vCPU比区域中可维护的要多，或者内存不够--例如，这些错误会显示在日志中，如下所示。
但是，有些作业只是在没有日志的情况下失败，而且资源是足够的。
有人知道如何在这个箱子里找到日志吗？
浏览 6提问于2022-09-23得票数 2
2回答
我正在使用应用程序引擎中的谷歌BigQuery。我有一个cron作业，它每15分钟运行一次，以导出到BigQuery。不过，导入会随机运行两次。但是，appengine日志不会反映这一点。我维护了一组blobs，用来将数据写入bigquery，并且不会向它们写入重复数据。还有没有人遇到过重复导入的bigquery问题？同样，我的appengine日志显示导入只发生了一次，我有点不知道如何排除故障。
浏览 1提问于2012-06-17得票数 1
回答已采纳
3回答
更新:我缩小了问题的范围，所以我删除了不必要的代码和示例：
更新2:在离开cron作业12小时运行相当长一段时间后(每个任务都以成功结束，但没有任何写成in的代码)，我们震惊地发现，大约一个星期后，一个cron作业确实成功地写到了BigQuery，并附上了Stackdriver日志，声明“此请求导致您的应用程序启动了一个新进程(.)”，如下所示。下面的作业再次停止了写作。现在，我想知道这是否以某种方式连接到缓存的应用程序状态(带有某些过期期)或凭据过期日期，这在某种程度上阻止了在第一次之后进一步写入BigQuery，但不会导致错误。
问题描述：
我正试图在App (标准)中设置一个cron作业
浏览 0提问于2018-04-13得票数 5
回答已采纳
1回答
数据流进程挂起
、、
我正在数据流上运行批处理作业，从BigQuery进行查询。当我使用DirectRunner时，一切正常，结果被写到一个新的BigQuery表中。当我切换到DataflowRunner时，一切似乎都崩溃了。
日志显示成功启动了30个工作实例。web UI中的图表显示作业已开始。前3步显示"Running"，其余3步显示"not started“。所有步骤都没有显示任何转换的记录(即，输出集合都显示'-')。日志显示了许多如下所示的消息，这可能是问题所在：
skipping: failed to "StartContainer" for &#
浏览 13提问于2018-02-07得票数 1
回答已采纳
如何使用bq ls命令获取运行时间最长的bq作业？
我找不到如何对结果进行排序的示例
编辑:根据评论，我很困惑如何使用bigquery日志来查看正在运行的作业。以此stackdriver日志查询为例：
resource.type="bigquery_resource"
logName="projects/my-project/logs/cloudaudit.googleapis.com%2Fdata_access"
protoPayload.resourceName="projects/my-project/jobs/job_abc123"
这应
浏览 2提问于2019-12-20得票数 0
我知道BigQuery支持Avro文件上传，并且我成功地将Avro文件加载到BigQuery中。
使用以下命令，
java -jar avro-tools-1.7.7.jar fromjson --codec snappy --schema-file SourceSchema.avsc Source.json > Output.snappy.avro
我已经生成了一个使用Snappy压缩并试图加载到BigQuery中的Avro文件，但是加载作业在以下错误中失败，
Errors:
file-00000000: The Apache Avro library failed to parse
浏览 5提问于2016-09-28得票数 1
回答已采纳
我试图在Dataproc集群上提交一个PySpark作业。我的工作是将数据上传到bigquery。当我使用集群上的submit作业执行时，我会遇到一个错误，作业失败。但是，当我提供这个罐子时：
"gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"，在提交作业中的jar文件参数中，作业成功执行。
我想要的是找到一种避免在运行时提供这个jar的方法，只需给出.py文件的位置就可以运行作业。我该怎么做呢？是否可以在.py文件本身中指定此jar？
我使用下面的方法在.py文件本身中提供jar，但它似乎不起作用。
from py
浏览 7提问于2022-04-06得票数 1
我使用以下Python代码从BigQuery中的一个表中删除了所有数据，当我在运行代码几秒钟后检查该表时，我发现该表现在是空的，因此删除肯定成功了。但是，作业状态仍然显示它处于运行状态。
from google.cloud import bigquery
import time
client = bigquery.Client()
job_config = bigquery.QueryJobConfig()
job_config.priority = bigquery.QueryPriority.INTERACTIVE
sql = """DELETE FR
浏览 3提问于2018-08-10得票数 1
回答已采纳
2回答
实际上，对我的数据执行以下步骤：
GCS中的新对象触发一个Google函数，该函数创建一个BigQuery作业来将这些数据加载到BigQuery。
我需要低成本的解决方案，以知道什么时候完成这个大查询作业，并触发一个数据流管道，只有在工作完成后。
国家统计局：
我知道Google函数的BigQueryα触发器，但我
不知道是不是一个好主意，从我看到的这个触发器使用的是作业id，根据我所看到的，这个id是不能修复的，而且每当运行作业时，显然必须再次部署这个函数。当然还有
这是一种阿尔法解决方案。 -> Pub/Sub -> Google云函数-> Dataflow解决方案，但我
浏览 0提问于2019-11-21得票数 2
回答已采纳
如果我在响应中使用REST API (即bigquery.googleapis.com)执行BigQuery作业，我会得到如下所示的selfLink： https://bigquery.googleapis.com/bigquery/v2/projects/my-project/jobs/job_0123456789ABCDEF?location=EU 在UI中(即console.cloud.google.com)我可以在项目的查询历史中看到完全相同的作业： ? 是否可以使用该API响应中的信息并构造一个URL，以允许用户在浏览器中访问该URL，并在UI中被直接带到有关该查询的信息？
浏览 13提问于2021-04-15得票数 0
回答已采纳
有人和我发生过同样的问题吗? Google BigQueryIO.Write会发生未知错误(http代码500)？
我使用Dataflow在4月、5月、6月处理一些数据，使用相同的代码处理4月数据(400 It )并写入BigQuery成功，但是当我处理五月(60 It)或6月(90 It)数据时，它失败了。
4月、5月和6月的数据格式是相同的。
将作者从BigQuery改为TextIO，工作会成功，所以我认为数据格式是好的。
日志仪表板没有任何错误日志..。
系统只存在相同的未知误差
我写的代码在这里：
“执行BigQuery导入作业”后的错误消息：
Workflow
浏览 3提问于2016-07-15得票数 2
回答已采纳
1回答
对于这个问题，我找到了几个相关的问题，但谷歌小组没有给出明确的答案：
云DataFlow的作业，写信给BigQuery，是否仅限于每秒100 K行的BigQuery配额(即BQ流限制)？
编辑：主要的动机是找到一种方法来预测各种输入大小的运行时。
我成功地运行了作业，作业显示>180 K行/秒，这些作业是通过Dataflow监视UI处理的。但我不确定这是否是在插入表中的节流，因为作业运行时比简单的计算慢了大约2倍(500‘m行/180 k行/秒= 45分钟，实际花费了将近2小时)。
浏览 0提问于2015-11-19得票数 4
回答已采纳
我正在使用BI工具查看Bigquery中的数据。数据分布在多个表中，因此在查询中有几个联接，以获得所需格式的数据。由于处理所有这些数据花费了一分钟时间，而且我希望有一种实时的体验，所以我创建了一个调度的查询来运行这个查询，它可以连接并将输出保存到一个表中。表中的数据每30分钟从ETL工具中输入(增量负载)。这将创建Bigquery来加载数据。
我有一个特定的表，在这个表的作业完成后，我想运行预定的查询。
我在调度查询中禁用了调度，因此它只能在API调用期间运行。我编写了一个python脚本，它将一个API请求发送到预定的查询。
在python中是否有任何方式实时监视特定Bigquery表的日志
浏览 1提问于2020-01-30得票数 0
回答已采纳
我们的管道失败了，但是开发者控制台中的图表仍然显示它是成功的。但是，结果是而不是写入BigQuery，作业日志清楚地表明它失败了。
难道图表不应该显示它也失败了吗？
另一个例子是：
另一个例子是：
浏览 0提问于2015-07-09得票数 1
回答已采纳
我相信这是在正确设置作业配置，但我在弄清楚如何让作业运行时遇到了问题。有没有人成功地使用应用程序脚本将表加载到BigQuery？
function testLoad(){
var fields = [
{'name': 'FirstName', 'type':'STRING'},
{'name': 'LastName', 'type':'STRING'}
];
var schema = BigQuery.newTableSchema()
浏览 0提问于2013-07-03得票数 0
回答已采纳
我以前开发过一些简单的GAS项目，它们读取csv文件并将它们插入到BigQuery表中，我不记得使用过任何特殊的身份验证，因为这两个项目都在我的帐户下。但是，当我尝试插入时，我得到了一个错误。
{
"error": {
"code": 401,
"message": "Request is missing required authentication credential. Expected OAuth 2 access token, login cookie or other valid authenticatio
浏览 3提问于2022-05-17得票数 0
对于乔丹·蒂加尼( Jordan Tigani )和谷歌的BigQuery支持来说，这确实是一个问题，建议我们使用堆栈溢出：
我有一个BigQuery作业，它在过去几个月里每天都在执行，但是现在已经开始错误地执行一个内部500个错误。一个例子是作业id job_4J9LL4vp3xtM30WgqduvQqFFUN4 --是否有可能知道为什么这个作业会导致内部bigquery错误，以及我是否可以做些什么来修复它呢？
浏览 1提问于2014-05-13得票数 0
回答已采纳
给定BigQuery中的现有表，如果多个加载作业(都带有writeDisposition = WRITE_APPEND)加载到同一个表中，会发生什么？如果所有作业都成功了，这是否意味着所有数据都已添加到表中？
浏览 1提问于2016-03-23得票数 2
回答已采纳
1回答
我正在运行云中的python脚本，每天使用从BigQuery中提取数据，并将其作为CSV文件上传到。设置使用带有GET "HTTP方法“的HTTP "Target”。此外，Cloud使用带有"Add令牌“选项的服务帐户对https端点进行身份验证。
当运行和时，只需几秒钟就可以运行一个非常小的BigQuery数据子集，中的“结果”总是显示“成功”，并且任务按预期完成。但是，在运行和Cloud以完成几分钟的作业时，中的“结果”总是显示“失败”，尽管CSV文件通常(尽管并不总是)按预期上载到。
(1)当在完整的BigQuery数据集上运行和时，为什么中的“结果”总是显示“失
浏览 1提问于2020-04-13得票数 1
我在数据流上做的工作遇到了麻烦。
下面是上下文，我使用以下路径在bigquery上创建了一个数据集
双培训-gcp:Sales.Sales_data
在属性中，我可以看到数据位置是"US“
现在，我想在数据流上运行一个作业，然后在google中输入以下命令
gcloud数据流sql查询‘SELECT country，DATE_TRUNC(ORDERDATE，月份)，sum(sales) by 1,2’-作业-名称=数据流-sql-sales-月-区域=us-bigquery=sales-bigquery=每月销售
控制台接受该查询，并返回一种接受消息。
在那之后，我去了数据流仪表
浏览 1提问于2021-09-29得票数 1
我们的数据流作业之一将其输出写入BigQuery。我对如何在底层实现这一点的理解是，Dataflow实际上以JSON格式将结果(切分)写入GCS，然后启动一个BigQuery加载作业来导入该数据。
但是，我们已经注意到，一些JSON文件在作业之后不会被删除，不管它是成功还是失败。错误消息中没有警告或建议不会删除文件。当我们注意到这一点时，我们看了一看我们的桶，它有数百个来自失败作业的大型JSON文件(主要是在开发期间)。
我认为Dataflow应该处理任何清理，即使作业失败了，而且当它成功时，这些文件肯定应该被删除，在作业完成后留下这些文件会带来很大的存储成本！
这是个虫子吗？
“成功”但在G
浏览 5提问于2015-05-12得票数 6
回答已采纳
(首先，感谢您阅读我冗长的查询)
我正在使用PY客户端库学习BQ。
在创建客户端bigquery.Client() >>插入查询作业请求client.query(sql)之后，我将发出以下命令以检查作业是否已完成：
job.done()
当我检查API资源管理器时：
我可以看到一个叫做bigquery.jobs.get的方法正在制作--到目前为止，还不错..我相信这就是刷新作业状态的API调用！
但是，当我通过凭据切换流量下拉>>时，它会报告一些未指定的凭据的附加请求。
有人能澄清这个凭证是什么吗?这个凭证是什么额外的API方法?它是否包
浏览 1提问于2018-06-29得票数 0
回答已采纳
我有一个BigQuery作业，它在过去的几个月里每天都在执行，但现在由于内部错误而失败。
一个例子是
查询操作中出现BigQuery错误：
Error processing job
'xxxxxxxxxx:bqjob_re49da4d82a18dbe_0000016322be54d7_1': An internal error
occurred and the request could not be completed.
是否有可能知道为什么此作业会导致内部bigquery错误，以及我是否可以做些什么来修复它？
浏览 0提问于2018-05-07得票数 0
1回答
我有一个管道，它需要一个数据流作业才能运行。我使用gcloud命令启动了一个数据流作业，工作时间超过了一个月。但是，由于最近三天，数据流作业在10-20秒内失败，有以下错误日志。
Failed to start the VM, launcher-2022012621245117717885921401920990, used for launching because of status code: UNAVAILABLE, reason: One or more operations had an error: 'operation-1643261093401-5d68989bed3
浏览 3提问于2022-01-27得票数 0
回答已采纳
1回答
我正在运行一个批处理数据流作业，它从BigQuery表中读取所有行，将它们转换为JSON字符串，然后将字符串写入PubSub主题。此模板将以相同或不同的参数重用，并且应该始终在BigQuery中发布已找到的行，而不管它是否与最后一个作业相同。
我遇到的问题是，在每次作业运行之后，我必须再次上传模板，否则下一个作业将在没有从BigQuery读取任何内容的情况下成功，即使具有与第一个成功作业相同的参数。第二个作业的工作程序登录到Google控制台，在尝试创建BigQueryIO作业时报告如下：
Request failed with code 409, performed 0 retries du
浏览 4提问于2020-11-30得票数 0
在执行数据流作业时，我得到了一个持续的错误：
BigQuery导入作业"dataflow_job_838656419“失败。，：BigQuery为"TestProject”项目中的数据集"TestDataSet“中的表"TestTable”创建导入作业。，：BigQuery执行失败。：HTTP传输错误:消息:无效值:字符串不是有效值HTTP : 400
它并没有给出谷歌数据流工作持续失败的具体原因。如何知道在执行google作业时所犯的错误？
浏览 4提问于2016-08-29得票数 1
回答已采纳
我有一个值"1.8299324324324324“，如果我将DML语句插入到BigQuery中，它会将其舍入并插入到Bigquery中。
但是，对于相同的值，如果BigQuery在控制台上使用csv文件加载作业，则会出现以下错误。
“位置”：“查询”，“消息”：“无效数值: 1.8299324324324324字段:测试；值: 1.8299324324324324"，”原因“："invalidQuery”
只是想看看这是否是Bigquery的一个限制，在load作业中它不能转换或理解这个值，以及如何解决它？
浏览 0提问于2019-04-29得票数 5
我正在运行常规上传作业，以便将csv上传到BigQuery。作业每小时运行一次。根据最近的失败日志，它说：
Error: [REASON] invalid [MESSAGE] Invalid argument: service.geotab.com [LOCATION] File: 0 / Offset:268436098 / Line:218637 / Field:2
Error: [REASON] invalid [MESSAGE] Too many errors encountered. Limit is: 0. [LOCATION]
我转到了218638行(原始的csv有一个标题，所以
浏览 0提问于2015-11-20得票数 0
我正在运行一个Cloud Dataprep作业，该作业已经成功运行了很多次，直到今天。
现在，它在创建“temp_dataset_beam_job_...”时会失败，并显示错误。数据集。
错误是访问被拒绝: BigQuery BigQuery:位置未知尚未公开可用‘。
有没有人可以指导我如何纠正这一点/为临时数据集设置一个位置并检查权限？
此项目的trifacta服务和计算帐户拥有BigQuery中源数据集的编辑权限，还拥有Google Cloud项目中的Cloud Dataflow service Agent和Dataprep Service Agent角色。
谢谢
安格斯
浏览 1提问于2018-12-27得票数 2
我的问题是关于查询成功或失败的日志记录，这是由Airflow 1.10.0的BigQueryOperator完成的，我想知道是否可以在logging.info上打印查询成功，以及是否在logging.error上打印失败？
from airflow.contrib.operators import bigquery_operator
# Query recent StackOverflow questions.
bq_recent_questions_query = bigquery_operator.BigQueryOperator(
task_id='bq_recent_q
浏览 0提问于2018-11-20得票数 0
回答已采纳
我运行了一个非常简单的作业，得到了以下错误：
(8a5049d0d5f7569e): Workflow failed. Causes: (8a5049d0d5f750f5): The Dataflow appears to be stuck. You can get help with Cloud Dataflow at https://cloud.google.com/dataflow/support.
job_id为2018-01-15_07_42_27-12856142394489592925。
我用来运行此作业的代码如下：(函数ReconstructConversation()在进入
浏览 2提问于2018-01-14得票数 4
我正在尝试使用给BigQuery写信。但是数据是损坏的，因为我试图在BigQuery表的列中写入的数据与该列的数据类型不匹配。因此，作业日志显示的错误如下所示：
BigQuery作业"dataflow_ job _6154554826811450962-B“在项目”analytics-repo“中以错误结束: errorResult: JSON表遇到了太多错误，放弃了。行: 1951；错误: 1.，错误: JSON表遇到太多错误，放弃。行: 1951；错误: 1.，错误:从文件位置32470424514开始的行中的JSON解析错误: gs://abhishek_bucket/stag
浏览 2提问于2016-08-21得票数 1
回答已采纳
也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。
所以我的问题是，如果我有一个数据流作业，它会写到BigQuery或BigTable，但是作业失败了。数据流是否能够在启动前回滚到状态，或者我的表中可能只是部分数据？
我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。
但是，我已经尝试过通过数据流将数据转储到BQ中，并且在作业声称成功之前，输出表似乎不会公开给用户。
浏览 6提问于2016-08-05得票数 1
回答已采纳
我有一个使用Flask_restful、Flask_CORS和Marshmallow的Flask。API做了一些工作，将一个*.csv文件导入Cloud (使用签名的from )，确认它已经上传，然后创建并执行一个加载作业，将csv从存储传输到BigQuery。API中加剧我脱发的部分是调用在GCP中执行加载作业，将csv文件加载到BigQuery。下面是代码的一个片段：
...
dataset_ref = bq_client.dataset(target_dataset)
job_config.schema = bq_schema
浏览 4提问于2019-10-19得票数 1
回答已采纳
1回答
我对dbt非常陌生，我想看看是否有办法在表中记录计划的dbt作业的成功/失败。我目前使用bigquery作为我的数据仓库。
如能提供任何帮助，将不胜感激。
谢谢!
浏览 12提问于2021-12-08得票数 0
我有一个带有nodejs & mysql的遗留电子商务应用程序。现在，我想将这个mysql数据添加到bigquery数据集中。
我应该如何将两者连接在一起？
方法可能会运行
将数据导出到csv并导入到bigquery中。
将数据添加到Bigquery
同时将其添加到mysql中。
流插入
创建一个将获取并插入bigquery的作业。
实现的目标
mysql和bigquery应该同步，(15到30分钟的延迟并不重要)，
应该有旧的数据和新的数据，不要一次又一次地重新上传，应用程序/工具应该将它们链接在一起
也可以添加来自nodejs 'co
浏览 1提问于2018-03-26得票数 0
1回答
我希望可能将查询作为aysnc作业发送到bigquery，但是我不知道这是否是一个可行的过程。
小跌落：
索取请求
生成查询
发送异步查询
继续完成代码
我喜欢这样做，因为到目前为止，脚本中最长的部分是等待bigquery发回答复。我没有使用这个回复来做任何事情，因为它都是流插入，而且我也无法发现bigquery作业有哪些限制。
浏览 1提问于2015-03-17得票数 1
回答已采纳
我目前正在使用Bigquery作业来调整一些数据并将其加载到其他表中。
我的bigquery作业使用查询作业从表中读取，然后将其写入其他表中。作业成功执行，作业状态已完成，但任何行都加载。
这是代码：
table_id_from = "table_from"
table_ref_to = bigquery_client.dataset('format').table("table_to")
job_config = bigquery.LoadJobConfig()
job_config.create_disposition = 'N
浏览 0提问于2018-02-07得票数 1
回答已采纳
背景：我们有一个非常简单的管道，它从BigQuery (通常是300 to )过滤器/转换中读取一些数据，并将其放回BigQuery。在99%的情况下，该管道在7-10分钟内完成，然后重新启动以处理新的批处理。
问题：最近一段时间开始工作时间超过3h，在2000年的运行中，一个月可能需要2次。当我查看日志时，我看不到任何错误，实际上，这仅仅是第一步(从BigQuery读取)所花费的时间。
是否有人就如何处理此类案件的调试提出建议？特别是因为它实际上是读了BQ，而不是我们的任何转换代码。我们正在为Python0.6.0使用(也许这就是原因！？)
是否可以为作业定义超时时间？
浏览 0提问于2018-01-26得票数 1
回答已采纳
我有一个云函数，它执行查询并将作业结果存储到新的bigquery表中。每当我得到查询作业结果为空时，我希望将日志存储到stackdriver中，这意味着没有找到该特定查询执行的记录。有人能建议我如何完成这项任务吗？
云函数代码：
def main(request):
query = "select * from `myproject.mydataset.mytable`"
client = bigquery.Client()
job_config = bigquery.QueryJobConfig()
dest_dataset = client
浏览 0提问于2019-09-25得票数 0
2回答
我们正在开发处理日志数据的项目。我的想法是
将日志数据从本地日志存储更新到
编写python脚本插入作业，将日志数据从导入到BigQuery中
编写python脚本以处理BigQuery本身中的数据
请注意。对于python脚本，我们正在考虑是在google应用程序引擎上运行还是在google计算引擎上运行。
问题是
这是实际的解决办法吗？
日志数据的结构经常会发生变化，这会导致一个错误，当插入到BigQuery.How时，我们要在python中处理它？
在这种情况下，我们必须在特定时期重新运行日志数据。我们怎么做到的?需要编写python脚本吗？
谢谢
浏览 5提问于2014-09-05得票数 2
回答已采纳
假设我们有带有时间戳的日志数据，这些数据既可以流到BigQuery中，也可以作为文件存储在Google中，但不能直接流到Dataflow支持的无界集合源类型。
我们希望根据时间戳来分析这些数据，无论是相对的还是绝对的，例如“过去1小时内点击了多少次？”“2018年2月5日下午3点到4点之间有多少次点击量”？
在阅读了windows和触发器上的文档之后，还不清楚如果我们想拥有一个大窗口--我们可能希望在最后一天、30天、3个月内进行聚合，那么我们将如何以Dataflow支持的方式将传入的数据分成几个批次。
例如，如果我们的批处理源是一个BigQuery查询，每5分钟运行一次，对于最后5分钟的数据
浏览 0提问于2018-02-05得票数 0
回答已采纳
2回答
我有一个成功的管道，使用在计算实例上运行的云dataflow将数据从pub/sub传输到bigquery，而不是在实际的dataflow运行器上运行。
今天我已经更新了BQ表模式，似乎没有发生新的插入。我可以查看机器上的日志，一切正常- dataflow没有报告任何错误。
有没有办法从bigquery访问流日志以检查错误。
编辑:总结我的问题是，我是否能够从apache beam SDK或bigquery获得更详细的日志记录，以查看这些数据的结束位置。
我在stackdriver中查看了一下，但这似乎没有为流日志创建条目。
浏览 22提问于2019-11-22得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
