我有一个表格(在google BigQuery中)显示了人们访问的网址。人物由10个字符id表示。 如果用户访问了一次url，则表中将有1行。结果将显示在一个界面中，用户将能够选择或不选择一个域，并查看选择的总人数(因此访问他选择的域的唯一in的总和)。 问题是，有些人可能访问了多个域。所以总和是错误的。我有一个版本，其中我只是获得访问每个域的唯一is的数量，然后在界面中，当选择一
浏览 12提问于2019-12-17得票数 1
我被要求将大量数据从BigQuery移动到Firestore。然而，在互联网上搜索后，我意识到很少有人讨论将数据从BigQuery移动到任何其他数据库。从搜索结果中，大多数都是关于将数据从任何来源移动到BigQuery。即使在数据流谷歌模板中，也只有xxx到BigQuery模板，但没有找到BigQuery到xxx管道。从我得到的原因来看，是为了解
浏览 0提问于2018-10-16得票数 2
我需要在一个项目的BigQuery上运行一个连接查询，该查询可能返回大量数据(可能不适合VM的记忆)，然后将结果保存在另一个项目的BigQuery中。在不加载VM中的数据的情况下，是否有一种简单的方法可以做到这一点，因为数据大小可能会有所不同，而且VM可能没有足够的内存来加载它？
浏览 4提问于2017-09-14得票数 1
回答已采纳
(我现在还不能去CloudRunner )正在使用的python是2.2.0，但我准备启动一些java.我在运行管道时看到的最后一条日志消息是：
警告:root:Dataset my-project:temp_dataset_7
浏览 0提问于2018-02-13得票数 3
回答已采纳
2回答
我试图查询Google BigQuery公共红迪数据集。我的目标是使用计算subreddits的相似性，它的定义如下：我的计划是在2016年8月从评论数量上选择排名第一的N=1000分类。然后计算它们的笛卡尔乘积，得到subreddit1, subreddit2形状的所有减法的组合。
然后使用这些组合行来查询subreddit1和subreddit 2以及交集之间<em
浏览 5提问于2016-10-03得票数 2
回答已采纳
我有大量日志数据从StackDriver导出到。我正在尝试使用BigQuery运行查询。但是，在BigQuery Dataset中创建表时，我将得到大量日志数据是从包含大量唯一列名的StackDriver接收器中导出的。其中一些名称不符合BigQuery表的要求。
解决这
浏览 0提问于2019-09-04得票数 0
回答已采纳
3回答
我有一个从PubSub主题读取事件数据的数据流管道。当收到消息时，我执行一个转换步骤，将事件数据与我想要的BigQuery模式相匹配。但是，如果创建的输入不符合模式，则会遇到问题。显然，它被无限重试着写到BigQuery：
Count: 76 RuntimeError: Could not successfully insert rows to BigQuery table目前，我正在进行大量手动检查，以确保输入
浏览 4提问于2018-05-08得票数 4
我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。
浏览 0提问于2019-03-05得票数 1
2回答
有段时间以来，我一直在努力将大量数据加载到bigquery中。在谷歌的文档中，我看到了方法，它似乎工作得很好，但是当我试图用JSON发送超过100 K的数据时，会给我413个“实体太大”的错误。。上一页上的示例让我手动构建请求体，而不是使用insertAll，后者更丑，更容易出错。在这种情况下，我也不确定数据应该采用什么格式。因此，所有这些都说明，将大量数
浏览 4提问于2014-05-20得票数 1
回答已采纳
我希望在两种不同的技术中使用相同的函数来解析事件: Goolge和DataFlow。有我能用的语言吗？如果不是，谷歌是否计划在短期内支持一家公司？背景：这种解析有些很复杂(例如，应用自定义的URL提取规则，从用户代理中提取信息)，但在计算上并不昂贵，而且不涉及将事件加入到任何其他大型查找表中。因为解析可能很复杂，所以我只想用一种语言编写解析逻辑，并在需要的地方运行它:有时在BigQuery中，有时在其他环境(如DataFlow )中。我希望避免用不同<
浏览 0提问于2018-06-12得票数 0
我有一个表，其中包含一个id (代表一个人)链接到url的行(字段名是id和url )。一个id可以链接到多个urls。可以多次将id链接到url。因此，对于表中可以找到的每个域，我希望表中每个域的I数目是相同的。如果两个域没有id交集，我不需要这些信息:我只想在交集不是null时获得信息。产出可以是：
找到的每个唯一域的1行，包含域和一个元组(域、卷)数组，表示两个域之间的交集和每个域之间
浏览 3提问于2019-12-17得票数 0
背景：我们有一个非常简单的管道，它从BigQuery (通常是300 to )过滤器/转换中读取一些数据，并将其放回BigQuery。在99%的情况下，该管道在7-10分钟内完成，然后重新启动以处理新的批处理。
问题：最近一段时间开始工作时间超过3h，在2000年的运行中，一个月可能需要2次。当我查看日志时，我看不到任何错误，实际上，这仅仅是第一步(从BigQuery读取
浏览 0提问于2018-01-26得票数 1
回答已采纳
将谷歌BigQuery与Power BI连接的经济高效的方法。GCP和Power BI之间需要哪个中间层？
浏览 2提问于2020-08-13得票数 0
我有一个简单的查询要运行：set field_1 = cast( field_2 as int64) 我得到了错误：
错误:在查询执行期间超出的资源:无法在分配的内存中执行查询。
浏览 3提问于2017-10-20得票数 0
回答已采纳
在BigQuery中插入大量测试数据可能会很慢，特别是如果数据的确切细节并不重要，而且您只想测试特定形状的查询/数据的性能。
在不等待许多GB的数据上传到GCS的情况下，实现这一点的最佳方法是什么？
浏览 1提问于2015-09-15得票数 1
回答已采纳
我使用google cloudSQL对人的数据进行预先搜索，以获取用户列表。在数据存储中，已有2种模型存储的数据。首先用于跟踪用户的当前数据，其他模型用于跟踪历史时间线。当前的数据存储在google cloudSQL上，对所有用户来说都是上百万行。现在，我希望通过将所有历史数据添加到云中来实现对历史数据的预先搜索，包括日期之间的搜索。.: -在获
浏览 2提问于2017-06-20得票数 1
我在BigQuery中有两个具有相同模式的表。第一是产品的历史记录，第二是最新的产品。我的目标是将两个表连接起来，这样每当产品id不在第二个表中时，我们就使用历史数据中的行，但是当我们有不存在于历史数据中的产品id的交集时，则使用来自第二个表的行(与最近的数据)。我的第一个解决方案是使用UNION和窗口函数来丢
浏览 0提问于2021-12-20得票数 0
回答已采纳
BigQuery提供insertIds并执行一些重复数据消除，以帮助解决通过API插入数据时的故障情况。根据文档，，所以如果插入失败，可以通过API重试插入，而不用担心可能的(插入的)数据重复。问题是，在谷歌云上，有大量承诺将数据插入BigQuery的服务。例如，对于从许多来源获取数据到BigQuery的推荐堆栈，DataFlo
浏览 1提问于2018-06-12得票数 0
因此，我们可以将领域驱动设计应用于多个项目，但可能存在相同领域模型的交集。欢迎任何建议。提前感谢！
浏览 3提问于2011-11-03得票数 1
我们正在处理从apache迁移到bigquery的过程。我们如何能够为使用bigquery的应用程序创建端到端测试？
浏览 0提问于2018-03-17得票数 18
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号