在bigquery中跨项目复制数据时偶尔会出现性能缓慢的情况

文章/答案/技术大牛

发布

1回答

google-bigquery

当我在bigquery中跨一个项目复制数据到另一个位于相同数据位置的项目时，我遇到了非常缓慢的移动，然而，与我们在bigquery上复制数亿条数据的其他操作相比，移动数据需要长达2分钟，大约只有100,000条记录，而其他操作只需要几秒钟的

浏览 18提问于2020-01-09得票数 0

回答已采纳

1回答

如何连接到VPC项目

google-bigquery、google-vpc

我是BigQuery的新手，我正在努力了解VPC如何为BigQuery项目工作。我有一个BigQuery项目，它从其他几个BigQuery项目中导入数据(没有VPC，而是同一个组织)。我还需要连接到VPC网络中的一个项目(仍然是同一个组织)。我阅读这个VPC项目的唯一方法是只有在

浏览 2提问于2020-05-27得票数 0

2回答

在BQ中通过传输功能将数据从一个项目复制到另一个项目是否需要成本？

google-bigquery

日安，我不清楚通过传输功能将数据从一个项目复制到BQ中的另一个项目是否需要成本？目前，我们已经为此安排了查询，但他们成倍地增加了我们的费用，因为我们每天都要查询大量数据，同时将所有内容从Firebase BQ项目复制到我们的内部项目。我想知道BQ的转账功能会不会降低我们的费用？

浏览 2提问于2021-09-02得票数 2

2回答

大型MySQL表-需要的建议

mysql

我有一个很大的mysql MyISAM表，有150万行和4.5 big大小，每天都在增加。我已经完成了所有必要的索引，性能也得到了极大的优化。然而，数据库偶尔会崩溃(显示500内部服务器错误)，通常是由于查询过载。当出现故障时，表将开始非常缓慢地工作，我将不得不做一个愚蠢但有效的任务:将整个表复制到新表中，并用旧表替换新表！！你可能会问为什么会

浏览 0提问于2010-08-03得票数 2

回答已采纳

1回答

EF:第一次执行时查询速度很慢

sql-server、entity-framework、tsql、asp.net-core

我们正在使用EFCore1.1，在一个ASP.NET核心应用程序中，下面的LINQ查询在第一次执行时大约需要45秒到一分钟。在第一次执行之后，随后的执行似乎运行良好。问题：我们如何提高这个查询的性能。等待大约45秒或更长时间的用户会给他/她一种印象，即显示查询的ASP.NET页面可能被破坏，用户移动到另一个页面： var lstProjects = _context.Projects.Where(p=> p.Proje

浏览 2提问于2017-07-19得票数 0

回答已采纳

2回答

在保持逻辑的同时联接的子查询

php、mysql

我正在尝试优化一个缓慢的查询，我遇到了以下情况(持续运行超过8秒)。locationID IN (SELECT locationID FROM structu_assets.deed WHERE ownerID = 'clarus')这是EXPLAIN我的想法是重构子查询以使用但是保持逻辑上的OR会让我失去理智。此外，嵌套子查询似乎是不可避免的。除非我在单独的查询中预先

浏览 3提问于2012-03-22得票数 2

1回答

如何在不同区域的数据集之间移动数据？

firebase、google-bigquery

我使用的是与Firebase集成的BigQuery，所有的数据集都在同一个项目中。我的analytics数据集在useast-4中，但出于某种原因，我的firebase_imported_segments数据集区域被标记为US，我希望将数据从analytics数据集中移到firebase_imported_segments中的一

浏览 2提问于2022-05-05得票数 0

2回答

BigQuery web用户界面没有响应&最终崩溃。

google-bigquery

当我单击"Details“以查看表中数据的预览时，web会锁定并看到以下错误。我尝试过刷新和重新整理我的浏览器，但这并没有帮助。

浏览 7提问于2015-12-05得票数 3

回答已采纳

1回答

为什么搜索性能对于大约100万份文档来说是缓慢的--如何扩展应用程序？

search、lucene、full-text-search、search-engine、lucene.net

我创建了一个基于lucene 4.5.1的搜索项目我使用一个文档(原始文档)作为示例，并根据索引查询该文档的内容。现在的问题是，每个查询结果都是缓慢出现的。经过一些测试后，我发现我的查询太大了，虽然我删除了停止词，但是我不知道如何减少查询字符串的

浏览 3提问于2013-12-20得票数 3

0回答

xxxx@gmail.com在项目yyyy中没有bigquery.jobs.create权限

google-bigquery

我是谷歌云和BigQuery的新手xxxx@gmail.com在项目yyyy中没有bigquery.jobs.creat

浏览 0提问于2018-07-17得票数 7

2回答

有没有一种方法可以连续地将数据从Azure Blob输送到BigQuery？

azure、google-bigquery、azure-blob-storage、data-pipeline

我在Azure Blob存储中有一堆文件，而且它不断地获得新的文件。我想知道是否有一种方法可以让我首先将我在Blob中的所有数据转移到BigQuery，然后继续运行一个脚本或一些作业，以便将其中的所有新数据发送给BigQuery？

浏览 10提问于2017-06-28得票数 0

回答已采纳

1回答

跨大陆SQL高延迟数据同步

mysql、master-slave-replication

如何跨大陆同步MySQL数据库，同时使用DB保持分布式应用程序运行速度(<0.2s页面加载)？我的数据库包含大约2.5GB的数据，几乎所有200个表都由auto_increment int键索引，因此某种主主复制似乎不太可能，因为可能会出现重复键。我的项目运行的硬件位于美国西部和欧盟西部的两个数据中心(130 US ping延迟之间)。问题是，当不得不执行一

浏览 0提问于2018-03-18得票数 2

2回答

如何找出.NET WebApi中偶有慢病的原因

asp.net、sql-server、delay、slowdown

我正在研究aspnet方法(.NET 4.8，而不是核心)中偶尔出现的一些缓慢现象。其症状是，大多数情况下，API会在几十毫秒内做出响应，但有时需要几秒钟才能做出响应。然而，API执行几个查询，而且并不总是相同的，需要很长时间。这里是一个简短的屏幕截图的一个迷你剖析器跟踪为这样的要求。看到这一点，我假设数据库执行某些查询的速度有时很慢，可能是在等待锁，但

浏览 7提问于2022-02-21得票数 4

1回答

显示调试远程JS会导致UI中的无响应性

react-native、debugging、expo

最近，我将react本地项目从expo 36升级到38。它现在编译，但是每当我单击"Debug Remote JS“时，它都会导致UI变得缓慢和没有响应性，只是偶尔会接收到only事件。我创建了一个基本的项目来复制它。要验证，可以从cli中运行expo，或者下面是一个项目https://github.com/seniordevops/tab-application.g

浏览 4提问于2020-07-13得票数 0

回答已采纳

1回答

调试连接池错误

sql-server、performance、connection-pooling、performance-tuning、query-performance

我的学习情况如下：打开的连接不关闭，称为连接泄漏。缓慢的查询或打开的事务会阻塞新的连接。当连接被缓慢的查询执行/打开事务保持打开时，而

浏览 0提问于2019-02-07得票数 1

2回答

正在删除BigQuery公共数据集

google-bigquery

有没有人知道从BigQuery项目中删除公共数据集的方法？谢谢

浏览 0提问于2018-05-23得票数 3

1回答

Xamarin.Forms ListView滚动缓慢且抖动

c#、android、listview、xamarin.forms

我有一个有一百万条记录的ListView。我选择后者，它适用于Xamarin Forms3.3。然而，一旦我升级到3.3以上，滚动就会变得缓慢而抖动。在过去的一年里，我尝试了多个版本的升级，所有版本都有相同的问题，这意味着我被困在3.3上，并且错过了更高版本<e

浏览 0提问于2020-10-02得票数 0

3回答

以高效的方式从BigQuery读取到Spark？

apache-spark、google-bigquery、google-cloud-dataproc、google-hadoop

当使用从BigQuery读取数据时，我发现它首先将所有数据复制到Google Cloud Storage。然后将这些数据并行读取到Spark中，但当读取大表时，复制数据阶段需要很长时间。那么有没有更有效的方法将数据从BigQuery读取到Spark中呢？另一个问题:从BigQuery阅读由2个阶段组成(复制到

浏览 6提问于2017-01-04得票数 7

回答已采纳

1回答

Cosmos db查询成本和性能取决于同一分区中的项目数？

azure-cosmosdb

我有一个简单的JSON数据，如下所示的{"id":beos033mxle-1232, "name": "John Doe", "city":"Denver", "gender": "m"}，分区键是/city 我想知道，如果我像下面这样运行简单的查询，SELECT * FROM User u WHERE u.name = "John Doe" AND u.

浏览 27提问于2020-07-25得票数 0

回答已采纳

1回答

反对使用pystone跨多个系统估计总体相对系统性能的理由是什么？

python、benchmarking

我正在启动一个分布式计算项目，有点像各种@home项目(虽然不是做简单的科学计算，而是偶尔让远程用户参与到涉及音频和视觉刺激呈现的任务中)，我需要了解运行我的应用程序的机器的相对系统性能，这样我就可以排除来自非常低级的机器的数据这个应用程序是用python编写的，我看到pystone模块提供了一种基准测试，但我也看到pystone在</e

浏览 1提问于2011-04-25得票数 1

点击加载更多