我切换到大查询，因为高性能。但是不知道如何将数据从上传到大型查询数据库。还有一些问题..。我可以直接访问我的数据库从谷歌云存储，同时使用大查询。我要先把它转换成某种格式吗？如何继续更新大查询数据库到我的谷歌云存储数据库。
提前谢谢。
浏览 9提问于2016-02-25得票数 1
回答已采纳
2回答
哪个谷歌云存储最适合我的数据
、、、、
我正计划将我的整个系统迁移到google云平台。目前，我正在运行mysql、apache、nodejs和角js的组合。随着数据呈指数增长，Mysql的速度越来越慢。系统处理大数据分析。我需要具有最短查询时间的IO密集型数据库。目前，我已经构建了mysql数据库，并且根据应用程序的要求，我需要非常频繁地查询数据以获取分析数据和原始数据。Google建议我使用Cloud，但是没有任何服务方面的经验，我对此并不确定。
请为我的应用程序推荐最合适的google，包括云扳手、云sql、云数据存储、大查询和云大表。
如有任何建议，将不胜感激。
PS:我正在考虑使用google计算引擎。
浏览 4提问于2017-08-11得票数 1
回答已采纳
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：
Oracle数据库到云存储(不必做CSV导出)，然后它将是干净的，并准备在Dataprep中，这将通过数据流进一步处理，最后它将被存储在Big Query下(从大查询数据科学家将使用数据来创建他们的模型)。
在此过程中不能使用第三方工具。任何开源工具都是允许的。
我正在考虑从spark中提取数据(通过将DataProc用于spark作业)，并将其存储在GCP (任何一个云存储或大表或大查询)中。通过云sql -这是不可能的，因
浏览 2提问于2019-11-17得票数 0
我想将数据从我们的云环境(pivotal cloud foundry)加载到SQL Server中。数据从API获取并保存在内存中，我们使用tds将数据插入到SQL Server中，但在文档中我看到的使用批量加载的唯一方法是加载文件。我不能使用pyodbc，因为我们在云环境中没有odbc连接。
如何从字典中直接进行大容量插入？
pytds不直接提供大容量加载，仅从文件提供大容量加载
浏览 0提问于2019-12-06得票数 0
我是GCP新手，需要一些帮助来解决我的问题。
我正在创建CSV文件，json文件和java脚本文件，并上传到GCP存储桶中。创建“云存储上的文本文件到大查询”数据流模板以将数据填充到bigquery中。
我需要一些帮助转换的日期格式从DD-MM-YYYY到YYYY-MM-DD在大查询中使用‘文本文件在云存储到大查询’数据流模板在GCP中。
浏览 12提问于2021-06-12得票数 0
我有关于谷歌大查询表的查询。我们目前正在寻找根据当天上传到云存储中的文件来查询大查询表。 含义： 我必须根据每天的数据将数据加载到大型查询表中，并将其加载到云存储中。 当我查询时： select * from BQT where load_date =<TODAY's DATE> 我们可以在不将日期字段添加到文件中的情况下实现这一点吗？
浏览 17提问于2021-01-12得票数 1
回答已采纳
我目前正在使用云函数将数据从云存储中的csv文件加载到BigQuery。
然而，云函数有一个超时限制，我希望这些文件在会引起问题的地方变得足够大。
此外，插入大查询仅限于10mb/insert_rows。
我还能用什么代替云函数来实现这个功能呢？需要在文件放入云存储时触发。
浏览 2提问于2019-04-13得票数 1
回答已采纳
我有一些表要从大查询加载到数据库。我需要每天都这样做，并在云sql中创建一些存储过程。每天从大型查询加载表到云sql的最佳方法是什么？传输数据和将云sql保持在24/7上的成本意味着什么？感谢你的帮助。
谢谢你，J。
浏览 4提问于2021-06-09得票数 1
回答已采纳
我在评估一项家庭作业。我需要做一个最终需要将数据推送到云中的应用程序。实际上，数据可能相当大。我查看了Google Android C2DM 。
但我意识到它是用来将小通知从云推送到应用程序的。它可以用来将相当大的数据从应用程序发送到云端吗？或者，是否有合适的替代方案可以使用？
因此，我的问题是，如何实现一种将大量数据从android应用程序发送到云的方法。
浏览 8提问于2013-03-13得票数 0
我正在寻找一种简单的方法(当然，具有良好的性能)来向web应用程序公开我的BigQuery表中的数据。
当前正在运行的解决方案是使用一个云函数和Firestore (在本机模式下)在BigQuery中公开数据。该实现类似于-，一旦数据被写入最终的大查询表，我们就触发云函数(每次提交500条记录)来更新最后一个消防站表中的数据。-
而且，为了避免与云函数相关的超时问题，我们将整个数据集分成几个批次，每个云函数实例只处理一批记录。
但是在运行后不久，我们就遇到了写入方面的可伸缩性问题，因为我们是按顺序触发云函数实例的。
提高性能的一个简单方法可能是从云函数内部进行并行写入，但同样地，根据消防局文档
浏览 2提问于2021-03-30得票数 0
1回答
我正在收取服务云存储/BandwidthDownloadAmerica的费用，如下所述：
不过，我的google云存储桶位置、大查询数据集位置和我正在下载的机器都是“EU”。按照我的观点，从存储到机器的下载应该被认为是侵入。
我的过程包括: 1.从大查询数据集导出到云存储桶.2.将文件片段组合成单个文件。3.下载合成文件。
我相信在收费中所提及的收费如下：
com.google.cloud/services/cloud-storage/BandwidthDownloadAmerica下载美国EMEA
是第三步
有没有什么可能错过的环境。
我的项目配置设置为默认。
欢迎任何指导。因为我们
浏览 2提问于2016-10-13得票数 0
关于大查询，我有几个问题: 1.我们能在google云平台上上传文本文件并检索所需的数据吗？如果是的话怎么可能。2.我的主要目标是将大量数据上传到云平台，分析数据，并在需要时检索所需的信息。数据可以是结构化的，也可以是非结构化的。
浏览 8提问于2016-07-21得票数 0
我尝试了大查询导出到云存储功能，以节省一些钱。需要的是以AVRO压缩格式导出，以保持模式，并能够在需要时在Big Query上再次导入它们。因为Big Query使用未压缩的大小收取数据费用，而我的数据是高度冗余的，所以压缩后的数据应该减少到原来的20倍。
在UI界面上，导出到AVRO时没有压缩选项。所以我假设这将是默认的，但事实并非如此。它导出AVRO没有压缩，这对我来说没有任何意义，因为文件将是相同的表大小，并将成本相同的东西保存在大查询和云存储。
没有任何关于这方面的信息。
谁知道是否有其他方法，而不是导出和加载到集群上，以转换为压缩的AVRO，并再次保存无云存储？
浏览 5提问于2018-07-24得票数 1
如何将数据从大查询存储到云存储？
这是我的数据和我为数据设置的阈值。
SELECT milliVolt FROM `zeta-pivot`
where milliVolt < 3300
limit 1000
浏览 1提问于2021-11-29得票数 0
1回答
我正在尝试为我正在开发的一个web应用程序实现一个大容量导入功能，并且想知道是否有多少"add's“可以由云函数使用admin来执行。
具体来说，我想知道firebase云函数和admin SDK是否能够这样做：
for(var i = 0; i < 20000; i++) {
admin.firestore().collection("someLocation").add({
time: admin.firestore.FieldValue.serverTimestamp()
})
}
当我对来自客户端的实时数据库做类似的
浏览 0提问于2018-04-20得票数 1
回答已采纳
我想要实现的：每次我上传一个文件到云存储，它将自动被写入BigQuery。
我所做的工作：云存储触发器云功能运行良好。数据流模板云存储到大查询运行良好。
但是他们不一起工作。如何让云函数触发来激活数据流部分？这是一个脚本，还是只是一些设置，我错过了？
缺少一些东西把它们连接起来。我对此比较陌生，我一直在寻找这方面的教程，但我不知道我是否一直在搜索错误的关键字，我找不到任何相关的教程。
浏览 7提问于2021-03-03得票数 0
回答已采纳
1回答
我用它来设计30 TB文本文件的存储，作为在Google云上部署数据管道的一部分。我的输入数据是CSV格式，我希望尽量减少为多个用户查询聚合值的成本，这些用户将使用多个引擎在云存储中查询数据。对于这个用例，下面哪个选项更好呢？
使用云存储进行存储，并链接大查询中的永久表以进行查询，或使用Cloud表进行存储，并在计算引擎上安装HBaseShell来查询大表数据。
基于下面对这个特定用途的分析，我发现下面的云存储可以通过BigQuery查询。此外，Bigtable支持CSV导入和查询。BigQuery限制还提到，根据文档，在CSV、JSON和Avro的所有输入文件中，每个加载作业的最大大小为15
浏览 0提问于2019-01-24得票数 0
回答已采纳
是否有方法从本地计算机读取csv文件并使用google数据流将其写入大查询或存储？如果它存在，应该使用哪个跑步者？
所有google数据流示例要么从云中读取，要么写入云存储或大查询。
我使用DirectPipelineRunner从本地计算机读取和写入本地计算机。
浏览 3提问于2016-08-04得票数 1
回答已采纳
1回答
怎样联系客服帮我处理腾讯云盘的问题呢，难道要投诉才行吗？之前相信腾讯大企业不会弄丢我们的数据，我在腾讯云盘付费加大内存，把一些珍贵的文件保留在里面，现在一张图片都看不到。
浏览 137提问于2022-06-16
我们现在如何在数据存储中做大容量删除实体，特别是当数据存储模板中的大容量删除实体在Google云的数据流中被废弃时。
有没有别的办法..。
浏览 4提问于2022-01-24得票数 0
1回答
我正在寻找一些关于为一个简单的ETL工作构建一个架构的指导。我已经构建了一个解决方案，但我正在寻找方法来改进或尝试另一个体系结构。
这里是我的用例：
源数据以csv格式从移动设备上传到云存储
处理数据并将其转换为json格式
使用大数据存储解决方案进行分析
使用可视化解决方案显示数据
为此，我构建了一个解决方案，用户可以将csv格式的源数据上传到云存储。我使用云函数来监视云存储桶中的更改，并触发Dataflow管道对其进行批处理，并以bigquery格式存储数据(json格式)进行分析。最后，我使用Data来可视化bigquery表中的信息。
这是我的工作流程：
云存储
浏览 2提问于2018-08-03得票数 0
1回答
点云数据集的规范化(特征缩放)
、、、、
我有点云数据集，其中单个数据用N*3表示，其中N是点数。同样，我在Dataset中有"M“点云的数目。这些点云的范围差别很大。有些值非常大(例如，所有N点的数值为10^6 )，而有些值非常小(例如，所有N点的数值为10^1 )。我想规范每一个点云。我该怎么做？
Q1.应该只从这一点云中选择min和max，从而使每个点云(单点云N*3)沿x、y、z维分别规范化(Min)。在这个场景中，对于所有的"M“点云，我们有不同的max。对于输出点云也是如此。请查看图片以了解更多的
Q2.或应将x、y、z维度上的所有点云标准化，只从整个数据集中选择min和max (来自x、y、z列中的M*N
浏览 0提问于2019-07-31得票数 1
回答已采纳
我想在谷歌云bigQuery中加载大容量的数据。
我手头的所有选项(使用UI和API)是什么，最快的方法是什么？
蒂娅！
浏览 0提问于2018-07-13得票数 1
回答已采纳
在将表导出到云存储时，从2017-07-08获取以下错误。
访问被拒绝: BigQuery BigQuery:在写入数据时拒绝权限
在那个日期之前工作得很好，没有改变项目中的任何东西，大查询或云存储。
alert-basis-89415:bquijob_6adfd86e_15d2de5ce1b :JobId
浏览 8提问于2017-07-10得票数 13
回答已采纳
我需要每天将数据从bigquery导出到google云存储。数据量相当大(1TB)，当我将这些数据导出到google存储后，我需要从它下载，这一步非常慢。所以，我想知道是否可以将gzipped数据导出到google存储中？这样可以减少数据量，然后我可以非常快地下载数据。
你能给我一些建议吗？因为我在从bigquery提取到google云存储时没有在bigquery中找到压缩函数。
提前感谢！
浏览 4提问于2013-12-19得票数 0
回答已采纳
1回答
做了一些研究，但我找不到关于这个话题的任何东西。下面是这样的：
我要做的是添加一个k8s (在GKE上)托管的TimescaleDB (基本上是PostgreSQL)作为BigQuery上的外部数据源。但是，正如所述：
BigQuery支持以下外部数据源：
大表
云扳手
云SQL
云存储
驾驶
我很难相信Google不支持将GKE数据库与Big连接起来。
有人对此有经验吗？这真的不可能吗？如果没有，我是否可以使用其他解决方案让BigQuery查询我的k8s数据库？
浏览 4提问于2021-10-15得票数 1
1回答
我有30个misc类型的服务器，具有不同的CPU、RAM、HDD等。
考虑使用Openstack将所有服务器变成一个大云--然后使用Openstack在从30个服务器创建的“大云”上创建几个虚拟机实例(比如20个VM)。
即。如果我在这30台服务器上传播了128 GB的Ram，是否可以使用Openstack Compute来控制资源，然后运行在整个“大云”中创建的虚拟机。
浏览 0提问于2015-01-14得票数 0
秒杀的服务器没有写明是那种系列的服务器，配置的50G数据盘是云盘还是普通的
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin
浏览器信息
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36
浏览 488提问于2017-12-17
我发现Google ml引擎需要云存储中的数据，大查询等。有没有办法将数据流式传输到ml-engine。例如，假设我需要使用WordPress或Drupal站点中的数据来创建tensorflow模型，比如垃圾邮件检测器。一种方法是将整个数据导出为CSV，然后使用google- cloud --php库将其上传到云存储。这里的问题是，对于每一个微小的变化，我们都必须上传整个数据。有没有更好的办法？
浏览 6提问于2017-07-12得票数 0
2回答
我有大约20 in的时间序列数据存储在大查询中。
我目前的管道是：
大查询=>中的原始数据加入大查询以创建更大的查询数据集=>将它们存储在桶中
然后我在桶中下载了一个文件的子集：
使用Python/SFrame对数据进行插值/重采样，因为有些时间序列数据缺少时间，而且采样不均匀。
然而，在本地PC上需要很长时间，我猜需要几天的时间才能通过20 to的数据。
既然数据已经在桶里了，我想知道谷歌最好的插值和重采样工具是什么？
在重新采样和插值之后，我可能会使用Facebook的先知( Prophet )或自动阿里玛( ARIMA )来创建一些预测。但这将是在当地完成的。
谷歌提供的
浏览 3提问于2018-04-13得票数 1
回答已采纳
1回答
在GCP中，我有一个数据流工作，负责将文件从云存储复制到大查询，一旦这些文件成功插入大查询，我想删除它们。有人能提供如何实现这一目标的指导，以及如何在上一项工作成功后触发另一项工作吗？
浏览 1提问于2018-09-07得票数 1
回答已采纳
3回答
1、 新建私有网络，这是一个什么东西，买个广东的云服务器，还需要建一大堆的东西，
2、还有进你们的平台把人大脑都给整晕，我做了6年的服务器，想买个东西觉的好难要找半天，还有一大堆的东西，真不知到是干嘛的，我还是一个专业做了几年的互联网的，我不知道新手怎么操作
3 我们要的不在呼就是几个东西 1 域名 2 空间 3建站 4服务器 就是这4个，其它的那些，谁看的懂
计算
云服务器
GPU云服务器
FPGA云服务器
专用宿主机
黑石物理服务器
云硬盘
容器服务
弹性伸缩
私有网络
无服务器云函数
批量计算
存储
对象存储
文件存储
归档存储
存储网关
私有云存储
云硬盘
云数据迁移
浏览 751提问于2018-02-10
1回答
我们必须设计一个接口，将数据的构建上传到基于云的CRM系统中。批量上传将定期执行，以进行实时数据推送。有两种方法。
将转换后的数据存储在队列中，然后执行调度作业，将数据大容量加载到CRM中，system.Transformed数据存储在数据库表中，然后执行调度作业，将数据大容量加载到CRM系统中。
其中一个主要问题是云CRM系统不能接受具有相同主id的2个请求，这意味着在数据上传之前对数据进行过滤。
不知何故，我不习惯使用队列作为持久组件。数据库表提供了对错误处理系统/数据、持久化存储CLOB、调试、过滤的更多控制。
我能知道队列或db方法的利弊吗？这将帮助我做出一个设计决策。此外，如果有人能
浏览 6提问于2012-04-10得票数 0
1回答
这是一个纯粹的教育问题：
假设我们有不同的云存储提供商。假设一个文件是一个比特流，我们将每个字节保存在(模块)第四云提供商的存储空间上。
Q1: 2是保护数据的一种保存方式吗？
Q2:一些比<2>大的能有效保护数据吗？
良好的保护意味着，获得存储在一个提供程序中的数据的攻击者将无法呈现原始数据集。
浏览 0提问于2013-04-01得票数 2
回答已采纳
我的目标是允许用户将相对较大的数据集导入MongoDB (托管在mongo云上)。Api服务器托管在容器引擎中，它没有任何其他负载如此大的操作(只有简单的CRUD操作)。
用户将上传.csv文件(高达100mb)到GCP Bucket，从那里我需要验证和插入的csv文件到MongoDB的每一行，然后做一些计算的基础上导入的数据。这是否适合GCP云函数？我有点担心540秒的执行时间限制。
浏览 1提问于2017-11-09得票数 1
1回答
云存储构建文件块
、、
寻找关于如何在云存储中动态构建文件的示例。下面是我的用例：
Java应用程序将查询大型数据查询
在大查询中使用分页方式，数据将通过页面窗口来提取。
在获得来自BQ的数据后，将把每个数据块保存在云存储中。
上传完所有块后，完成文件上传。
这里的挑战是云存储文件是不可变的，因此一旦您在GCS中创建了对象，您就不能再重新打开它，除非您覆盖相同的文件。尝试探索使用流和特性，根据我的理解，它需要文件在上传之前做好准备。
如果这是不可能的，我现在唯一的选择就是将每个块作为不同的文件上传，并使用云存储组合功能将这些块合并到一个文件中。这是非常昂贵的，因为您需要为GCS创建多个请求来完
浏览 0提问于2021-03-22得票数 0
我将使用PySpark运行一些东西(回归、ML等)。在相当大的结构化数值数据集(>1TB)上。目前，谷歌云存储上的数据是CSV格式的。是否将数据转换为其他格式(Parquet等)？在csv中加速阅读火花，还是阅读速度大致相同？
浏览 2提问于2017-06-27得票数 0
回答已采纳
1回答
我是一个ios游戏开发者，原来使用的一个通讯云倒闭了，我的后台都是一些轻量级的json格式的数据，在客户端调用原来通讯云给的api然后将用户金币，装备等信息传到云端这种，但是我看腾讯云中的服务种类太多了，不知道该怎么选择，请各位大咖给点建议，谢谢
浏览 240提问于2019-03-23
1回答
我正在尝试为来自CFPB的的一年投诉叙述数据生成一个词云。
每年大约有10万个单词。
我已经能够使用每年大约1000个单词的样本来生成云。我使用tibble来记录每一年的单词和频率。
到目前为止，我已经尝试过wordcloud和ggwordcloud，当我尝试在一整年的数据上使用它们时，这两个包似乎永远运行或冻结。我的机器有16 My的RAM。它能处理这么多的数据吗？
有没有人知道有没有一个包可以用来为这么大的数据集生成词云？
我已经看到以前的答案，建议采取样本或以其他方式减少我正在处理的数据的大小。如果可能的话，我仍然希望使用完整的数据集。
浏览 11提问于2021-06-02得票数 0
我正在寻找从云存储到大查询的数据输入的价格(通过"bq导入“)。
BigQuery中没有"update“语句，所以我想从零开始删除我的表并重新创建它。
谢谢罗曼。
浏览 6提问于2014-08-06得票数 1
回答已采纳
1回答
如果没有数据上传到大查询表超过一天，那么设置每个电子邮件大查询警报的最佳方法是什么？我想到的是：
堆栈驱动程序Pub Sub 云函数
但我不知道最快和最好的方法是什么。我试图通过Stackdirver ->建立新的警报系统
DatasetMetric:Uploaded rowsCondition资源类型:如果 ->任何时间序列违反-> ， 23小时将触发BigQuery
但没有发邮件。虽然有些表几个月都没有数据..。
浏览 2提问于2019-12-09得票数 4
回答已采纳
1回答
我试图用Python编写一个Dataflow管道，它需要一个大的numpy矩阵作为侧输入。矩阵保存在云存储中。理想情况下，每个Dataflow工作人员将直接从云存储加载矩阵。
我的理解是如果我说matrix = np.load(LOCAL_PATH_TO_MATRIX)，然后
p | "computation" >> beam.Map(computation, matrix)
矩阵从我的笔记本电脑发送给每个数据流工作者。
我如何才能指示每个工作人员直接从云存储加载矩阵呢？是否有用于“二元水滴”的光束源？
浏览 3提问于2017-05-13得票数 1
回答已采纳
目前，我正在为我的数据库使用Firestore，并且我有一个用户集合。每当用户文档被创建或更新到用户集合时，云函数就会接收用户文档，并将其保存在El154搜索中。
我开始关注这个体系结构的可伸缩性。例如，假设数千个云函数开始一次向Elasticsearch写入文档，那么Elasticsearch将处理这个负载。谷歌云有更好的解决方案吗？
例如，这些云函数能否在队列中写入用户文档，并在队列的另一端具有云功能，获取100个文档并将它们大容量写入Elasticsearch。
我是谷歌云的新手，如果你能给我一些想法、视频和阅读的东西，我将不胜感激。
谢谢
浏览 2提问于2021-07-17得票数 1
回答已采纳
麻烦问一下云盘和本地盘把数据传回本地是一样的吗，就是都是进云主机然后复制到自己电脑的硬盘上吗，我现在用的是本地盘，把东西搬回自己电脑上好慢，但是我的文件又有点大，要传好久，不清楚有没有能够更快一点的办法，如有求说明一下，十分感谢
浏览 329提问于2017-03-07
0回答
我们公司是做电商的，想在云平台上一套ERP系统，除了日常事务处理的一些信息数据外，还有大量（未来可能百TB以上）的图片需要上传和存储，想选择一个低成本的存储方案，但又不影响ERP的访问操作。初步了解云平台的标准存储对于大容量存储费用太大，寻求成本低廉的并也能满足使用的存储方案。
浏览 181提问于2019-10-23
1回答
我正试图从建议AI中获得预测结果，并将这些预测存储回大查询中。在获取了几行之后，Cloud函数会给出超时异常。有什么办法可以增加云功能的超时吗？或者，如果我可以直接将预测的结果推送到大查询中，而不需要任何云函数的交互？
浏览 6提问于2022-02-03得票数 0
我正在尝试从我的数据帧中创建一个单词云，如下所示 Borough Minor Text 2019
Bexley Arson 4
Bexley Burglary - Business 11
Bexley Burglary - Residential 130
Bexley Drug Trafficking 5 我想在单词云中可视化次要文本列中最常见的项目，但问题是，频率在'2019‘列中是一个整数。实际的数据帧非常
浏览 16提问于2021-11-14得票数 1
回答已采纳
1回答
我们需要以固定的时间间隔(每小时/每天/任何时间)将数据从Hive table (Hadoop)移动到GCP (Google Cloud Platform) BigQuery。这里有多个表，数据量非常大。请告诉我在这种情况下是否可以使用云数据流(CDF)？有其他选择吗？ 提前感谢！ 问候你，库马尔
浏览 11提问于2019-01-26得票数 0
回答已采纳
3回答
我喜欢将大查询导出到Google云存储。除了导出查询之外，还有任何其他选项可以这样做。
我的数据大约是2GB，在导出查询中，它在不同的文件中分割，数据作为数据很大。所以我只能在一个文件中导出。所以请帮我同样的忙。
浏览 9提问于2022-05-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
