我将使用PySpark运行一些东西(回归、ML等)。在相当大的结构化数值数据集(>1TB)上。目前，谷歌云存储上的数据是CSV格式的。是否将数据转换为其他格式(Parquet等)？在csv中加速阅读火花，还是阅读速度大致相同？
浏览 2提问于2017-06-27得票数 0
回答已采纳
我有一些表要从大查询加载到数据库。我需要每天都这样做，并在云sql中创建一些存储过程。每天从大型查询加载表到云sql的最佳方法是什么？传输数据和将云sql保持在24/7上的成本意味着什么？感谢你的帮助。
谢谢你，J。
浏览 4提问于2021-06-09得票数 1
回答已采纳
1回答
我一直在读这篇关于直接读取实时数据库与调用返回数据库数据的云函数的文章。 如果我返回一个相当大的数据块，例如一个包含来自云函数的代表50个用户评论的数据的json对象，这算不算出站数据(Egress)数据？如果是这样的话，每月每gb的费用是0.12美元吗？ 注释是这样存储的，并带有一个增量键。 comments: [0 -> {text: “Adsadsads”},
1 -> {text: “dadsacxdg”},
etc.] 此外，我已经了解到，您可以使用客户端sdks调用goOffline()和goOnline()来停止并发连接。关闭和打开数据库连接是否有任何成本，或者只是
浏览 9提问于2020-10-04得票数 1
回答已采纳
3回答
有什么方法可以在云上进行计算机视觉吗？这个想法就像人们登录一个网站，然后摄像头被激活，视频数据通过互联网发送到服务器。服务器对这些数据进行处理，并将处理后的数据实时或至少每秒10帧传回给用户。
这可行吗？在网络方面，我们需要什么样的技能？我知道视频流是其中的一个组成部分。另外，我们如何设置服务器？分布式系统是否可以在有限的时间内考虑非常大的计算？
浏览 0提问于2011-03-04得票数 4
我想在谷歌云bigQuery中加载大容量的数据。
我手头的所有选项(使用UI和API)是什么，最快的方法是什么？
蒂娅！
浏览 0提问于2018-07-13得票数 1
回答已采纳
我在一个s3桶(tar文件)中备份了一个mongodb，并且我希望将它恢复/导入到mongodb云地图实例中，而不让数据通过我的本地机器，因为它是一个非常大的文件，这可能吗？
浏览 6提问于2022-11-12得票数 0
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：
Oracle数据库到云存储(不必做CSV导出)，然后它将是干净的，并准备在Dataprep中，这将通过数据流进一步处理，最后它将被存储在Big Query下(从大查询数据科学家将使用数据来创建他们的模型)。
在此过程中不能使用第三方工具。任何开源工具都是允许的。
我正在考虑从spark中提取数据(通过将DataProc用于spark作业)，并将其存储在GCP (任何一个云存储或大表或大查询)中。通过云sql -这是不可能的，因
浏览 2提问于2019-11-17得票数 0
我正在寻找一种简单的方法(当然，具有良好的性能)来向web应用程序公开我的BigQuery表中的数据。
当前正在运行的解决方案是使用一个云函数和Firestore (在本机模式下)在BigQuery中公开数据。该实现类似于-，一旦数据被写入最终的大查询表，我们就触发云函数(每次提交500条记录)来更新最后一个消防站表中的数据。-
而且，为了避免与云函数相关的超时问题，我们将整个数据集分成几个批次，每个云函数实例只处理一批记录。
但是在运行后不久，我们就遇到了写入方面的可伸缩性问题，因为我们是按顺序触发云函数实例的。
提高性能的一个简单方法可能是从云函数内部进行并行写入，但同样地，根据消防局文档
浏览 2提问于2021-03-30得票数 0
2回答
我想使用Apache来操纵Google中的大量数据。
我按照文档划分了一个包含5个节点的cluster集群。一切都完美无缺。
但是我的数据是在上，我了解到我可以使用Spark直接查询它，这是Google推荐的。
在这种情况下，是否有必要拆分整个集群？星火在谷歌云存储上的效率和HDFS一样高吗？
如果不是，那就更容易用木星和星火旋转一个大VM，并使用它来运行存储在GCS上的数据上的作业。
浏览 2提问于2018-08-13得票数 0
回答已采纳
[图片]
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11
浏览器信息
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36
浏览 465提问于2017-11-02
1回答
我用它来设计30 TB文本文件的存储，作为在Google云上部署数据管道的一部分。我的输入数据是CSV格式，我希望尽量减少为多个用户查询聚合值的成本，这些用户将使用多个引擎在云存储中查询数据。对于这个用例，下面哪个选项更好呢？
使用云存储进行存储，并链接大查询中的永久表以进行查询，或使用Cloud表进行存储，并在计算引擎上安装HBaseShell来查询大表数据。
基于下面对这个特定用途的分析，我发现下面的云存储可以通过BigQuery查询。此外，Bigtable支持CSV导入和查询。BigQuery限制还提到，根据文档，在CSV、JSON和Avro的所有输入文件中，每个加载作业的最大大小为15
浏览 0提问于2019-01-24得票数 0
回答已采纳
1回答
最近，我尝试使用Visual Studio2010中的C++将点云数据写入.txt文件。一开始我使用ostream输出数据，但我发现写入数据时速度很慢。
我的代码：
std::ofstream outfile;
outfile.open(filename.c_str());
for(int index = 0;index < pointcloud.size();index++){
outfile<<pointcloud[index].x<<pointcloud[index].y<<pointcloud[index].z
<<poin
浏览 23提问于2017-03-08得票数 0
我需要决定，对于一个小型客户端和一个小预算(每月大约500美元)，适当的云提供商需要一些计算实例来保存一个web服务器、一个数据库和一个Apache服务器。我想知道，像DigitalOcean这样的公司，与甲骨文、Azure、AWS、谷歌相比，以极低的价格提供计算实例。
当涉及到基础设施的时候，为什么公司选择这些大公司而不是更便宜的选择？这么高的价格和低的价格有什么大的区别？
浏览 0提问于2020-01-05得票数 2
回答已采纳
我切换到大查询，因为高性能。但是不知道如何将数据从上传到大型查询数据库。还有一些问题..。我可以直接访问我的数据库从谷歌云存储，同时使用大查询。我要先把它转换成某种格式吗？如何继续更新大查询数据库到我的谷歌云存储数据库。
提前谢谢。
浏览 9提问于2016-02-25得票数 1
回答已采纳
我目前正在构建一个系统(用GCP)来存储关于不同主题的不同大小(1kb~100 of )的大量文本文件。一个文件集可能超过10 be。
例如：
dataset_about_some_subject/
- file1.txt
- file2.txt
...
dataset_about_another_subject/
- file1.txt
- file2.txt
...
这些文件用于NLP，在预处理后，由于预处理后的数据是单独保存的，因此不会经常访问.因此，在MongoDB中保存所有文件似乎是不必要的。
我在考虑
将所有文件保存到云存储中，
将MongoDB的名称和路径等文件信息保存
浏览 7提问于2020-07-01得票数 0
回答已采纳
我正在评估Apache，看看它是否适合于以下需求
云计算环境。
商品五金。
分布式DB (例如HBase)，可能有几兆字节的数据。
大量同时进行的小计算，需要快速完成(在几秒钟内)。小的意思是1到100 MBs的数据.
一些不需要快速完成的大型计算(小时很好)。大是指10-1000 GB的数据.
很少，非常大的计算不需要快速完成(天很好)。非常大意味着10-100 TBs的数据.
所有计算都是相互独立的。
一些计算中输入的实时数据流。
参与机器学习。
在阅读了一些关于星火的文章之后，我看到了下面的advantages
运作良好的商品硬件和HBas
浏览 2提问于2014-07-12得票数 12
回答已采纳
据我所知，同态加密可以用来保密数据，同时仍然允许对数据进行计算。从另一个问题中，我发现还可以通过重新计算结果来验证计算的完整性(我的意思是可以验证返回值确实是所请求的计算的结果)。
我对一个不可能重新计算的场景感兴趣。例如，原始数据可能不再可用，或者原始数据非常大，重新计算成本太高。是否有其他方法来验证结果是否与所需的计算相对应？
也就是说，假设我想在云中使用同态加密来执行r = a + b + c操作。一旦云返回结果r，如何验证r是a + b + c的结果，而不是a + b或其他计算的结果？
浏览 0提问于2018-08-06得票数 3
回答已采纳
1回答
给定托管在云平台上的服务器，什么可以阻止云平台所有者窃取服务器的数据和/或代码？
据我所知，一个有动机的云所有者可以在其服务器中检索数据，同时保持可信的否认性。
某些大公司似乎也有动机这样做，因为他们将受益于额外的数据。
浏览 0提问于2020-11-18得票数 0
近日，神州高铁与腾讯云计算有限责任公司签署了《框架合作协议书》。双方一致同意建立长期合作伙伴关系，充分发挥各自优势，共同推动互联网、大数据、云计算、物联网、人工智能等在轨道交通产业领域的应用。
浏览 1438提问于2018-07-24
2回答
哪个谷歌云存储最适合我的数据
、、、、
我正计划将我的整个系统迁移到google云平台。目前，我正在运行mysql、apache、nodejs和角js的组合。随着数据呈指数增长，Mysql的速度越来越慢。系统处理大数据分析。我需要具有最短查询时间的IO密集型数据库。目前，我已经构建了mysql数据库，并且根据应用程序的要求，我需要非常频繁地查询数据以获取分析数据和原始数据。Google建议我使用Cloud，但是没有任何服务方面的经验，我对此并不确定。
请为我的应用程序推荐最合适的google，包括云扳手、云sql、云数据存储、大查询和云大表。
如有任何建议，将不胜感激。
PS:我正在考虑使用google计算引擎。
浏览 4提问于2017-08-11得票数 1
回答已采纳
2回答
请描述您的问题
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin?utm_source=portal&utm_medium=banner&utm_campaign=bargin&utm_term=1204
浏览器信息
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36
浏览 1324提问于2017-12-29
4回答
私有云这个术语与不同网站中的所有定义相当混淆。不同的人对什么是私有云有不同的看法。
1)顺便提一下，越来越多的it公司也开始使用“私有云”一词来指在公司自己的数据中心内建立云计算基础设施--即“内部云”。这样的开发根本不是真正的云计算，可能被视为维持现状的最后一次尝试。根据任何合理的定义，“私有云”必须是一种云计算安排，其中有关硬件由供应商的共享数据中心拥有和存放“”。
2)“云”只是“在别人的电脑上”的一个时髦术语。(顺便说一句，这也是一种非常方便的方法，可以用来决定是否将一些东西转移到云中。)如果您在拥有专门用于提供此服务的数据中心的其他人所拥有的计算机上运行进程，那就是云。虚拟化并不是
浏览 8提问于2014-10-08得票数 1
回答已采纳
我知道有些工作是在肝硬化隐私的情况下完成的，在同态加密方面，在输出密文中，它不允许某人区分计算什么函数。
我想知道为什么需要这种功能。如果我们使用云服务器将一些任务委托给加密的数据，那么云可以知道评估的是哪种函数(可能是二进制代码或cpu行为)。
而且，如果某个特定的公司将任务委托给云服务器。然后服务器可以推断出正在发生的事情和正在处理的数据类型。
在这种情况下，电路隐私对我来说是没有意义的。
浏览 0提问于2018-06-20得票数 5
回答已采纳
1回答
我试图用Python编写一个Dataflow管道，它需要一个大的numpy矩阵作为侧输入。矩阵保存在云存储中。理想情况下，每个Dataflow工作人员将直接从云存储加载矩阵。
我的理解是如果我说matrix = np.load(LOCAL_PATH_TO_MATRIX)，然后
p | "computation" >> beam.Map(computation, matrix)
矩阵从我的笔记本电脑发送给每个数据流工作者。
我如何才能指示每个工作人员直接从云存储加载矩阵呢？是否有用于“二元水滴”的光束源？
浏览 3提问于2017-05-13得票数 1
回答已采纳
我想将数据从我们的云环境(pivotal cloud foundry)加载到SQL Server中。数据从API获取并保存在内存中，我们使用tds将数据插入到SQL Server中，但在文档中我看到的使用批量加载的唯一方法是加载文件。我不能使用pyodbc，因为我们在云环境中没有odbc连接。
如何从字典中直接进行大容量插入？
pytds不直接提供大容量加载，仅从文件提供大容量加载
浏览 0提问于2019-12-06得票数 0
我希望使用执行情感分析。
我找到了一个文档，可以直接对云存储( Cloud， )中的一个文件执行情感分析。
但是，我正在处理的数据是，而不是位于BigQuery中。我想知道如何直接从大查询表中调用数据来进行情感分析？
大查询表模式的一个示例：
我希望在表的tweet列上做NLP。
我试图在上面搜索文档，但似乎什么也找不到。
如有任何帮助或推荐信，我将不胜感激。谢谢。
浏览 6提问于2022-07-22得票数 0
我是GCP新手，需要一些帮助来解决我的问题。
我正在创建CSV文件，json文件和java脚本文件，并上传到GCP存储桶中。创建“云存储上的文本文件到大查询”数据流模板以将数据填充到bigquery中。
我需要一些帮助转换的日期格式从DD-MM-YYYY到YYYY-MM-DD在大查询中使用‘文本文件在云存储到大查询’数据流模板在GCP中。
浏览 12提问于2021-06-12得票数 0
请描述您的问题
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin?fromSource=gwzcw.647106.647106.647106
浏览器信息
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3538.400 QQBrowser/9.6.12501.400
浏览 898提问于2017-12-13
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11?utm_source=portal?utm_medium=recommend&utm_campaign=1111&utm_term=1024
浏览器信息
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/603.2.4 (KHTML, like Gecko) Version/10.1.1 Safari/603.2.4
浏览 1227提问于2017-11-04
我想编写一个运行生物信息学工具的google云运行函数。该工具将一个大的3Gb参考数据文件作为只读输入() +一个小的第二个文件，根据用户输入的不同而变化。
我应该尝试将引用数据文件构建到我的坞映像中，还是有更好的方法？
浏览 4提问于2020-06-21得票数 0
回答已采纳
1回答
我是openstack的新用户。我已经使用devstack成功地安装了它，并且Horizon Dashboard可用。我想要创建巨大的实例，这是我的学士论文开始时真正需要的。不幸的是，当我想创建一个大的实例时，我有一个错误，我找到了原因。我的“真实”资源如下所示(在输入终端"nova hypervisor-stats“之后)：
+----------------------+-------+
| Property | Value |
+----------------------+-------+
| count | 1 |
浏览 7提问于2019-11-01得票数 0
我正在研究一些关于云存储中数据拥有的证据的论文，比如这或这，您可以通过向服务器提供某种挑战来请求存储在云存储中的数据的证据，而服务器将通过计算存储在云服务器中的对象来回复挑战的结果。但据我所知，一些像AWS S3这样的公共云存储不允许使用下载、上传或列出文件(CMIIW)以外的公式来计算对象的其他对象操作。现在的问题是，在云存储中数据占有的证据仍然可以做到这一点吗？如果是这样的话，是怎么做的？
浏览 0提问于2017-05-03得票数 0
2回答
我有大约20 in的时间序列数据存储在大查询中。
我目前的管道是：
大查询=>中的原始数据加入大查询以创建更大的查询数据集=>将它们存储在桶中
然后我在桶中下载了一个文件的子集：
使用Python/SFrame对数据进行插值/重采样，因为有些时间序列数据缺少时间，而且采样不均匀。
然而，在本地PC上需要很长时间，我猜需要几天的时间才能通过20 to的数据。
既然数据已经在桶里了，我想知道谷歌最好的插值和重采样工具是什么？
在重新采样和插值之后，我可能会使用Facebook的先知( Prophet )或自动阿里玛( ARIMA )来创建一些预测。但这将是在当地完成的。
谷歌提供的
浏览 3提问于2018-04-13得票数 1
回答已采纳
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11
浏览器信息
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36
浏览 260提问于2017-11-02
在将表导出到云存储时，从2017-07-08获取以下错误。
访问被拒绝: BigQuery BigQuery:在写入数据时拒绝权限
在那个日期之前工作得很好，没有改变项目中的任何东西，大查询或云存储。
alert-basis-89415:bquijob_6adfd86e_15d2de5ce1b :JobId
浏览 8提问于2017-07-10得票数 13
回答已采纳
2回答
服务器操作系统可以换吗？
、、、
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11?utm_source=portal?utm_medium=recommend&utm_campaign=1111&utm_term=1024
浏览器信息
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36
浏览 1223提问于2017-11-14
请描述您的问题
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin?fromSource=gwzcw.634679.634679.634679#cvm_hot
浏览器信息
Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36
浏览 204提问于2017-12-11
目前，我正在为我的数据库使用Firestore，并且我有一个用户集合。每当用户文档被创建或更新到用户集合时，云函数就会接收用户文档，并将其保存在El154搜索中。
我开始关注这个体系结构的可伸缩性。例如，假设数千个云函数开始一次向Elasticsearch写入文档，那么Elasticsearch将处理这个负载。谷歌云有更好的解决方案吗？
例如，这些云函数能否在队列中写入用户文档，并在队列的另一端具有云功能，获取100个文档并将它们大容量写入Elasticsearch。
我是谷歌云的新手，如果你能给我一些想法、视频和阅读的东西，我将不胜感激。
谢谢
浏览 2提问于2021-07-17得票数 1
回答已采纳
请描述您的问题
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin
浏览器信息
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4033.400 QQBrowser/9.6.12624.400
浏览 1056提问于2017-12-21
2回答
我了解到云计算提供计算、软件、数据访问和存储服务，虚拟化对于云计算来说是必需的。我还发现，在一些地方，云计算和虚拟化之间存在一些差异。我的问题是：
虚拟化对于云计算来说是强制性的吗？
基于云的软件服务与传统的软件服务有什么不同？
浏览 0提问于2012-01-10得票数 1
我目前正在使用云函数将数据从云存储中的csv文件加载到BigQuery。
然而，云函数有一个超时限制，我希望这些文件在会引起问题的地方变得足够大。
此外，插入大查询仅限于10mb/insert_rows。
我还能用什么代替云函数来实现这个功能呢？需要在文件放入云存储时触发。
浏览 2提问于2019-04-13得票数 1
回答已采纳
有几个帖子在讨论Optaplanner的可伸缩性，我想知道当涉及到数百万行时，处理非常大的数据集的推荐方法是什么？
正如这篇博客所讨论的，我已经在使用启发式(模拟退火+禁忌搜索)。云平衡问题的搜索空间是c^p，但可行空间是未知/NP完全的。
我正在尝试解决的问题类似于云均衡。但主要的区别在于输入数据，除了计算机列表和进程列表之外，还有一个大的二维“分数列表/表”，其中包含需要加载到内存中的每种可能组合的分数。
换句话说，除了计划需要满足的计算机和流程之间的约束之外，不同的有效组合会产生不同的分数，分数越高越好。
这是一个简单的问题，但是当涉及到成百上千台计算机时，100k+进程和记分表有一个
浏览 3提问于2016-09-25得票数 0
我有关于谷歌大查询表的查询。我们目前正在寻找根据当天上传到云存储中的文件来查询大查询表。 含义： 我必须根据每天的数据将数据加载到大型查询表中，并将其加载到云存储中。 当我查询时： select * from BQT where load_date =<TODAY's DATE> 我们可以在不将日期字段添加到文件中的情况下实现这一点吗？
浏览 17提问于2021-01-12得票数 1
回答已采纳
1回答
我们的应用程序由通过“云运行”部署的spring应用服务器和“云sql postgres”数据库组成。
数据库是私有的，并连接到私有VPC。
应用服务器可以通过网关连接到这个由“云运行”配置提供的私有VPC。
我们希望定期向这个数据库提供“云数据融合”(CDF)。CDF应该从AWS S3中获取数据并将其推入我们的数据库。
为此目的，我们设计并验证了一条管道，但我们面临着一个网络悖论：
要么CDF是公开的，可以通过互联网从S3读取，但不能到达云数据库
或者CDF是私有的，可以访问我们的数据库，但不能访问S3获取.
如何既可以将写入私有数据库，又能从internet读取数据？
我感
浏览 7提问于2020-12-28得票数 0
我正在尝试对一些用户的电子邮件进行分析。为了实现这一点，我尝试将电子邮件存储在云存储上，这样我就可以在它们上运行Hadoop作业。(早些时候我尝试过App Engine DataStore，但它很难扩展这么多用户数据:达到各种资源限制，等等)在云存储中存储一个电子邮件/文件或将用户的所有电子邮件存储在一个大文件中，哪个更好？在许多关于云存储的例子中，我看到人们在操作大文件，但似乎更符合逻辑的是保留一个文件/电子邮件。
浏览 3提问于2015-01-17得票数 0
2回答
我对云的概念有些困惑，尤其是在什么时候使用它来从中受益。
我正在从事一个基于Web的项目，我有以下问题：
仅仅在Internet中设置Systems就可以实现这种结构
云？
让我的web应用程序云化有什么好处？
访问数据库的用户有限(20-30)，每天处理的数据为中等数量(100-200MB)。
浏览 3提问于2014-02-04得票数 0
回答已采纳
我在Google App Engine上部署了一个python FLASK API (flex环境而不是标准环境)。在我的代码中，我需要引用一个下载到机器上的文件。
path_to_file_i_want = '~/home/andrew/saved_model.pkl'
with open(clf_path, 'rb') as f:
model = pickle.load(f)
然而，我得到了“没有这样的文件或目录”。所以我的问题是。
我可以引用代码/项目目录之外的文件吗？如果是这样的话，我做错了什么？
注1:由于文件大(1.5‘s)，文件被复制到机器
浏览 2提问于2018-10-12得票数 0
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11/expand
浏览器信息
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
浏览 264提问于2017-11-02
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
