我将使用PySpark运行一些东西(回归、ML等)。在相当大的结构化数值数据集(>1TB)上。目前，谷歌云存储上的数据是CSV格式的。是否将数据转换为其他格式(Parquet等)？在csv中加速阅读火花，还是阅读速度大致相同？
浏览 2提问于2017-06-27得票数 0
回答已采纳
短版
我正在寻找一个美化的cron管理器与一个网络接口，以管理备份和上传到云存储。(是的，webmin有一个很好的cron调度程序插件)
长版本
在过去，企业备份系统是庞然大物，价格高达6美元或更高的数字，或者是你自己的低级工具，这些工具与它们的磁带存档祖先紧密相连。
前者的例子是HP数据保护器和IBM磁带存储系统，而后者我想到的是Bacula和amanda。
这些都是伟大的系统，为他们的时间，并做了许多繁重的工作为你.
排程
报告
告警
管理媒体
并且提供了一个非常古老的图形用户界面(我记得Hp数据保护器有一个ActiveX组件，谁使用activeX?)
然而，最近的变化远离磁带和本地存储，
浏览 0提问于2012-02-20得票数 0
回答已采纳
我有一些表要从大查询加载到数据库。我需要每天都这样做，并在云sql中创建一些存储过程。每天从大型查询加载表到云sql的最佳方法是什么？传输数据和将云sql保持在24/7上的成本意味着什么？感谢你的帮助。
谢谢你，J。
浏览 4提问于2021-06-09得票数 1
回答已采纳
昨日，英特尔作为战略合作伙伴出席了2018腾讯云+未来峰会。峰会上，Raejeanne Skillern发表了演讲，深入介绍了英特尔与腾讯云在云计算、人工智能等领域的合作，展示了双方在数据时代驱动未来变革领域取得的一系列成果。作为新时代技术下的你，如何看待两者的合作，以AI推动从云到边缘的全面创新？
浏览 740提问于2018-05-24
我在一个s3桶(tar文件)中备份了一个mongodb，并且我希望将它恢复/导入到mongodb云地图实例中，而不让数据通过我的本地机器，因为它是一个非常大的文件，这可能吗？
浏览 6提问于2022-11-12得票数 0
我想在谷歌云bigQuery中加载大容量的数据。
我手头的所有选项(使用UI和API)是什么，最快的方法是什么？
蒂娅！
浏览 0提问于2018-07-13得票数 1
回答已采纳
1回答
最近，我尝试使用Visual Studio2010中的C++将点云数据写入.txt文件。一开始我使用ostream输出数据，但我发现写入数据时速度很慢。
我的代码：
std::ofstream outfile;
outfile.open(filename.c_str());
for(int index = 0;index < pointcloud.size();index++){
outfile<<pointcloud[index].x<<pointcloud[index].y<<pointcloud[index].z
<<poin
浏览 23提问于2017-03-08得票数 0
我切换到大查询，因为高性能。但是不知道如何将数据从上传到大型查询数据库。还有一些问题..。我可以直接访问我的数据库从谷歌云存储，同时使用大查询。我要先把它转换成某种格式吗？如何继续更新大查询数据库到我的谷歌云存储数据库。
提前谢谢。
浏览 9提问于2016-02-25得票数 1
回答已采纳
我使用RAR工具得到了一个大的多部分压缩的CSV文件( 100 so未压缩，20 so压缩)，所以我有100个RAR文件部分，它们被上传到Google Cloud Storage。我需要将其提取到Google云存储中。如果我能在GAE上使用Python，那就更好了。有什么想法吗？我不想下载、解压和上传。我想把这一切都放在云端。
浏览 3提问于2012-10-20得票数 4
回答已采纳
当试图在google云控制台中创建一个新版本时，我会得到一个错误，例如，
字段: version.deployment_uri错误:gs://my/ml/中文件的总大小为2150116163字节，超过了允许的最大1073741824字节。
我的模型是RNN模型。我相信嵌入序列，声音大小，很可能是大模型的原因。
是否有可根据较大型号调整的配额设置？
浏览 1提问于2017-02-21得票数 3
回答已采纳
据我所知，同态加密可以用来保密数据，同时仍然允许对数据进行计算。从另一个问题中，我发现还可以通过重新计算结果来验证计算的完整性(我的意思是可以验证返回值确实是所请求的计算的结果)。
我对一个不可能重新计算的场景感兴趣。例如，原始数据可能不再可用，或者原始数据非常大，重新计算成本太高。是否有其他方法来验证结果是否与所需的计算相对应？
也就是说，假设我想在云中使用同态加密来执行r = a + b + c操作。一旦云返回结果r，如何验证r是a + b + c的结果，而不是a + b或其他计算的结果？
浏览 0提问于2018-08-06得票数 3
回答已采纳
2回答
哪个谷歌云存储最适合我的数据
、、、、
我正计划将我的整个系统迁移到google云平台。目前，我正在运行mysql、apache、nodejs和角js的组合。随着数据呈指数增长，Mysql的速度越来越慢。系统处理大数据分析。我需要具有最短查询时间的IO密集型数据库。目前，我已经构建了mysql数据库，并且根据应用程序的要求，我需要非常频繁地查询数据以获取分析数据和原始数据。Google建议我使用Cloud，但是没有任何服务方面的经验，我对此并不确定。
请为我的应用程序推荐最合适的google，包括云扳手、云sql、云数据存储、大查询和云大表。
如有任何建议，将不胜感激。
PS:我正在考虑使用google计算引擎。
浏览 4提问于2017-08-11得票数 1
回答已采纳
2回答
我的目标是将材料/纹理叠加到一个物理对象上(这将是一个建筑模型)，我将有一个相同的3d模型。模型将是静态的(如果这有帮助的话，在一个表上)，但是我显然想从任何方面查看对象。我的物理模型的足迹面积往往不小于15×15厘米，并且可能高达2-3米^2，但我愿意改变模型的大小，以配合ARCore的能力。
我知道ARCore的设计主要是为了将数字物体锚定在平面上。我的主要问题是，在目前的情况下，它是否能够实现我的最终目标？如果我有这个权利，它会记录物理点云数据，并试图将它与我的数字模型的点云数据相匹配，然后在手机屏幕上将两者重叠？
如果这真的不是ARCore的目的，那么我是否应该关注另一种选择呢？在我的
浏览 1提问于2017-09-19得票数 15
1回答
我试图用Python编写一个Dataflow管道，它需要一个大的numpy矩阵作为侧输入。矩阵保存在云存储中。理想情况下，每个Dataflow工作人员将直接从云存储加载矩阵。
我的理解是如果我说matrix = np.load(LOCAL_PATH_TO_MATRIX)，然后
p | "computation" >> beam.Map(computation, matrix)
矩阵从我的笔记本电脑发送给每个数据流工作者。
我如何才能指示每个工作人员直接从云存储加载矩阵呢？是否有用于“二元水滴”的光束源？
浏览 3提问于2017-05-13得票数 1
回答已采纳
也许这是一个奇怪的问题，但谷歌在云功能上对http的支持能持续多久呢？默认情况下，当然会使用云函数的https版本。
但一些IoT设备无法创建安全连接，只能将(已经加密的)数据直接发送到IP地址或http。
不支持指向云函数的静态IP地址，但我可以向云函数端点的http版本发送GET请求。
唯一重要的是:如果谷歌将http重定向到https，数据就不会再进来了。
打招呼，彼得
浏览 0提问于2019-09-05得票数 0
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：
Oracle数据库到云存储(不必做CSV导出)，然后它将是干净的，并准备在Dataprep中，这将通过数据流进一步处理，最后它将被存储在Big Query下(从大查询数据科学家将使用数据来创建他们的模型)。
在此过程中不能使用第三方工具。任何开源工具都是允许的。
我正在考虑从spark中提取数据(通过将DataProc用于spark作业)，并将其存储在GCP (任何一个云存储或大表或大查询)中。通过云sql -这是不可能的，因
浏览 2提问于2019-11-17得票数 0
有没有可能有一个firebase云函数，可以在一个人读取实时数据库时触发。
根据本文档，我们可以在实时数据库上创建、更新或删除数据时触发云函数。但如果有人正在读取数据，我想做一些外部网络调用。
浏览 1提问于2020-02-20得票数 0
我想知道如何选择您的数据库所处的云位置。它是通过编程还是通过云接口完成的？
另外，如果您在某个区域的其他云服务之间传输数据，您是否收取网络出入口费？示例: AWS中的FaundaDB与该区域中的AWS函数之间。
谢谢!
浏览 0提问于2018-08-10得票数 1
回答已采纳
我想将数据从我们的云环境(pivotal cloud foundry)加载到SQL Server中。数据从API获取并保存在内存中，我们使用tds将数据插入到SQL Server中，但在文档中我看到的使用批量加载的唯一方法是加载文件。我不能使用pyodbc，因为我们在云环境中没有odbc连接。
如何从字典中直接进行大容量插入？
pytds不直接提供大容量加载，仅从文件提供大容量加载
浏览 0提问于2019-12-06得票数 0
我是GCP新手，需要一些帮助来解决我的问题。
我正在创建CSV文件，json文件和java脚本文件，并上传到GCP存储桶中。创建“云存储上的文本文件到大查询”数据流模板以将数据填充到bigquery中。
我需要一些帮助转换的日期格式从DD-MM-YYYY到YYYY-MM-DD在大查询中使用‘文本文件在云存储到大查询’数据流模板在GCP中。
浏览 12提问于2021-06-12得票数 0
我是亚马逊S3相关新闻的热心追随者。它似乎是可靠的，可伸缩的，并且是一种廉价的服务。
然而，网络主机似乎并不过分害怕。自从亚马逊和谷歌发布他们的“云”平台以来，我没有注意到价格有任何大的下降。
这是有原因的吗？或者，web开发人员只是还没有意识到亚马逊提供服务的可能性？
浏览 1提问于2009-04-08得票数 1
回答已采纳
我想编写一个运行生物信息学工具的google云运行函数。该工具将一个大的3Gb参考数据文件作为只读输入() +一个小的第二个文件，根据用户输入的不同而变化。
我应该尝试将引用数据文件构建到我的坞映像中，还是有更好的方法？
浏览 4提问于2020-06-21得票数 0
回答已采纳
1回答
我一直在读这篇关于直接读取实时数据库与调用返回数据库数据的云函数的文章。 如果我返回一个相当大的数据块，例如一个包含来自云函数的代表50个用户评论的数据的json对象，这算不算出站数据(Egress)数据？如果是这样的话，每月每gb的费用是0.12美元吗？ 注释是这样存储的，并带有一个增量键。 comments: [0 -> {text: “Adsadsads”},
1 -> {text: “dadsacxdg”},
etc.] 此外，我已经了解到，您可以使用客户端sdks调用goOffline()和goOnline()来停止并发连接。关闭和打开数据库连接是否有任何成本，或者只是
浏览 9提问于2020-10-04得票数 1
回答已采纳
在腾讯云+未来峰会中，腾讯云运营总经理孙超在开发者专场中上发布了一个关于腾讯云开发者的计划，其中主要内容讲述了腾讯云如何助力在校学生，职场开发者，创业者三者的成长和创业扶持的计划，作为一个开发者，你是如何看待这个计划的？
浏览 917提问于2018-05-24
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11
浏览器信息
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36
浏览 260提问于2017-11-02
3回答
有什么方法可以在云上进行计算机视觉吗？这个想法就像人们登录一个网站，然后摄像头被激活，视频数据通过互联网发送到服务器。服务器对这些数据进行处理，并将处理后的数据实时或至少每秒10帧传回给用户。
这可行吗？在网络方面，我们需要什么样的技能？我知道视频流是其中的一个组成部分。另外，我们如何设置服务器？分布式系统是否可以在有限的时间内考虑非常大的计算？
浏览 0提问于2011-03-04得票数 4
请描述您的问题
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin?fromSource=gwzcw.634679.634679.634679#cvm_hot
浏览器信息
Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36
浏览 204提问于2017-12-11
我看到在谷歌云平台的PostgreSQL上只能安装允许的扩展的。是否有可能添加未在支持的扩展中列出的扩展？我需要的扩展名是pg_semver。
浏览 4提问于2020-08-07得票数 0
我是Informatica云数据集成的新手。目前，我正在尝试将SSIS ETL转换为Informatica。 在转换时，我需要在Informatica数据集成中调用SQL Server存储过程，这主要是更新表中的一些数据。我尝试了很多方法，但都没有成功。 有人知道如何使用informatica云数据集成调用SQL Server存储过程吗？
浏览 21提问于2019-06-25得票数 0
回答已采纳
我有关于谷歌大查询表的查询。我们目前正在寻找根据当天上传到云存储中的文件来查询大查询表。 含义： 我必须根据每天的数据将数据加载到大型查询表中，并将其加载到云存储中。 当我查询时： select * from BQT where load_date =<TODAY's DATE> 我们可以在不将日期字段添加到文件中的情况下实现这一点吗？
浏览 17提问于2021-01-12得票数 1
回答已采纳
我目前正在使用云函数将数据从云存储中的csv文件加载到BigQuery。
然而，云函数有一个超时限制，我希望这些文件在会引起问题的地方变得足够大。
此外，插入大查询仅限于10mb/insert_rows。
我还能用什么代替云函数来实现这个功能呢？需要在文件放入云存储时触发。
浏览 2提问于2019-04-13得票数 1
回答已采纳
1回答
我有一个3年的日级数据集，我在R中运行auto.arima()进行简单的时间序列预测，它给了我一个(2,1,2)模型。当我使用这个模型预测未来一年的变量时，几天后曲线图变得恒定，这不可能是正确的
由于我有3年的每日数据，频率为364天，ARIMA不能处理大频率的每日数据吗？
任何帮助我们都将不胜感激。
浏览 3提问于2016-05-18得票数 1
1回答
我正试图用facet_wrap制作一个ggplot，由于某些原因，有些子图在某些时候不显示并显示为空白。
library(plotly)
peak_season <- drop_na(read_csv(url("https://www.dropbox.com/s/wb8qmrcul197ypp/peak_season.csv?raw=1")))
ggplotly(
ggplot(data = peak_season, aes(x = overall, frame = age)) +
geom_bar(position = "identity&
浏览 0提问于2021-12-29得票数 1
回答已采纳
4回答
我有一个大学项目，在这个项目中，我应该为Azure找到并实现一个合适的开发主题。在Azure中，有Web角色和工作角色，我想找到一些东西，这对和这两个角色都带来了相当大的负担。
(web角色用于通过网页为用户服务，工作人员角色用于后台处理数据，这些数据将通过web角色显示)
其中一个目标是通过测量来显示云的巨大计算能力。我的问题是，我不知道任何复杂的算法会使CPU出汗。那么，对于实现来说不是太复杂，但足够复杂到可以计算的东西是什么呢？
任何想法都值得赞赏！
浏览 1提问于2010-02-13得票数 1
产品:WebApp.
技术: Firebase，JavaScript，Cloud .
你好，我正在处理为新用户创建一个试用帐户的任务，为了测试一个应用程序是否适合他们的，在试用期间，用户可以决定他们是否想要申请。
这是我最初的想法：
一个潜在的新用户发现了应用程序的登陆页面，用户对该应用程序感兴趣，并创建了一个新的帐户free)Whithin ，新帐户有一个试用期(15天)，这个试用期是用户必须订阅的(Stripe)或帐户是disabled/removed。
我知道Stripe可以处理试用期，但你必须首先填写付款数据(信用卡等)。我想避免这种情况，所以我想控制试用时间，让用户尝试应用程序，而不
浏览 1提问于2021-04-30得票数 1
回答已采纳
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11/expand
浏览器信息
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
浏览 264提问于2017-11-02
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11?fromSource=gwzcw.577304.577304.577304
浏览器信息
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3637.802 Safari/537.36
浏览 413提问于2017-11-03
1回答
我的一个客户在私有数据中心托管了1000+网站。现在他们想把它迁移到AWS云上。在物理服务器中，他们将物理google-box设备托管在数据中心的机架中。如何将其迁移到AWS云上？有没有可能出现软件替代方案？
浏览 15提问于2016-08-10得票数 0
请描述您的问题
标题：年底大酬宾-腾讯云
地址：https://cloud.tencent.com/act/bargin?fromSource=gwzcw.634704.634704.634704#cvm_hot
浏览器信息
Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0
浏览 542提问于2017-12-11
我在评估一项家庭作业。我需要做一个最终需要将数据推送到云中的应用程序。实际上，数据可能相当大。我查看了Google Android C2DM 。
但我意识到它是用来将小通知从云推送到应用程序的。它可以用来将相当大的数据从应用程序发送到云端吗？或者，是否有合适的替代方案可以使用？
因此，我的问题是，如何实现一种将大量数据从android应用程序发送到云的方法。
浏览 8提问于2013-03-13得票数 0
2回答
我正在为云(实际的云)做一个模拟，其中的云被三维点模拟，然后投射到一个2D热图中，大约640x480个单位大。点数约为50k，这是我在没有模拟中断的情况下所能做的最小的，但我似乎找不到任何方法以任何速度(通常需要3-5秒的运行时间)来执行此操作。
我想我的问题是，一台普通电脑能做到这一点是否可行？我通常低估了现在计算机的速度，但在这种情况下，我可能高估了它们。我还没有优化仿真，但如果它是不可能的，这将是最好的了解和节省麻烦现在。
如果有可能的话，是否有任何技术可以证明对使从点数据到热图的转换足够快到每秒更新60次？它实际上只是查看点数据并在转换后写入2D数组的结果，所以我认为它主要是绑定到内存
浏览 4提问于2015-06-16得票数 9
回答已采纳
2回答
当我们使用GCP云存储实现数据湖，并使用Dataproc、Dataflow等云服务进行数据处理时，我们如何在GCP中生成数据沿袭报告？
浏览 41提问于2019-03-05得票数 5
在阅读了Jeff的文章"和混沌猴一起工作“并考虑了"分布式计算的谬误”的含义后，我怀疑开发人员创建基于云的应用程序的首要任务是否应该是创建一个混沌猴子。实际上，考虑到即使整个数据中心都可能在云中丢失，混沌大猩猩也可能是模拟大停电的必要工具。
Netflix显然是这么认为的，但我想知道他们的结论是否被其他人分享了。
因此，正如标题所说，当开始云计算项目时，混沌猴子应该是第一个应用程序吗？
浏览 0提问于2011-05-20得票数 1
回答已采纳
2回答
我想使用Apache来操纵Google中的大量数据。
我按照文档划分了一个包含5个节点的cluster集群。一切都完美无缺。
但是我的数据是在上，我了解到我可以使用Spark直接查询它，这是Google推荐的。
在这种情况下，是否有必要拆分整个集群？星火在谷歌云存储上的效率和HDFS一样高吗？
如果不是，那就更容易用木星和星火旋转一个大VM，并使用它来运行存储在GCS上的数据上的作业。
浏览 2提问于2018-08-13得票数 0
回答已采纳
我使用云函数为Firebase编写了一个云函数，它向Firebase消息传递的某些主题发送通知。函数的最后部分定义要发送的有效负载，然后发送：
// javascript code in cloud functions
const payload = {
'notification': {
'title': `${toTitleCase(name)} just logged an event`,
'body': `${events[eventType]} for ${toTitleCase(petNam
浏览 5提问于2017-03-29得票数 11
我正在寻找一种简单的方法(当然，具有良好的性能)来向web应用程序公开我的BigQuery表中的数据。
当前正在运行的解决方案是使用一个云函数和Firestore (在本机模式下)在BigQuery中公开数据。该实现类似于-，一旦数据被写入最终的大查询表，我们就触发云函数(每次提交500条记录)来更新最后一个消防站表中的数据。-
而且，为了避免与云函数相关的超时问题，我们将整个数据集分成几个批次，每个云函数实例只处理一批记录。
但是在运行后不久，我们就遇到了写入方面的可伸缩性问题，因为我们是按顺序触发云函数实例的。
提高性能的一个简单方法可能是从云函数内部进行并行写入，但同样地，根据消防局文档
浏览 2提问于2021-03-30得票数 0
我想看看是否可以使用Firebase函数执行以下操作。
使用运行云函数的HTTP触发器将静态模板文件从宿主(而不是存储)加载到云函数中。云函数还将从数据库加载数据。两个请求完成后，我将使用像Nunjucks这样的模板引擎将数据和模板文件组合成一个HTML文件。最后，静态HTMl文件将保存到宿主公共目录中。
基本上，我期待的是构建和简单的静态文件生成器与所有的Firebase提供的东西。
浏览 6提问于2017-04-08得票数 2
回答已采纳
我有一个云存储，通过从我的应用程序上传数据来存储数据。我也有一个云防火墙数据库，在那里我存储这些上传文件的文件名和urls。我面临的问题是我的代码试图在上传数据/文件之前收集url，因此它崩溃了。因此，我希望我的代码停止在那里，完成任务，然后转到下一行。我甚至在代码中使用了异步/等待，但仍然没有帮助。
这是我的密码：-
Future savingfile(List<int> asset, String name) async {
StorageReference reference = FirebaseStorage.instance.ref().child(name);
浏览 2提问于2020-09-30得票数 0
回答已采纳
1回答
我正在收取服务云存储/BandwidthDownloadAmerica的费用，如下所述：
不过，我的google云存储桶位置、大查询数据集位置和我正在下载的机器都是“EU”。按照我的观点，从存储到机器的下载应该被认为是侵入。
我的过程包括: 1.从大查询数据集导出到云存储桶.2.将文件片段组合成单个文件。3.下载合成文件。
我相信在收费中所提及的收费如下：
com.google.cloud/services/cloud-storage/BandwidthDownloadAmerica下载美国EMEA
是第三步
有没有什么可能错过的环境。
我的项目配置设置为默认。
欢迎任何指导。因为我们
浏览 2提问于2016-10-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
