我正在阅读云供应商针对分布式存储系统的解决方案，如Amazon和Google。
在两个方面都很困惑：
什么是不信任的文件系统，云供应商使用不同类型的DFS？
什么是分布式存储系统？
这些术语和功能有什么不同？
如果我理解这些术语，我将创建云供应商的一般架构，任何好的教程或网页都将不胜感激。
谢谢
浏览 0提问于2010-04-17得票数 4
回答已采纳
1回答
我脑海中有一个应用程序，它将作为在云VM上运行的大量计算密集型进程来实现。基本模型是，所有进程都看到一个共享数据存储，其中包含许多大小从几个字节到to大小的对象。每个进程从某种类型的共享队列中运行作业(通常一个作业至少运行几秒钟，它可能运行数周)，并且每个作业读取一些对象并创建一些(它读取的对象的名称以及它创建的对象的名称是预先知道的)。在作业读取的所有对象都可用之前，无法启动作业。由于NFS的一致性较差，一些早期在NFS本地集群上执行此操作的实验失败。作业A将写入对象O，然后退出。调度程序将看到A已退出，O已创建，并且在某个空闲计算机上启动B，而B将无法看到对象O，因为NFS不一致。
因此，
浏览 1提问于2018-03-15得票数 1
谷歌云平台的BigTable是否只用于存储非结构化数据，还是我们同时将其用于结构化和非结构化数据？
浏览 0提问于2018-01-24得票数 0
我正在研究Hadoop和云存储。所以很奇怪，Hadoop能像Dropbox或者Google一样使用吗？
浏览 2提问于2017-05-02得票数 1
回答已采纳
据我所知，大多数数据库都允许使用副本，在没有领导者的情况下，这些副本可以取代领导者。
当使用StatefulSet时，我想知道在Kubernetes环境中拥有这些副本的必要性。一旦吊舱失去反应，库伯内特斯就会重新启动它，对吗？PVC会确保数据不会丢失。
难道领导选举比提出新的申请要快吗？
还是副本的唯一优势是为读取查询提供负载平衡？
浏览 5提问于2021-10-16得票数 0
回答已采纳
1回答
我在我的一个应用程序上使用ClamAV实现了一个防病毒系统，它使用谷歌云存储来上传文件。目前我正在做的是，听桶上传，在我的服务器上下载它，使用ClamAV扫描它，如果它被感染了，就删除它。
我是这方面的新手，是否有可能整个云桶只在上传时被病毒感染。也就是说，病毒可以在存储桶(任何云桶)上执行自己吗？
如果是，那么请提出一些其他解决方案来解决这个问题，因为我目前的解决方案在这种情况下是无效的。
浏览 1提问于2020-11-26得票数 0
几乎在每一个OpenStack Swift文档中都提到是一个仅用于测试非生产环境的解决方案(然而它是全功能的)。
不使用这种方法的关键原因是，用户凭证存储在纯配置文件中，这会降低对象存储的整体安全性。
另一方面，如果App在内部使用对象存储(因此它只在内部基础设施中存储文件)，而身份验证和授权是由App本身提供的，那么这种方法似乎更适合于生产使用。
考虑到对象存储是内部的，您能分享一下在prod环境中使用TempAuth的任何其他缺点吗(或者添加其他参数，说明它是ok的: )？
浏览 4提问于2017-12-06得票数 5
我知道对象是不可变的，它的内容不能编辑，但我很好奇为什么。
是因为S3使用RESTful API和PUT不支持部分写入吗？但是，为什么不直接通过S3后端服务器传输更新的块的数据并更新文件呢？还是实现HTTP修补程序方法？
顺便说一句，当播放存储在S3上的视频( S3 )时，似乎可以支持随机读取，因为我可以在不等待的情况下立即跳入进度栏，我不确定我使用的S3客户端(RaiDrive)是否有本地缓存，或者S3本身是否支持随机播放视频。
浏览 8提问于2021-04-27得票数 1
腾讯云客服
您好，
初次申请腾讯云，为了文件储存使用而注册。
免费文件存储的地方是在哪里？请告诉具体操作步骤。
谢谢！
浏览 207提问于2020-06-28
如何在GCP虚拟机中添加一千兆字节的存储
视频存储
似乎做企业视频存储的最佳解决方案是在谷歌云桶中。我想从我的GCP中访问这个信息。我该怎么把这两者连接起来？看起来应该很容易。我检查的箱子在哪里？
浏览 0提问于2022-10-15得票数 -1
我希望将相同的数据存储在两个不同的云存储中，以确保额外的安全性。两个账号随机修改同步时有没有问题？云存储有: Dropbox和MS One drive。
浏览 0提问于2015-09-27得票数 1
1回答
问题是我的数据库遇到了很多'log file sync‘会话等待的问题。进程LGWR一次可以容纳大约400-450个会话，这会导致很多性能问题。
系统还显示我们达到了磁盘使用的限制。
ASH分析器显示以下评测会话结果：
如果您需要一些其他信息来帮助您(例如日志缓冲区大小、sga大小或一些系统配置)，请让我知道。
浏览 1提问于2013-10-27得票数 0
我将非常感谢您的建议：
说："...a大型服务器场可以使用MapReduce在几个小时内对of级的数据进行排序……“和"...The主节点接受输入，将其划分为更小的子问题，并将这些问题分发到工作节点...“
我完全不明白这在实践中是如何工作的。假设我有一个包含1PB数据的SAN(存储)。我如何通过“主机”有效地将大量数据分发给从机？这是我不能理解的事情。假设我有一个从SAN到Master的10Gibt连接，以及从Master到slave的1Gbit连接，我一次最多只能“扩展”10Gbit。我如何在几个小时内处理to，因为我首先必须将数据传输到"reducer/worke
浏览 3提问于2011-04-12得票数 2
回答已采纳
我是云计算世界的新手。所以我还没有学到太多关于云计算的东西。昨天，我观看了一个关于基于空间的编程的视频播客，在整个会议中，我感觉整个空间的概念听起来类似于云计算。会议结束后，我在网上搜索，以了解基于空间的计算和云计算之间的区别。不幸的是，我找不到更好的答案。因此，我想到了这个问题。
有人能帮我理解一下基于空间的计算和云计算之间的区别吗？或者基于空间的计算与云计算有何关系？
浏览 2提问于2010-06-23得票数 2
回答已采纳
我希望使用PHP的Rackspace file将包含不同类型文件的文件夹从我的服务器传输到Rackspace File。
我可以将文件夹传输到Rackspace文件云吗？对应的php代码是什么？
浏览 0提问于2010-11-12得票数 0
回答已采纳
1回答
我在自学并行编程。我想知道是不是分布式内存总是多进程，而多线程总是共享内存？如果多进程既可以用于分布式内存，也可以用于共享内存？感谢和问候！
浏览 2提问于2009-10-25得票数 4
回答已采纳
1回答
在Facebook和Google Plus上，你可以看到最初的帖子，是谁发布的，什么时候，以及接下来的所有评论。他们如何保存帖子，然后用php加载数据？XML文件？
浏览 0提问于2012-08-01得票数 0
回答已采纳
3回答
我正在构建一个私有云，我们一直在考虑Eucalyptus和OpenNebula。有没有其他好的开源平台可以用来构建私有云/混合云？在Eucalyptus和OpenNebula之间，你推荐哪一个？
浏览 3提问于2010-09-16得票数 2
1回答
是否有云服务允许通过PHP使用FTP自动上传？如果可能的话，我想使用。
我想要实现的是运行一个cron mysql-dump，它完成后将自动将结果文件移动到云存储中，在单独的服务器上备份数据库。
浏览 5提问于2014-03-21得票数 1
回答已采纳
我在一个项目中工作，我需要存储许多用户上传的文件，并提供冗余。对于文件上传，我首先考虑将用户上传的文件放在一个NFS的“上传”目录中，使用Gearman抓取文件，将其移动到它的永久存储位置，然后使用文件信息(文件大小，date...etc)更新MySQL。
现在我已经了解了MongoDB的GridFS，我想这可能是一种比NFS & Gearman更好的方法。有了GridFS，我就不需要NFS了，而且冗余也是内置的--但我会对MongoDB寄予厚望。
说到这里，我想知道有没有人有什么想法？有人知道GridFS的大规模部署吗？我知道很多人都在为NoSQL使用MongoDB，但是我没有找到很
浏览 1提问于2010-10-02得票数 0
有没有人能推荐一些关于数据库高可用性技术的好资源/书？此外，系统软件的高可用性，如入侵防御系统或Web服务器。我认为高可用性是一个全局的术语，它涵盖了clustring，云计算，复制，副本管理，集群的分布式同步。
提前感谢！
浏览 3提问于2010-04-05得票数 1
回答已采纳
5回答
P2P java文件传输
、、、
首先，我对Java非常陌生，但我想知道这是否可能。我在网上找不到任何教程或解释：
是否可以不通过服务器而是通过P2P发送/接收文件。我希望文件在被选中时被发送到另一台运行客户端的PC。做这件事的最好方法是什么？我是不是漏掉了什么？
(附注：我的第一个堆栈溢出问题，请注意:D)
浏览 4提问于2011-09-09得票数 4
回答已采纳
1回答
我读到Redis是单线程的，所有的命令都是原子的。但是在Redis中也有关于锁的参考文献，例如
我不清楚为什么Redis仍然需要锁，如果它是单线程的。谁能解释一下吗？
浏览 3提问于2019-12-20得票数 4
回答已采纳
我的Kubernetes部署连接了一个PVC，它有3个副本。我在试着理解它的实际含义。3个副本都在不同的节点上，在不同的区域，但pods可以同时访问相同的存储。
所以我的问题是，物理磁盘位于何处？如果它与节点1在区域1中，那么区域2中的节点如何在没有网络的情况下访问它？如果它需要网络，那么有可能数据不会被同步？如果我在达拉斯有一个工作节点，而在伦敦又有一个工作节点，该怎么办？他们是否仍然能够访问相同的PV并同时进行更新？
我试图用它来存储一些缓存数据，因为看起来它对所有的pod都是可访问的，但在我的脑海中有太多我无法克服的问题。感谢您提前给出了富有洞察力的答案。
浏览 0提问于2020-09-02得票数 1
1回答
Message Oriented Middleware (比如JEE中的JMS )是Space Base Architecture吗？如果答案为假，那么MOM系统和Space基本系统之间有什么不同呢？
浏览 4提问于2016-01-12得票数 0
我想利用Hyperledger对等方(特别是身份)来传递不需要记录为世界状态的数据。
私有数据收集似乎朝着这个方向迈出了一步，但一切都是有序的和记录下来的。
是否有一种方法可以在参与者之间发送一个没有持久保存的有效载荷()？
浏览 5提问于2019-10-29得票数 0
如何在云环境中使用分布式文件系统？
更确切地说：
动态VM映像(或它们的文件系统)通常位于DFS中吗？
VM通常用于运行DFS结构的主干(实际代码)吗？
引用DFS (ceph，Gluster，GFS，GPFS，Lustre)或云环境(Openstack，CloudStack，.)的精确例子将不胜感激，即使我更感兴趣的卡夫在OpenStack目前。
我找不到现实生活中的例子，这一切对我来说都是新的，也是非常令人困惑的。我非常了解LXC和linux管理(除了云解决方案)。我阅读了ceph快速入门指南和要求。阅读关于Openstack的论文并观看演示视频。
juju有设置Ceph的魅力，但是juj
浏览 0提问于2012-11-17得票数 -2
5回答
我想知道云计算和分布式计算的区别。我读了一篇关于云计算的文章，感觉云计算和分布式计算之间存在某种联系，所以我想问一下技术之间的区别。
另外，如果有人能为我指出云计算的有用资源，我将不胜感激。
谢谢
浏览 2提问于2009-08-28得票数 60
回答已采纳
1回答
Flink文档表明Ceph可以用作状态的持久存储。
考虑到Ceph是一个事务性数据库，它不会对Flink的性能产生不利影响吗？
浏览 6提问于2017-12-05得票数 3
回答已采纳
根据Wiki页面的定义，分布式云计算是“云计算也可以由运行在不同位置的一组分布式机器提供，同时仍然连接到单个网络或集线器服务。”
这与雾计算有什么不同？
根据wiki的定义，雾计算或雾网络是一种使用一个或多个协作的最终用户客户端或近用户边缘设备来执行大量存储(而不是主要存储在云数据中心中)、通信(而不是在互联网骨干网上路由)以及控制、配置、测量和管理(而不是主要由诸如LTE (电信)核心中的那些网络网关来控制)的体系结构。
浏览 0提问于2015-02-03得票数 2
一个问题:我有一个现有的git库，其中有一个工作目录。我想开始与一个团队共享这个存储库。我做了以下工作：git clone --bare repo_dir repo_dir.git，并让团队克隆repo_dir.git。现在，我希望repo_dir能够及时更新推送到原始存储库的任何更改。方法是只从repo_dir.git中删除远程源，然后向指向repo_dir.git的repo_dir添加一个远程源。这就是：
cd repo_dir.git
git remote rm origin
cd ../repo_dir
git remote add origin ../repo_dir.git
我试着
浏览 3提问于2013-08-23得票数 1
我们正在考虑利用Autodesk Forge开发应用程序。我们的客户可能想知道Autodesk Forge云和底层AWS云服务器(即数据中心)的物理位置。是不是因为服务器目前只在美国？开发人员是否可以选择数据中心的位置，例如在欧盟？那世界上其他地方呢？
浏览 26提问于2017-08-29得票数 0
1回答
缩放基于Java的树
、、、、
我用Java编写了一个树，它支持多个子节点和边。到目前为止，我还不需要担心如何扩展这个应用程序。现在的用例需要搜索和维护100个或更多的树实例。
我在这个领域只做了很少的研究。首先想到的是Spark。我对它的理解是，Spark对事件窗口进行批量处理--几乎去掉了“流中”的部分。时间在这里是非常关键的。
所以我在考虑利用Hadoop的文件系统。跨集群对树进行索引，并使用MapReduce进行维护。
我不介意读一本好书。如果有任何文章、教程和/或建议，我们将非常感谢。
干杯
浏览 0提问于2017-06-07得票数 0
1回答
我有一个简单的(目前)全堆栈web应用程序与DRF在后端和反应作为前端。
我有不同的网页，其中之一是用户的个人资料。任何用户都可以更改他们的化身，这也是在后端处理。为此，我使用文件路径调用后端API，将其上传到media目录并从后端提供服务，这样前端就可以访问它(应用程序分别在两个不同的端口上工作)。互联网上的大多数教程/文章都是这样的。
实际上，我刚刚做了这个功能，虽然我很高兴，并想提交我的改变，我注意到，我有一个额外的变化，即上传的化身。现在的问题是，我该怎么处理呢？很明显，我不能把它加到我的回购中，那就太蠢了，对吧？如果我gitignore它，那么像avatars/foo.jpg这样的路
浏览 2提问于2021-05-22得票数 1
回答已采纳
我有一些过程需要很长的处理时间，客户端不需要立即响应。我在下面的代码中尝试过，但没有成功。
[HttpPost, Route("run")]
public async Task Run()
{
_ = this.LongProcess().ConfigureAwait(false);
return await Task.CompletedTask;
}
在返回到客户端之前，该服务仍然需要时间，直到我的LongProces完成。如何使Run方法迅速返回到客户端？
浏览 8提问于2022-01-27得票数 3
回答已采纳
腾讯云服务器的系统盘和数据盘在选购的时候有普通云盘和ssd云盘，如果盘出问题的话，数据的安全性怎么保证？是需要自己定期手动备份数据吗？
浏览 700提问于2018-03-04
我想为我的团队部署尖兵。但我遇到了一个问题。斯皮纳克的文件说：
在部署Spinnaker之前，必须将其配置为使用支持的存储类型之一。
天青储存
谷歌云存储
Redis
S3
spinnaker可以使用本地存储，如mysql数据库吗？
浏览 7提问于2017-09-28得票数 0
1回答
混合云的安全性
、、
如何在建立混合云的同时确保安全性？
例如，如果我想使用EC2或Rackspace，如何确保私有云和公共云之间的连接是安全的？
VPN有必要吗？如果是这样的话，我们需要手动设置吗？
浏览 0提问于2011-02-21得票数 4
1回答
我们正在尝试使用Solr版本4.3的Solr Cloud，但pivoting在这种情况下似乎不起作用。
http://localhost:8995/solr/cmn/select?q=*%3A*&facet=true&facet.mincount=1&facet.pivot=source_domain,author&rows=1&wt=json&facet.limit=5
我是不是遗漏了什么，或者这个功能在云上不可用。
浏览 0提问于2013-06-11得票数 0
回答已采纳
1回答
隔壁云的hbase支持solr服务，看了一下腾讯云的TBase并没有提供相关搜索服务？有考虑支持solr吗？或者其他搜索服务支持。
浏览 244提问于2020-04-26
我有三个不同的云函数项目，每个项目都包含与之相关的唯一函数和环境变量。在执行项目'B‘中的函数时，有没有办法访问在项目'A’中设置的环境变量？
假设functions.config().user.name="mike“是在项目'A‘中设置的，我希望在调用项目'B’中的函数时能够访问该用户变量。
所有项目都在相同的firebase帐户下，但在不同的项目中。
浏览 10提问于2020-02-27得票数 0
回答已采纳
1回答
Hello :)我在这里是因为我想使用Java Spring创建自己的云服务器。在这个云中，我想保存像.docx，.mp4，.exe这样的文件，将它们保存在硬盘上。(稍后我想在Raspberry上运行此服务器)。我希望能够在任何类型的设备上从任何位置打开和下载此文件 为此，我将使用Java 1.8和Spring作为后端。 所以我的回答是:我可以使用哪个框架来做到这一点，将我的文件保存在硬盘上，并将这些文件从相同的硬盘下载到我的设备上？例如，我知道NodeJs有express-fileupload。java中也有类似的东西吗？ 谢谢！:)
浏览 16提问于2020-12-08得票数 0
回答已采纳
我有一个适当的格式我的数据，没有任何一个支持的Apache演练。有关于如何编写自己的存储插件来处理这些数据的教程吗？
浏览 3提问于2016-05-31得票数 4
回答已采纳
1回答
我在pyspark中使用以下代码执行聚合数组集合： df1=df.groupBy('key').agg(collect_list('value')) 我知道像collect这样的函数会将数据强制放到单个节点中。是否有可能在利用分布式云计算的能力的同时实现相同的结果？
浏览 30提问于2020-10-01得票数 1
回答已采纳
1回答
我正在尝试用Python语言中的RabbitMQ创建一个简单的文件下载和上传服务。我编写了服务器和客户机脚本，并定义了一些对象，用于序列化和反序列化请求的json，这样我就可以将文件uid或其他参数与二进制数据(用base64编码)一起发送。发送小文件时一切正常，但当我开始发送较大的文件(用1.4mb的文本文件测试)时，我开始收到JSONDecode错误。我将发送和接收的消息转储到文件，看起来发送的消息是一个格式正确的json。然而，收到的消息似乎很混乱，例如： 发送：{“uid”：“测试”，Rhc2Rhc2Rhc2Rhc2Rhc2Rhc2=="} 接收时间: Rhc2Rhc2{&#
浏览 14提问于2019-02-01得票数 0
回答已采纳
1回答
背景
我有两个独立的进程，WriteIt()和ReadIt()。一个创建记录，另一个在DB集群中处理记录。
一旦WriteIt()创建了一个记录，它就会排队一个ReadIt()任务来处理相同的记录。
为了说明：
📷
不幸的是，数据库的写入和复制花费了不可靠的时间，因此ReadIt()必须不断检查是否存在更新的记录，这似乎非常低效。
问题
这必须是分布式系统的通用模式。所以我的问题是：
这种模式是否有一个通用的术语(或多个术语)，这样我就可以了解如何解决它了？不幸的是，我甚至不知道正确的术语是什么，所以我花了很长时间在Google/ so /Programmers.SE上做研究。
(额外的信用)
浏览 0提问于2015-03-31得票数 2
回答已采纳
2回答
我试着理解基于属性的加密方案。几乎所有的文章都描述它们是为云存储而设计的，但据我所知，几乎所有的计算(加解密)都是在客户端执行的，而不是在云中执行的。
在这方面，我有一个问题:这些方案与云存储有什么关系？
浏览 0提问于2015-04-19得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
