在列表中存储文件使用10倍的内存作为文件大小
在列表中存储文件时，使用10倍的内存作为文件大小是一种低效且浪费资源的做法。通常情况下，文件的大小应该是实际文件大小，而不是内存大小的倍数。
存储文件时，可以考虑以下几种方式：
- 本地存储：将文件保存在本地服务器或计算机上的硬盘中。这种方式适用于小型应用或个人使用，但不适合大规模的云计算环境。
- 分布式文件系统：使用分布式文件系统，如Hadoop的HDFS或Ceph等，将文件分散存储在多个节点上。这种方式可以提供高可用性和可扩展性，并且可以处理大规模的数据。
- 对象存储：使用对象存储服务，如腾讯云的对象存储（COS）或亚马逊S3等，将文件以对象的形式存储。对象存储适用于大规模的数据存储和访问，并提供了高可用性、耐久性和灵活的访问控制。
- 数据库存储：将文件的元数据存储在数据库中，而将文件本身存储在文件系统或对象存储中。这种方式适用于需要对文件进行搜索、索引和查询的场景。
无论选择哪种存储方式，都应该根据实际需求和预算来进行选择。腾讯云提供了多种存储产品，如对象存储（COS）、文件存储（CFS）、云硬盘（CBS）等，可以根据具体需求选择适合的产品。
参考链接：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云文件存储（CFS）：https://cloud.tencent.com/product/cfs
- 腾讯云云硬盘（CBS）：https://cloud.tencent.com/product/cbs
相关·内容
我有一个ASCII文件，它本质上是一个16位有符号整数的网格；磁盘上的文件大小大约是300MB。我不需要将文件读入内存，但需要将其内容存储为单个容器(容器)，因此为了对内存使用进行初始测试，我尝试将list和tuples作为内部容器，而通过列表理解将外部容器始终作为list： grid = [tuple(line.stri
浏览 13提问于2018-01-10得票数 4
回答已采纳
我目前在一个HashSet中存储了一个单词列表(大约120,000个)，目的是作为一个列表来检查所生成的单词，看看它们是否拼写正确，然后返回yes或no。有什么建议吗？
提前感谢
浏览 0提问于2010-07-12得票数 15
回答已采纳
在我们的应用程序中，我们从服务器获取pdf文件。我们将文件的内容、文件大小、no.of页面等存储到数组列表中。现在我们将这个数组列表存储到DB中，有时会出现内存不足错误。为了安全起见，我们如何将数组列表存储到内部存储中。
浏览 0提问于2013-11-27得票数 0
我有一个奇怪的问题，把数据写到机场集群Error: (1) AEROSPIKE_ERR_SERVER很可能集群不健康-服务器日志中出现了一些奇怪的
浏览 2提问于2015-05-06得票数 2
1回答
我想要一个Spring控制器，它返回一个包含文件的对象数组，基本上是一张图片。我能做的是：
从客户端获取文件并在画布中绘制图像。或者在代码中，类似这样的</
浏览 3提问于2017-02-21得票数 0
3回答
有人能帮我吗，1)如果我使用db (比如SQL)或其他db结构，文件将存储在其中。2)如果它们只存储在隔离存储中，那么与该db一起使用的内存限制(文件大小)是多少。
3)如果它们没有存储在隔离存储中，那么它们存
浏览 1提问于2013-10-08得票数 0
回答已采纳
我正在尝试在一个json文件中存储一个很大的列表。这些列表是从一个长时间运行的进程中生成的，因此我希望在新生成的信息可用时将其添加到我的json文件中。目前，为了扩展数据结构，我将json作为Python列表读取到内存中，将新数据附加到该列表中</e
浏览 0提问于2013-10-05得票数 1
我使用sqlite作为临时存储来计算中等大的数据集的统计数据。我想知道如果我的数据库在32位系统上超过2 2GB会发生什么。(我目前不能将系统更改为64位)
它是否使用内存映射文件，如果文件大小超过可寻址内存，则中断？(像mongodb)
浏览 5提问于2010-11-30得票数 9
回答已采纳
1回答
c#中的缓存流
、、
我有一堆文件正在被另一堆线程读取。使用多个文件打开文件的某些部分被多次读取。我想要一种缓存文件流。如果之前读取了文件的一部分，那么所有后续的读取都将来自缓存，否则文件部分将被读取并将内容添加到缓存中。
文件不会更改，因此没有必要使缓存失效。是否有人知道有这样的类在某个地方或类似的机制可以帮助解决这类问题？
浏览 4提问于2009-10-09得票数 1
将off_t的值传递给malloc() (在哪里需要size_t)会出现问题吗？
我正在读取一个文件并将其内容存储到内存中。文件大小由st_size成员在传递给stat()函数后从struct stat获得，然后传递给malloc()，在那里我将调用fread()，并将返回的内存malloc()作为buf，文件大小作为nmemb但问题是:如果文件大小确实是一个si
浏览 0提问于2012-11-19得票数 2
2回答
我有8000个二维点数组，作为numpy数组的Python列表存储在内存中。每个数组都具有形状(x,2)，其中x是一个介于~600 ~4000之间的数字。基本上，我有一个锯齿状的三维数组。我想以方便/快速的格式存储这些数据，以便从磁盘读取/写入数据。我不想创建8000个单独的文件，但是如果我能避免的话，我也不愿意用零填充一个完整的(8000,4
浏览 3提问于2014-03-25得票数 6
回答已采纳
1回答
请确认，我正确地理解了这一点：
->所有数据只在磁盘上，“内存大小”仅用于索引(小使用量)，所有数据将存储在多个16 be文件中
浏览 2提问于2017-09-27得票数 3
回答已采纳
我们使用ApacheJack兔子存储内容(html、image、pdfs)，如下所示： /content1(nt:unstructured中，我们希望显示所有可以按名称、文件大小、文件类型等排序的内容。为此，我尝试使用XPath检索内容节点。"/element(*，nt:base)按@name
浏览 2提问于2012-04-14得票数 0
2回答
MySql未保存到磁盘
、、、
我通过PHP脚本将数据存储到MySql数据库中。数据库没有存储到磁盘，但查询存储在内存中的数据库中。当我运行mysqldump时，文件大小大约是130M，但是当我检查位于"/var/lib/mysql/db_name“中的文件大小时，它大约是80K。我使用的引擎是InnoDB。
浏览 0提问于2012-10-11得票数 0
发行:另一个观察是，当从cudf创建blazingSQL表时，表会被创建，但是没有记录。行
浏览 4提问于2021-04-29得票数 0
如果我使用HTTP多部分内容类型在一个客户端的表单中上传文件列表，我想知道大小限制是什么。在服务器端，我使用Spring的MultipartHttpServletRequest来处理请求。mM问题：
是否应该有不同的文件大小限制和总请求大小限制或文件大小是唯一的限制，并且请求能够上传长度为1000的文件，因为它们不太大。Doest Sprin
浏览 4提问于2010-12-29得票数 4
回答已采纳
1回答
我正在开发一个使用Azure B2C、Azure存储(Blobs、Tables、队列和文件共享)的网站。我想限制.的用户事务。假设文件上传/下载带有几个吉字节，然后给他们一条消息，告诉他们这个月的配额已经结束。这是否可以作为网站所有者跟踪Azure中的个人B2C客户？处理这个问题的最佳方法是什么？Murthy
浏览 3提问于2020-12-02得票数 0
回答已采纳
我在我的mapper类中遇到了这个错误。我正在读取大的压缩文件使用ZipFileInputFormat，将解压和使用ZipFileRecordReader，我在关键字转换为文件名和文件的内容作为值.I必须使用我的分隔符分割内容，并将其插入到HBaseDmapreduce.map.memory.mb=8192 -Dmapreduce.map.jav
浏览 0提问于2016-10-14得票数 1
1回答
下载大文件
、、
我有一个表示为块列表的文件，目标是下载所有块，并将其加入并保存为一个文件。
是的，我们可以下载并将所有块存储在常规Javascript数组中。它是跨浏览器的解决方案
但是它使用RAM，如果文件大小超过空闲内存浏览器就会崩溃
浏览 1提问于2017-12-13得票数 5
回答已采纳
1回答
我在LAN网络共享上有数十万个小文本文件，每个文件大小在0到8kb之间。我可以使用一些带有kernel32.dll和FindFileEx的互操作调用来递归地提取每个文件的完全限定的UNC路径列表，并将这些路径存储在内存中的一个集合类中，比如List<string>。不过，一旦我爬行了目录并将文件路径
浏览 0提问于2012-08-22得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
