在使用ofstream写入文件时，我如何知道文件大小何时达到操作系统的最大文件大小--更确切地说，是linux的最大文件大小?？
浏览 5提问于2008-09-25得票数 3
回答已采纳
2回答
是否有可以多次挂载并支持Linux并发文件访问的文件系统？基本上，我想要类似于集群文件系统的东西，但不需要为分布式锁管理器提供运行中的网络。这对于可以与主机或另一个VM共享数据而不需要创建网络链接的虚拟机来说非常方便。这是我想要避免的，以确保网络体系结构的安全(DMZ中的虚拟机)，但共享大文件。不需要放大，只需要两台安装相同块设备的机器。
磁盘上不应该有文件锁定信息吗？
浏览 0提问于2011-11-18得票数 3
2回答
我正在学习如何在终端中使用Linux命令并查找/重命名大文件。第一次尝试
find . -type f +size 1G
给出这条信息
查找:路径必须在表达式之前：+大小用法:查找-H -P -D帮助
什么是最好的方法
查找/重命名大文件
将它们移动到特定的文件夹
谢谢你，卡洛
浏览 7提问于2015-09-11得票数 0
如何更改允许列出/传输的最大文件数...在suse linux上？客户端和服务器都是suse linux机器。
浏览 5提问于2011-04-20得票数 0
回答已采纳
2回答
将shell输出中断为文件
、、、、
我知道我可以使用以下方法将脚本输出输出到文件中：
/path/to/script.sh >& path/to/output.log
问题是，我在Java中做了一个无限循环，我的shell将运行，因此输出文件将变得非常大。
是否有使用linux命令按最大文件大小来拆分日志的输出，或者我必须将输出Java改为控制台，以便按照最大文件大小分隔文件？
浏览 0提问于2013-08-14得票数 1
回答已采纳
2回答
我想知道Linux中是否有针对以下情况的软件解决方案：
将USB磁盘连接到Windows主机(可以是XP、Vista、7等)。
将一个大文件复制到USB磁盘。
以不安全的方式将USB设备与Windows断开
将USB设备连接到Linux主机。
尝试安装USB设备
其结果是USB磁盘将不会在Linux中挂载，因为它包含一个打开的文件。
解决这一问题的一种方法是将USB磁盘重新连接到Windows，然后安全地卸载，然后将USB磁盘挂载到Linux。
是否有办法解决这个问题，只使用Linux工具，而不涉及Windows，以正确关闭USB磁盘。
浏览 0提问于2013-01-25得票数 3
2回答
我有一个带有VZFS文件系统的VPS主机。如何确定VZFS分区的最大文件大小？
UPD:自由空间(或全部空间)不是我所需要的。有时文件不能占用一个空穴分区卷- fat16有2Gb的限制是一个很好的例子。我需要使用一个大型数据库文件(例如，64 it )，所以我需要知道VPS托管的文件系统是否能够处理它。ext3文件系统使用tune2fs很容易计算，但是VPS通过Virtuozzo使用VSFS，而且它被记录为糟糕。对于linux中的某些文件系统，是否有计算最大文件大小的通用方法？
浏览 0提问于2010-01-29得票数 0
在.net框架中可以读取的最大文件大小是多少？
它是最大长度(Int64)，因为它是所有阅读器中Seek方法的偏移量类型？
浏览 1提问于2010-01-17得票数 5
回答已采纳
在linux上，临时文件存储在ramdisk上：
tmpfs 15G 4.0K 15G 1% /dev/shm
但是，如果/tmp/ i中有几个大文件，那么假定文件溢出到磁盘上了吗？在这种情况下，如果机器的磁盘速度越来越慢，则最好使用更快的磁盘。
这到底是如何工作的，我们如何在Linux上配置溢出到哪里呢？
浏览 0提问于2012-07-17得票数 4
1回答
我正在为文件编写3D模型数据，同时包含许多不同类型的信息(网格、纹理、动画等)，大小约为50到100 mb。
我想把所有这些都放在一个文件中，但如果我只需要读取该文件的一小部分就能得到我想要的东西，恐怕要花费我的钱。
我应该为此使用多个较小的文件，还是一个非常大的文件可以吗？我不知道文件系统如何处理试图跳过大型文件的问题，因此，就我所知，迭代一个大文件要么代价高昂，要么根本没有问题。
另外，如果使用单个大文件，我必须做什么特别的事情吗？
浏览 4提问于2015-07-12得票数 2
回答已采纳
我们知道，如果我们在linux或mac中下载一个大文件，文件的最后修改时间将保持不变。这在S3中是一样的吗？对象最后一次修改了time will keep changed during uploading，或者它只是一个简单的时间戳to record the start of upload operation
浏览 1提问于2021-04-13得票数 0
今天，我禁用了archlinux (即systemctl mask tmp.mount和创建自定义文件/etc/tmpfiles.d/tmp.conf)中描述的tmpfs。
然后我开始在文件夹/tmp中创建大文件(例如，dd if=/dev/zero of=/tmp/large.dat count=2097152给了我一个1GB的文件)。当我创建它们时，我注意到，mysqld开始使用更多的ram。现在我删除了我创建的所有大文件。我重新启动了几次，每次重启之后，我看到mysqld使用了大约2GB的RAM。我没有任何不寻常的程序/脚本在自动启动。我有普通的Arch Linux安装。我知道我可以禁用
浏览 0提问于2016-11-07得票数 0
回答已采纳
1回答
APR和大文件
、、
我想使用APR来mmap非常大的文件，大于4Gb。首先，我需要创建这么大的文件，但我发现函数apr_file_seek接受类型为apr_seek_where_t的参数，该参数只是int的别名。因此，这是可能的，以寻找前4的工作。有可能用APR处理大文件吗？
浏览 2提问于2013-11-25得票数 0
回答已采纳
2回答
我正在写大文件，大小在70 -700 70之间。有没有人有经验，如果内存映射文件将比常规的块编写更有效？代码将在c++中运行，并在Linux2.6上运行
浏览 2提问于2012-05-08得票数 1
我有一个应用程序，需要处理大文件后，他们被上传到系统。在Linux中，是否可以检测文件夹更改并自动运行脚本，还是应该每分钟运行一次cron作业来查找新文件？
浏览 0提问于2009-08-02得票数 3
回答已采纳
1回答
在Windows上的Python中，我可以通过以下方式创建一个大文件
from mmap import mmap
f = open('big.file', 'w')
f.close()
f = open('big.file', 'r+')
m = mmap(f.fileno(), 10**9)
现在big.file大约是1千兆字节。然而，在Linux上，这将返回ValueError: mmap length is greater than file size。
有没有办法在Linux上获得与
浏览 4提问于2013-07-01得票数 6
回答已采纳
1回答
我有点怀疑
首先:可以创建的文件流(可读流或可写流)的最大数量是否有限制？
Like a [...[readable, writable]] streams array of n files
第二:在操作系统中打开的最大文件数是否仅适用于在“打开”上使用流事件时？
Like in linux by default is 1024 per process
第三:这是否直接影响在“开放”同时事件上存在的最大流数？
Like 1024 simultaneous 'open' stream event per process
如果有人有关于它的信息，谢谢你分享它和你的时间，为任何错误
浏览 5提问于2020-08-28得票数 0
回答已采纳
3回答
考虑到Ubuntu上ext4文件系统上目录条目的当前结构，文件系统可以包含的最大文件数是多少？
计算文件系统可以包含的最大文件数的一般方法是什么？
浏览 0提问于2010-01-20得票数 46
2回答
我在网上搜索了一下，怎么改目录名？但我什么也没找到。我发现的只有rename()在改变文件名。我想更改目录名称。Linux使用mv命令来重命名目录，但是如果目录包含大文件，那么移动将花费更多时间，对吗？我想用C语言做这件事。
浏览 2提问于2021-02-26得票数 1
由于不小心将二进制文件、图像等提交到git存储库中，我们的存储库变得难以处理。目前回购中没有大型文件，但回购历史上有大型文件。
我的计划是从我们的git历史中删除这些大型文件，我已经找到了许多很好的资源，并找到了这样做的答案(、、)。
我的主要问题是，我们的回购(托管在Bitbucket上)有许多贡献者，我担心一旦我将大文件从历史中提取出来，我们的贡献者就会将大文件返回到远程回购中来push历史记录。
具体来说，文档声明：
在这一点上，您已经准备好让每个人放弃他们的旧版本的回购，并做新的克隆好的，新的原始数据。最好是删除所有旧的克隆，因为他们将有肮脏的历史，你不想冒险推回你的新清理回购。
浏览 0提问于2018-05-24得票数 0
在linux上的bash中，有没有办法更改大文件中的几个字节/字符？例如，查找位置x，然后选择性地删除几个字符，然后插入几个字符。我更喜欢在bash中做这件事。
浏览 1提问于2013-04-25得票数 1
回答已采纳
2回答
我试图在linux中使用git将一些文件上传到github。
我有一个大文件和一个不稳定的连接。上传被多次中断。
有没有办法上传这些文件可以恢复？
浏览 6提问于2016-01-10得票数 2
回答已采纳
1回答
首先是一些背景知识：
我正在创建一个处理大文件的Windows应用程序。我想在文件中插入(或删除)给定偏移量的数据，而不必重写后面的数据，我希望系统为我“扩展”或“收缩”文件。我知道在Linux上使用sed是可能的，但这对我没有帮助，因为我将主要处理二进制数据。
现在，有没有可能用.NET或本地C/C++来实现呢？任何提示都会很有帮助。
浏览 0提问于2015-03-28得票数 0
1回答
多次读取后I/O流变慢
、、、、
我正在c++中实现一个范围搜索代码，其中我有一个大文件(20 to )，我需要为不同的查询搜索特定的范围。
我已经将大文件分成更小的块来加快搜索，在这里我有两个层次--根和叶，数据存储在叶子中(遵循与ISAM树相同的想法)。
我有3000,000行数据
将每页分为30000页，每页有100000行A行，每页有品脱(根有30000页)。
但是，我注意到，一旦搜索范围开始于页200或更高，流就会明显变慢。完成后，我会关闭每一页。那么，为什么阅读流会变得非常慢呢？
我正在linux机器上运行。
我不能选择执行多线程。
读取是从这些文件中连续进行的。
浏览 4提问于2016-11-03得票数 1
1回答
我正在做一个项目，我担心桌子的大小限制。如果一个表变得太大，以致于操作系统的最大文件大小。Windows为每个文件2GB。
MySQL是否将数据从表中分割成两个文件？
我正在查看我的WAMP安装中的数据，现在每个表都是一个文件: user.frm和user.ibd (这个表根据文件大小存储所有数据)。
基本上，如果我查看存储在一个表中的10-50GB大小的数据，MySQL数据库能够处理它吗？
编辑：，我最终要将我的项目转移到一个具有相同文件大小限制的Linux服务器上，我假设MySQL在Linux和上的工作方式是一样的。
浏览 5提问于2014-01-21得票数 0
回答已采纳
我有一个Windows和Linux，如果需要的话，我创建了一个200 to的分区来存储大文件。问题是，在我的Debian操作系统中，我无法添加文件夹或在其中放置新文件。分区位于/media/username/分区中。每当我想在文件夹程序中打开分区时，我必须输入我的根密码，即使这样，我也不能向其中添加文件。我已经重新安装了它，但是每次获得读/写许可都会遇到麻烦。另外，如果我想创建一个新的文件夹，我会得到这个目录不存在的错误，尽管它确实存在。在Windows操作系统上，我可以访问它，并使用它没有问题。对于如何使Linux上的使用和访问变得容易，有什么帮助吗？
浏览 0提问于2020-12-07得票数 0
回答已采纳
1回答
最近，我在Linux机器上的一个java构建过程运行得很慢。我怀疑导致运行缓慢的原因之一是进程达到了最大文件描述符限制。我没有权限知道我的构建过程使用了多少文件描述符。那么，如果进程达到最大文件描述符限制，Linux会记录到文件中吗?我可以检查是否因为最大文件描述符限制而使构建过程变慢。
浏览 3提问于2011-07-27得票数 0
1回答
我正在用C编写软件，在运行在AWS上的Linux上，它必须处理240TB的数据，包含7200万个文件。
数据将分布在24个或更多个节点上，因此每个节点上只有10 be，每个节点有300万个文件。
因为我必须每60秒向这300万个文件中的每一个添加数据，所以最简单和最快的方法就是能够同时打开每个文件。
我不能将数据存储在数据库中，因为读写数据的性能太慢了。我需要能够很快地把数据读回来。
我的问题：
1)是否可能打开300万个文件？
2)如果有可能，它会消耗多少内存？
3)如果可能的话，表现会很糟糕吗？
4)如果不可能，我将需要将所有单独的文件合并成几十个大文件。Linux中有最大文件大小吗？
5
浏览 3提问于2015-05-29得票数 1
回答已采纳
我想以异步方式读取C++中的一个大文件。我已经使用boost::asio从网络套接字执行异步读取，我想知道是否可以扩展boost::asio来对常规文件进行非阻塞读取。
我可以使用单独的线程来完成这项工作，但是有没有更本机的解决方案，可以很好地适合asio::io_service？
我正在使用Linux，但我不会拒绝使用std::ifstream的便携解决方案;)
浏览 6提问于2015-08-06得票数 3
我正在寻找一个linux命令，以便远程将文件集从一个文件夹移动到另一个文件夹。
我尝试了smbclient，但是当我使用它来移动文件时，我必须执行两个步骤：
首先将远程CIFS文件从folder1复制到linux框。-使用mget
然后使用mput将这些文件复制到远程CIFS上的folder2中。
由于上面的过程，当我有大文件时，它变得太费时了。如何在不通过本地机器移动文件的情况下正确地完成此操作？
浏览 0提问于2016-07-06得票数 3
2回答
(bash)对于特定的目录，我需要发现该文件系统支持的最大文件大小。所讨论的文件系统可能是从外部USB媒体挂载的，可能是FAT32、NTFS、exfat或ext2。
我知道我可以部分地猜测来自mount的信息，但是我想要一个更干净的解决方案--另外，在exfat的情况下，mount将文件系统类型显示为"fuseblk“。
(我正在运行Linux3.2.04-686-pae #1 SMPDebian3.2.51-1 i686 GNU/ Linux )
getconf FILESIZEBITS path不适用于exfat文件系统的fuseblk挂载:它返回32，这是不准确的。因此，这不是
浏览 4提问于2014-02-21得票数 6
6回答
出于对Linux上一些流行文件系统提供的最大文件大小限制()的好奇，我看到一些文件系统达到了TB级。
我的问题是，如果文件指针是32位宽的，就像我们今天遇到的大多数Linux一样，这不意味着我们可以寻址的最大距离是2^32-1字节吗？那么如何存储大于4GB的文件呢？
此外，即使我们可以存储这样的文件，我们如何找到一个位置超过2^32范围？
浏览 19提问于2011-02-08得票数 2
回答已采纳
我已经阅读了AppendText和FileMode.Append的文档，它们说它会查找到文件流的末尾。尚不清楚的是，这是否比读取到文件末尾的其他技术更有效。寻道是否会导致读取整个文件？
我只是想更好地理解这一点，这样我就能理解在处理超大文件时的性能影响。
浏览 4提问于2013-04-12得票数 1
回答已采纳
2回答
在我的linux服务器上，我在这里挂载了我的zfs池：~/data/homepool，~/data通过afp共享。我的macOS (high see )客户端可以正确地查看和读取/写入~/数据，甚至可以在数据/归属池中写入数据。
问题是，zfs错误地获取了macOS池的存储容量，将homepool的存储空间表示为~/data的存储空间，而由于homepool挂载了ZFS池，所以homepool非常大。这阻止了Finder复制大文件，并且Finder认为没有可用的空间。这是个bug吗？
浏览 32提问于2018-07-25得票数 1
回答已采纳
您能告诉我IIS 7中文件托管的最佳实践吗?文件的数量可以非常高，超过500,000个，每个文件2-10KB。
一个可能的问题是处理如此大量的文件时的性能。我们可以使用较少数量的较大文件，并使用HTTP处理程序来处理请求，或者只使用较小的文件，并使用IIS7将它们直接作为静态文件提供服务。
您是否可以分享一些最佳实践/性能比较？你有什么建议吗？
浏览 2提问于2009-04-13得票数 0
3回答
写入大文件
、、
我尝试写入一个大文件，但它似乎不适用于大于2 2GB的文件。我尝试过使用boost::iostreams::file_sink。这只是boost流的一个限制吗？有没有其他方法可以在Win64和win32上写一个大文件？
浏览 0提问于2008-11-19得票数 11
回答已采纳
2回答
我在我的分号操作系统机器中有一个目录，用户可以在那里插入他们所有的文件。我想知道哪个用户正在删除文件夹中的大文件。
一天比一天多，这会增加&想知道大文件。任何命令，因为我不希望手动检查它们。
浏览 0提问于2018-01-09得票数 0
5回答
我的任务非常简单:在Linux上读取和解析C++中的一个大文件。有两种方式：
逐字节解析。
而( /* . */ ){.=fgetc(.)；/*对char */}做了一些事情
逐个缓冲区解析缓冲区。
while(*. */ ){ char bufferSOME_LARGE_NUMBER；fread(缓冲区，SOME_LARGE_NUMBER，1，.)；/*解析缓冲区*/}
现在，逐字节解析对我来说更容易了(不检查缓冲区有多满，等等)。然而，我听说读大的文章更有效率。
哲学是什么？“最优”缓冲是内核的一个任务，所以当我调用fgetc()时，它已经被缓冲了吗？或者它是建议我处理它以
浏览 6提问于2012-12-22得票数 11
回答已采纳
我有一个大文件在我的蓝色的blob存储容器。我想将我的文件从blob存储移到在azure>上创建的Linux上，如何使用数据工厂来实现这一点？或者是任何Powershell命令？
浏览 1提问于2019-08-30得票数 1
回答已采纳
在Windows上，查找过去的EOF并截断文件(通过SetEndOfFile())允许预先分配一个大文件，而不实际将额外的零写入磁盘，如果之后，我按顺序写入文件(我会这样做)。
如何在Linux中实现同样的效果？ftruncate()似乎创建了一个稀疏文件，这不是我想要的，因为它不会减少磁盘空闲空间。这就留给了fallocate()，但是哪个文件系统支持这个函数(本地的，不是由glibc模仿的)，或者更好：
主流文件系统fallocate()**?**不支持的支持
浏览 5提问于2017-12-19得票数 0
5回答
对于在大文件(< 2 2GB)上生成sha1，有没有什么linux命令行实现执行得特别好？
我曾经尝试过'openssl sha1‘，它需要几分钟才能得到一个2 2GB文件的sha1 : /。
浏览 10提问于2009-03-13得票数 4
回答已采纳
2回答
我对卷发很陌生。我正在centOS上工作，我想安装pycurl 7.19.5，但是我无法安装，因为我需要libcurl 7.21.2或以上。我试着安装一个更新的curl，但是它仍然指向旧的libcurl。
curl-config --版本
利伯尔7.24.0
curl -版本curl 7.24.0 (x86_64-未知-linux-gnu) libcurl/7.21.1 OpenSSL/1.0.1e zlib/1.2.3 c-ares/1.7.3 libidn/1.29协议: dict文件ftp ftps http https imap ldap ldaps pop3 pop3s rtsp s
浏览 5提问于2014-11-20得票数 2
回答已采纳
1回答
有什么WinAPI方法可以获得特定驱动器的最大文件大小吗？
例如，我知道在FAT32中，最大文件大小是4GB。我应该发现驱动器上的文件系统是FAT32，然后使用我以前对FAT32的了解，还是在FAT32中有一种方法可以直接获得最大文件大小？
我已经做过的事：
我使用GetVolumeInformation确定文件系统类型，然后使用映射表将文件系统类型映射到其已知的最大文件大小。
我想要的：
我想知道Microsoft是否提供了一种直接获取任意文件系统类型的最大文件大小(以字节为单位)的方法，即使是目前还不存在且我现在无法定义的方法。
浏览 6提问于2022-11-04得票数 -1
回答已采纳
我有一个XXX.img文件。
system.img: Linux rev 1.0 ext4文件系统数据，UUID=XXXX (扩展区)(大文件)
我想从其中提取一些文件，如何提取？
或XXX.subimg.tgz文件
首先用枪将其压缩，得到subimg文件，然后将其作为图像文件。
浏览 0提问于2014-09-01得票数 3
回答已采纳
2回答
我正在使用ofstream和ifstream从文件中读取一个块，将它通过中间件(DDS)发布到另一个进程，而另一个进程则编写该文件的夹子。
基本上是在传输文件。这两个组件彼此不知道，可能生活在相同的硬件上，也可能生活在不同的硬件上(DDS以任何一种方式处理传输)。
但是，当我尝试使用一个大文件(> 500 my )执行此操作时，如果目标组件位于同一块板上，则会耗尽RAM (因为500 x 2= 1GB，这是我的限制)。
所以，我想从一个文件中读取一个块，删除该块文件，然后发送该块。所以我以：
A B
12345 ->
2345 -> 1
345 ->
浏览 10提问于2022-05-25得票数 0
回答已采纳
我用windows7在双引导下安装了ubuntu，windows 7 (C驱动器)磁盘大小为420 is，Linux驱动器大小为50 is。现在我在ubuntu上面临着太空问题。我不能在它们上重新安装任何一个，也不能调整窗口分区的大小(缩小)。
我正在考虑将一些大文件夹(如/opt、/bin、/sbin、/etc、/usr、/lib /tmp、/home/user/Desktop )移动到Windows驱动器的其他文件夹中，并为相同的in /创建一个链接。这会对linux系统产生任何影响吗?比如引导、执行命令、启动终端、运行安装的应用程序(如java、ruby等)？如果是，那么相同的其他解决方
浏览 2提问于2013-10-15得票数 1
回答已采纳
我在窗口中读取大文件时遇到了问题。通常，在linux中，当我第一次读取二进制文件时，读取该文件需要3-4分钟，但在下一次运行时，它会在不到30秒的时间内读取该文件，因为该文件位于内存中，而且它不需要读取整个文件，而是在windows中，每次读取整个文件需要3-4分钟，因为它总是试图读取整个文件。
有人知道有什么方法可以将文件缓存在窗口中的内存中以减少读取时间吗？
非常感谢
浏览 1提问于2014-11-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
