如何更改允许列出/传输的最大文件数...在suse linux上？客户端和服务器都是suse linux机器。
浏览 5提问于2011-04-20得票数 0
回答已采纳
2回答
我在网上搜索了一下，怎么改目录名？但我什么也没找到。我发现的只有rename()在改变文件名。我想更改目录名称。Linux使用mv命令来重命名目录，但是如果目录包含大文件，那么移动将花费更多时间，对吗？我想用C语言做这件事。
浏览 2提问于2021-02-26得票数 1
2回答
我想在使用c#时重命名大文件。如果我有几个大文件，如果我使用.IO.move函数，我的文件将以正确的名称复制，而旧文件将被销毁。对于大文件，这将需要很长时间
我找不到一个好的解决方案。谁有适合大文件的想法？
浏览 0提问于2011-12-30得票数 0
2回答
如何在Windows中删除大文件路径/文件名文件。这对Linux -rf来说更糟。？
浏览 3提问于2017-05-20得票数 10
回答已采纳
3回答
MySQL慢日志配置
、、、
有没有办法让MySQL慢速日志每天启动新的日志文件？目前它只是一个大文件，每天都要有grep行。如果每一天都有单独的文件，慢日志就更方便了。
我是否必须配置my.cnf或某些linux特性？
浏览 0提问于2012-03-30得票数 4
回答已采纳
4回答
文件之间的比较
、、
我已经编写了一些代码，可以将大文件块复制到远程机器。现在，我想通过逐字节比较这两个文件来确定我是否真的将所有位复制到了正确的位置。有没有windows版的工具可以让我这么做？我猜Linux已经内置了这样一个工具，不是吗？
非常感谢，保罗
浏览 0提问于2009-08-24得票数 0
3回答
我想把Windows box上的一个大文件夹放到一个归档文件中(tar、zip、gzip等等)。有没有工具可以保存所有文件夹的时间戳？
在Linux机器上解压归档文件后，必须保存时间戳。
欢迎任何想法！
浏览 3提问于2011-03-23得票数 1
回答已采纳
我有一个大文件在我的蓝色的blob存储容器。我想将我的文件从blob存储移到在azure>上创建的Linux上，如何使用数据工厂来实现这一点？或者是任何Powershell命令？
浏览 1提问于2019-08-30得票数 1
回答已采纳
2回答
如何通过OpenVZ使用服务器中的所有cpu核心(有4个核心) linux Debian到gziping更快的一个大文件
我正在尝试使用这些命令，但我不能把这些部分放在一起。
获取CORES=$(grep -c '^processor' /proc/cpuinfo)核数
这用于在更多的split -b100 file.big中拆分大文件
这是用于多核心find /source -type f -print0 | xargs -0 -n 1 -P $CORES gzip --best的gzip命令。
我不知道这是否是优化大文件gzip处理的最佳方法。
浏览 6提问于2014-06-24得票数 1
回答已采纳
我有一个来自不同文件夹的巨大文件列表，我需要将它们复制到另一个文件夹。
我已经创建了这些文件夹，我将复制它们。
我试过下面的代码：
for file in $(cat /home/pdf/report/folder/files.txt | sed $'s/\r//'); do cp "$file" /home/pdf/report/folder/dest.txt; done
Linux有什么解决方案吗？
浏览 0提问于2017-03-10得票数 1
4回答
因此，我正在编写一个使用将数据存储为xml文件的Java应用程序，但是与本地硬盘驱动器相比，在网络驱动器上存储大文件的速度非常慢。因此，在将其复制到所需的目的地之前，我希望将其保存在本地。
是否有一些智能方法可以在Java中以独立于系统的方式找到临时本地文件存储？
例如，返回诸如windows中的c:/temp、linux中的/tmp以及其他平台(例如mac)的东西。我可以使用应用程序路径，但问题是Java应用程序也是从网络驱动器运行的。
浏览 9提问于2010-03-15得票数 7
回答已采纳
2回答
我正在写大文件，大小在70 -700 70之间。有没有人有经验，如果内存映射文件将比常规的块编写更有效？代码将在c++中运行，并在Linux2.6上运行
浏览 2提问于2012-05-08得票数 1
我们知道，如果我们在linux或mac中下载一个大文件，文件的最后修改时间将保持不变。这在S3中是一样的吗？对象最后一次修改了time will keep changed during uploading，或者它只是一个简单的时间戳to record the start of upload operation
浏览 1提问于2021-04-13得票数 0
我现在有一台运行Ubuntu14.04.02的PC和一个运行OSX10.10.3的iMac，我在这两台机器上都有一些大文件( >500 G)。我想在这两台机器之间建立一个以太网连接，这样我就可以从这两台机器上传输文件。但是，由于我对linux非常陌生，所以我不太知道该如何做。求你帮帮我。
浏览 0提问于2015-08-02得票数 0
回答已采纳
1回答
最近，我在Linux机器上的一个java构建过程运行得很慢。我怀疑导致运行缓慢的原因之一是进程达到了最大文件描述符限制。我没有权限知道我的构建过程使用了多少文件描述符。那么，如果进程达到最大文件描述符限制，Linux会记录到文件中吗?我可以检查是否因为最大文件描述符限制而使构建过程变慢。
浏览 3提问于2011-07-27得票数 0
在一次旧提交中，添加了一个大文件。在多次提交之后，它被删除了，但是它停留在历史记录中，因此我试图通过以下命令从历史记录中删除该文件：
git filter-branch -f --index-filter "git rm -rf --cached --ignore-unmatch src/main/resources/embed/linux/mongodb-linux-x86_64-3.2.0.tgz" --pru-tag-name-filter cat -- --all
该命令的结果如下：
Rewrite 9e96a248322ba6e85efde1e41498db0d41c
浏览 2提问于2019-01-08得票数 2
回答已采纳
我用windows7在双引导下安装了ubuntu，windows 7 (C驱动器)磁盘大小为420 is，Linux驱动器大小为50 is。现在我在ubuntu上面临着太空问题。我不能在它们上重新安装任何一个，也不能调整窗口分区的大小(缩小)。
我正在考虑将一些大文件夹(如/opt、/bin、/sbin、/etc、/usr、/lib /tmp、/home/user/Desktop )移动到Windows驱动器的其他文件夹中，并为相同的in /创建一个链接。这会对linux系统产生任何影响吗?比如引导、执行命令、启动终端、运行安装的应用程序(如java、ruby等)？如果是，那么相同的其他解决方
浏览 2提问于2013-10-15得票数 1
回答已采纳
在使用ofstream写入文件时，我如何知道文件大小何时达到操作系统的最大文件大小--更确切地说，是linux的最大文件大小?？
浏览 5提问于2008-09-25得票数 3
回答已采纳
3回答
我注意到，从网络驱动器的一个位置复制一个大文件到同一网络驱动器上的另一个位置比在本地复制它要花费更长的时间。网络计算机不是在本地复制文件，而是将文件发送到我的远程计算机，由远程计算机将文件发送回同一台网络计算机。这意味着这些文件被完全不必要地通过网络传输。有办法解决这个问题吗？管理我的网络驱动器上的视频文件正在成为一个真正的麻烦。
注意: Windows和Linux (使用Samba)网络文件夹都是这样。
浏览 0提问于2010-06-18得票数 2
我想找一些可以像我们在.NET框架中的GZipStream类中那样工作的C++包。我在Linux下使用它们。
而且我要处理大文件(可能是GB甚至TB大小)，所以gzipstream实现的效率也是一个问题。
你的建议是什么？
浏览 2提问于2011-12-17得票数 2
回答已采纳
我想知道Linux上哪些文件传输协议支持服务器端复制(并且不会在内部下载和重新上传文件)。我所拥有的最简单的用例是将大文件(如VM)从一个目录复制到同一个共享上的另一个目录。
我知道Samba4.1.0最近在SMB2协议中实现了对SMB2的支持，但据我所知，还没有客户端工具/文件管理器支持这一点(链接)。我也看过法新社，但安装法新社股票的唯一两个Linux工具是gvfs-afp和afpfs-ng，两者都不太好。afpfs-ng没有维护，并且与netatalk (分段故障)不太协调，而gvfs-afp在工作时比afpfs-ng具有很低的吞吐量。更新:看起来下一个版本的NFS也可能支持这一点。
还
浏览 0提问于2014-01-12得票数 9
回答已采纳
如何在Unix/Linux中找到文件中最常用的10个单词？
我尝试在Unix中使用以下命令：
sort file.txt | uniq -c | sort -nr | head -10
然而，我不确定它是否正确，以及它是否在大文件中显示了10个最常见的单词。
浏览 1提问于2018-11-19得票数 2
2回答
在我的linux服务器上，我在这里挂载了我的zfs池：~/data/homepool，~/data通过afp共享。我的macOS (high see )客户端可以正确地查看和读取/写入~/数据，甚至可以在数据/归属池中写入数据。
问题是，zfs错误地获取了macOS池的存储容量，将homepool的存储空间表示为~/data的存储空间，而由于homepool挂载了ZFS池，所以homepool非常大。这阻止了Finder复制大文件，并且Finder认为没有可用的空间。这是个bug吗？
浏览 32提问于2018-07-25得票数 1
回答已采纳
2回答
我正在使用ofstream和ifstream从文件中读取一个块，将它通过中间件(DDS)发布到另一个进程，而另一个进程则编写该文件的夹子。
基本上是在传输文件。这两个组件彼此不知道，可能生活在相同的硬件上，也可能生活在不同的硬件上(DDS以任何一种方式处理传输)。
但是，当我尝试使用一个大文件(> 500 my )执行此操作时，如果目标组件位于同一块板上，则会耗尽RAM (因为500 x 2= 1GB，这是我的限制)。
所以，我想从一个文件中读取一个块，删除该块文件，然后发送该块。所以我以：
A B
12345 ->
2345 -> 1
345 ->
浏览 10提问于2022-05-25得票数 0
回答已采纳
我正在编写一个C++程序，它将输出大文件(2-4GB)。
在开始编写文件之前，我想确保驱动器上有足够的空间来保存这些文件。如果可能的话，我想预订这个地方。
这是在基于Linux的系统上进行的。
有什么好办法吗？
浏览 6提问于2012-02-28得票数 4
回答已采纳
我需要在网络上分发文件的内容(最多5GB)，这样文件的每个分布式节点(XML或简单文件)都不会复制数据并相互同步。
更重要的是，可能有1000多个大文件，需要在分发过程中进行。
我可以使用Hadoop来存储大文件，并使用集群节点来存储分布式数据吗？
浏览 2提问于2014-07-23得票数 0
回答已采纳
1回答
将一个文件夹(及其全部内容)从adress1 (文件夹的地址)复制到c中的adress2的最佳方法是什么？我不想将它复制到缓冲区，然后保存它，因为它可能包含大文件
浏览 3提问于2016-07-05得票数 2
1回答
我需要下载一个包含未知层数的大文件夹到我的Linux (Redhat)服务器。
我去了网页版，它告诉我这个文件“太大了，无法下载”。人们说，你可以简单地检索下载URL，wget就可以完成这项工作。但是，查看该文件夹，除了“共享链接”之外，我没有看到任何检索URL的方法。
谁能和我分享一下递归下载一个大文件夹到linux服务器的最佳实践是什么？
浏览 4提问于2016-01-06得票数 2
假设我们有三台机器: A、B和C。
机器A不能从任何网络到达机器B，所以我不能在两者之间发送文件。
但是A和B都可以从C(我的机器)到达。
今天我要把一个大文件从A复制到B。
目前，我需要先将它从A复制到C，然后从C复制到B。是否有一种方法可以连接或输送scp来将传入的数据流到目标机器，而不需要在中间保存？
浏览 0提问于2021-08-26得票数 6
回答已采纳
这可能有点OT，但我想知道为什么拥有一个大量使用IO的进程(例如，从一个位置到同一磁盘上的另一个位置的cp大文件)会减慢一切，即使是主要受CPU限制的进程。我注意到我在两个操作系统上都大量使用(mac OS x和linux)。
特别是，我想知道为什么多核在这里没有真正的帮助:这是商用硬件(磁盘控制器等)的硬件限制，还是操作系统的限制，或者在分配正确的资源(调度)方面存在固有的困难？
浏览 5提问于2010-11-27得票数 18
回答已采纳
4回答
作为我工作的一部分，我经常需要上传大文件(例如512 MB到1GB ISO )。在某些情况下，从ISO到ISO的变化非常小(例如，1GB ISO中的10 MB文件)。不幸的是，我不能仅仅发送更改的文件-我需要发送整个ISO。更快的连接不是有效的解决方案。
是否有任何工具(最好是Linux，最好是免费的)可以创建和应用这样大的二进制文件？
浏览 0提问于2010-01-14得票数 3
回答已采纳
6回答
我需要做一个.sh的.bat拷贝，我不太了解Windows cmd。在Linux上我可以这样做
mv ...
或
rsync -a SOURCE/ DEST/ --remove-sent-files --ignore-existing --whole-file
但是Windows的"move“不能做同样的事情
也许有一个比windows更简单、更简单、性能更高的windows替代方案。
for /R c:\sourceFolder\ %%G in (*) do ( move /Y "%%G" c:\destinationFolder\ )
Linux mv似乎可以更新目
浏览 1提问于2012-04-15得票数 11
回答已采纳
我的操作系统和驱动器是
OS: Windows XP sp2 or Linux SUSE 9 or Cygwin
Compiler: Visual C++ 2003 or Gcc or Cygwin
PC and os are both 32 bits
那么，如何在秒内创建一个超大文件？
我被告知要使用MappingFile函数。我无法创建超过2G的文件，所以...您的热情回复将不胜感激
浏览 0提问于2009-11-30得票数 3
回答已采纳
所以我在我的远程文件服务器(处于另一种状态)上做了一个递归scp，它在我的远程web目录上创建了一个无限的链接循环。
http://www.linuxquestions.org/questions/linux-general-1/recursive-scp-w-o-following-links-658857/说我可以尝试创建一个巨大的tar文件。但是，这有一个问题--我在办公室的Linux机器上运行递归scp，并将所有文件复制到我的外部硬盘驱动器中，这是FAT32格式的(因为我需要一些同时为UNIX和Windows所读的文件)。FAT32不支持大文件大小。所以我得尝试一些不同的东西。
还有一
浏览 0提问于2012-12-09得票数 6
3回答
使用off_t作为一个函数(seek)的参数的库。库和应用程序的编译方式不同，一个关闭了大文件支持，另一个关闭了大文件支持。这种情况会导致奇怪的运行时错误，因为两者对off_t的解释不同。库如何在运行时检查应用程序的off_t大小？或者还有其他解决方案，这样至少用户会得到一个有意义的错误？
编辑:这个库(用c编写，用autoconf编写)已经存在，一些第三方应用程序正在使用它。该库可以在支持大文件的情况下编译(默认情况下通过AC_SYS_LARGEFILE)。它是多平台的，不仅仅是linux。如何检测/防止已安装的应用程序因LFS中的更改而损坏？
浏览 8提问于2008-10-29得票数 0
5回答
如何使文件变得稀疏？
、、、
如果我有一个包含许多零的大文件，我如何有效地使它成为稀疏文件？
是否唯一的可能是读取整个文件(包括全零，通常是稀疏存储的)，并使用seek跳过零区域将其重写为新文件？
或者有没有可能在现有的文件中这样做(例如File.setSparse(长开始，长结束))？
我正在寻找一个解决方案的Java或一些Linux的命令，文件系统将是ext3或类似的。
浏览 6提问于2011-05-13得票数 10
回答已采纳
2回答
如何对我在azure blob存储中的一些csv文件运行sed命令？ 我正在使用Azure copy activity将数据从csv文件复制到postgres，但我的csv是一个20 gb的大文件，并且包含空字符\x000之类的内容。postgres文本数据类型无法识别的。ADF复制活动无法将csv字符串列转换为postgres abyte，因此只能选择使用文本。我想到了一个变通的解决方案，在我的csv上运行sed命令，将null字符替换为其他字符，比如-。所以我需要知道如何在blob存储中的azure csv文件上运行sed命令。我是否应该先将它们拷贝到具有linux的新虚拟机，但还要注意
浏览 21提问于2019-12-19得票数 0
5回答
我使用smbclient每晚将一组大文件(80 GB)从Linux系统传输到Windows共享。最近，不管出于什么原因，我一直处于I/O超时状态：
cli_push returned NT_STATUS_IO_TIMEOUT
这将导致活动文件传输中止并从Windows共享中删除。
这可能是由于未解决的Samba bug 8498 (或者可能不是)。Windows系统不在我的控制之下，所以我无法安装SSH服务器(使用SCP或SFTP)，我不想依赖Microsoft的NFS实现。
还有另一种简单的标准选择可以让我定期地通过网络将80 GB的数据从Linux传输到Windows (网络是GB以太网，
浏览 0提问于2012-02-17得票数 12
回答已采纳
1回答
我正在用C编写软件，在运行在AWS上的Linux上，它必须处理240TB的数据，包含7200万个文件。
数据将分布在24个或更多个节点上，因此每个节点上只有10 be，每个节点有300万个文件。
因为我必须每60秒向这300万个文件中的每一个添加数据，所以最简单和最快的方法就是能够同时打开每个文件。
我不能将数据存储在数据库中，因为读写数据的性能太慢了。我需要能够很快地把数据读回来。
我的问题：
1)是否可能打开300万个文件？
2)如果有可能，它会消耗多少内存？
3)如果可能的话，表现会很糟糕吗？
4)如果不可能，我将需要将所有单独的文件合并成几十个大文件。Linux中有最大文件大小吗？
5
浏览 3提问于2015-05-29得票数 1
回答已采纳
我有一个很大的Javascript文件(2万行)。
Chrome调试器不会调试它。也就是说，我可以放一个断点，它知道断点，但它不会停在上面。这肯定与大文件大小有关；它适用于同一站点上的较小文件。
有人知道我怎样才能让它处理这个大文件吗？(关于大文件大小，我什么也做不了)。
浏览 1提问于2013-11-29得票数 7
有没有什么产品可以与IBM的Domino一起使用来处理大文件的复制？优选地，可以进行字节级复制的存储器。我有一个放置和更改大文件的环境(超过50台服务器)(带宽是最重要的)。我想只复制已更改的字节，而不是再次复制整个文件。是否有人使用其他产品来处理文件中的字节级更改以及标准Domino复制来处理所有其他项？
浏览 3提问于2009-06-26得票数 1
2回答
我正在为一个学校项目写一个简单的FTP服务器。项目差不多完成了，我唯一的问题就是通过套接字将文件发送到客户端。我不能向套接字写入超过200kb的数据，小文件下载成功。谁能告诉我通过Linux套接字发送大文件的正确方式是什么？
提前谢谢。
PS我使用C和32位linux，服务器工作在端口模式，一直使用低级打开，写入，读取和其他功能，如sendfile，send，sendto。
浏览 1提问于2011-12-30得票数 5
我正试图找到一种快速的方式来上传大文件夹到谷歌云存储。当我通过网络浏览器做它时，它通常无法处理大小。
所以我一直在尝试使用Shell。
我写
gsutil cp C:\Folder\Sub folder - name gs://bucketname/
我得到了No urls matched C:\Folder
然后，我将文件名放入引号中。
gsutil cp C:\"Folder\Sub folder - name" gs://bucketname/
我被告知unrecognised scheme name gs
我有几个朋友看过，他们不知道。我觉得我已经尝试了这么多次迭代
浏览 0提问于2020-02-09得票数 1
1回答
我有一个git大文件存储的repo设置，我没有放任何exclude statements就把大文件放到了我的本地分支中，所以所有的大文件都已经下载到我的本地了。 这会占用很多空间，而且我不需要本地的所有文件，所以我希望将实际的大文件转换为链接，这样它们占用的空间就会更少。如果我在拉出更新的repo之前使用了exclude语句，就会发生这种情况。 我环顾四周，没有发现任何明确的说明，而且我发现我在git方面还不够胜任，不能只是在git repo中玩玩，所以任何帮助都是非常感谢的。谢谢!
浏览 17提问于2020-09-15得票数 1
回答已采纳
1回答
首先是一些背景知识：
我正在创建一个处理大文件的Windows应用程序。我想在文件中插入(或删除)给定偏移量的数据，而不必重写后面的数据，我希望系统为我“扩展”或“收缩”文件。我知道在Linux上使用sed是可能的，但这对我没有帮助，因为我将主要处理二进制数据。
现在，有没有可能用.NET或本地C/C++来实现呢？任何提示都会很有帮助。
浏览 0提问于2015-03-28得票数 0
1回答
如何使用c处理大文件(>10 GB) (至少读取它们)？我没有64位机器，所以编译器选项
-D_FILE_OFFSET_BITS=64不起作用。
浏览 1提问于2013-04-24得票数 1
回答已采纳
我的任务是将一个非常大的文件(已经提交)分割/提取为许多较小的文件。使用Hg，我会将提取的文件添加为现有大文件(hg cp或hg cp -A)的副本，这样当我将分支合并到主文件中时，我正在工作时对大文件所做的其他更改将在我的提取文件中跟踪/冲突。
Git中有没有类似的东西？
浏览 0提问于2016-04-26得票数 3
2回答
我正在尝试使用shutil.copy将一个大文件(> 1GB)从硬盘复制到usb驱动器。一个简单的脚本描述了我想要做的事情：-
import shutil
src_file = "source\to\large\file"
dest = "destination\directory"
shutil.copy(src_file, dest)
在linux上只需2-3分钟。但是在Windows环境下，相同的文件拷贝要花费10到15分钟的时间。有人能解释原因并给出一些解决方案，最好是使用python代码吗？
更新1
将文件保存为test.pySource文件大小
浏览 3提问于2014-02-15得票数 23
回答已采纳
根据这个C++引用：，std::ofstream的默认打开模式是ios_base::out，它没有提到其他模式。因此，如果我用一个小文件覆盖一个大文件，那么大文件的“超”部分应该保持不变，并且只有文件的第一部分应该被新的、更短的数据所取代。
另一方面，Apache C++标准库用户指南()在第30.3.1.2段的说明中声明：“对于输出文件流，打开模式out等同于out trunc，也就是说，您可以省略trunc标志。但是对于双向文件流，必须始终显式指定trunc。”
我试过这样的代码：
#include <fstream>
int main()
{
std::ofstre
浏览 1提问于2019-07-17得票数 11
回答已采纳
我的linux上有一个文件。我想通过"Windows共享“来共享它(IPMI只能理解一种远程大文件挂载的方式)。如何在科学linux的"Windows共享“上共享我的文件？
浏览 0提问于2015-08-07得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
