在Linux系统上，我需要创建一个大文件(大约10 On )，不可压缩文件。
该文件应该驻留在Docker映像中，这是测试在本地注册表中传输和存储大型坞映像时的性能所必需的。因此，我需要图像“本质上”大(即:不可压缩)，以绕过优化机制。
fallocate (在中描述)可以非常快地创建大文件，但是结果是一个0熵的大文件，高度可压缩。当将大图像推送到注册表时，只需要很少的MB。
那么，如何创建一个大型的uncompressible文件呢？
浏览 6提问于2021-03-05得票数 0
回答已采纳
1回答
我从postgres那里得到了一个转储，它创建了一堆CSV，它们在几个大文件中具有单(')和双(")字符。
如何在linux中将它们替换为\“和”？
谢谢!
浏览 3提问于2016-07-15得票数 0
回答已采纳
1回答
最近，我在Linux机器上的一个java构建过程运行得很慢。我怀疑导致运行缓慢的原因之一是进程达到了最大文件描述符限制。我没有权限知道我的构建过程使用了多少文件描述符。那么，如果进程达到最大文件描述符限制，Linux会记录到文件中吗?我可以检查是否因为最大文件描述符限制而使构建过程变慢。
浏览 3提问于2011-07-27得票数 0
2回答
我有一个从我的服务器1直接链接的大文件。
http://xx.com/linux1.iso (3 gb)
我需要上传到我的第二个服务器与php (我没有一个很好的adsl，我有更多的大文件，只有一个星期移动所有网站)
有没有可能在服务器2上创建一个php脚本，将带有直接链接的文件从服务器1复制到服务器2？
浏览 0提问于2013-09-22得票数 0
我有一个大文件在我的蓝色的blob存储容器。我想将我的文件从blob存储移到在azure>上创建的Linux上，如何使用数据工厂来实现这一点？或者是任何Powershell命令？
浏览 1提问于2019-08-30得票数 1
回答已采纳
在Linux中，如何使用给定的文本或十六进制模式创建一个大文件(比如DEADBEEFDEADBEEFDEADBEEF .)
我知道dd可以用来创建大型文件，但它不编写所需的文本或十六进制模式
dd if=/dev/urandom of=/tmp/bigfile bs=blocksize count=size
或
dd if=/dev/zero of=/tmp/bigfile bs=blocksize count=size
浏览 2提问于2017-12-07得票数 2
回答已采纳
我的ISP向我收费，如果我的服务器下载更多，然后上传。现在我有了2台linux机器。如何使其中之一向另一个发送100 on随机信息，而不在磁盘上创建大文件？
浏览 0提问于2011-12-26得票数 -3
回答已采纳
在linux上，当我们创建一个指向不同文件的符号链接时，将使用inode来存储原始文件的文件路径。因此，在这种情况下，如果我们创建一个指向已在缓冲区缓存中的大文件的符号链接，那么从符号链接中读取是否会在缓冲区缓存中找到该文件？
浏览 2提问于2011-09-25得票数 0
今天，我禁用了archlinux (即systemctl mask tmp.mount和创建自定义文件/etc/tmpfiles.d/tmp.conf)中描述的tmpfs。
然后我开始在文件夹/tmp中创建大文件(例如，dd if=/dev/zero of=/tmp/large.dat count=2097152给了我一个1GB的文件)。当我创建它们时，我注意到，mysqld开始使用更多的ram。现在我删除了我创建的所有大文件。我重新启动了几次，每次重启之后，我看到mysqld使用了大约2GB的RAM。我没有任何不寻常的程序/脚本在自动启动。我有普通的Arch Linux安装。我知道我可以禁用
浏览 0提问于2016-11-07得票数 0
回答已采纳
1回答
我需要下载一个包含未知层数的大文件夹到我的Linux (Redhat)服务器。
我去了网页版，它告诉我这个文件“太大了，无法下载”。人们说，你可以简单地检索下载URL，wget就可以完成这项工作。但是，查看该文件夹，除了“共享链接”之外，我没有看到任何检索URL的方法。
谁能和我分享一下递归下载一个大文件夹到linux服务器的最佳实践是什么？
浏览 4提问于2016-01-06得票数 2
在使用ofstream写入文件时，我如何知道文件大小何时达到操作系统的最大文件大小--更确切地说，是linux的最大文件大小?？
浏览 5提问于2008-09-25得票数 3
回答已采纳
我的操作系统和驱动器是
OS: Windows XP sp2 or Linux SUSE 9 or Cygwin
Compiler: Visual C++ 2003 or Gcc or Cygwin
PC and os are both 32 bits
那么，如何在秒内创建一个超大文件？
我被告知要使用MappingFile函数。我无法创建超过2G的文件，所以...您的热情回复将不胜感激
浏览 0提问于2009-11-30得票数 3
回答已采纳
1回答
在Windows上的Python中，我可以通过以下方式创建一个大文件
from mmap import mmap
f = open('big.file', 'w')
f.close()
f = open('big.file', 'r+')
m = mmap(f.fileno(), 10**9)
现在big.file大约是1千兆字节。然而，在Linux上，这将返回ValueError: mmap length is greater than file size。
有没有办法在Linux上获得与
浏览 4提问于2013-07-01得票数 6
回答已采纳
我的linux上有一个文件。我想通过"Windows共享“来共享它(IPMI只能理解一种远程大文件挂载的方式)。如何在科学linux的"Windows共享“上共享我的文件？
浏览 0提问于2015-08-07得票数 1
如何更改允许列出/传输的最大文件数...在suse linux上？客户端和服务器都是suse linux机器。
浏览 5提问于2011-04-20得票数 0
回答已采纳
我错误地使用touch在安装在linux中的windows驱动器上创建了一个大文件。
touch /mnt/<my_win_drive>/my_super_file...
注意，文件扩展名在"..“中。
我使用的是windows 7，但我认为所有windows版本都应该是相同的。
现在，我可以轻松地从linux中删除它：
rm /mnt/<my_win_drive>/my_super_file...
但是，如果我试图从资源管理器中删除它，那么它就失败了，说他找不到文件：
Could not find this item
This is no longer loc
浏览 4提问于2015-12-01得票数 0
回答已采纳
我试图找到在过去10天内在Linux中创建或修改的最大文件。
我想找到所有文件，这些文件的大小超过100 10，但都是在过去10天内创建的。
几乎沿着下面的路线
查找/ -type f -size +100000k -exec ls -lShr {}；AC.26 awk '{ print $9 "：“$5 }”-k 5 -r -h
-mtime -10 -ls
浏览 1提问于2022-09-17得票数 -1
我有一个来自不同文件夹的巨大文件列表，我需要将它们复制到另一个文件夹。
我已经创建了这些文件夹，我将复制它们。
我试过下面的代码：
for file in $(cat /home/pdf/report/folder/files.txt | sed $'s/\r//'); do cp "$file" /home/pdf/report/folder/dest.txt; done
Linux有什么解决方案吗？
浏览 0提问于2017-03-10得票数 1
2回答
如何通过OpenVZ使用服务器中的所有cpu核心(有4个核心) linux Debian到gziping更快的一个大文件
我正在尝试使用这些命令，但我不能把这些部分放在一起。
获取CORES=$(grep -c '^processor' /proc/cpuinfo)核数
这用于在更多的split -b100 file.big中拆分大文件
这是用于多核心find /source -type f -print0 | xargs -0 -n 1 -P $CORES gzip --best的gzip命令。
我不知道这是否是优化大文件gzip处理的最佳方法。
浏览 6提问于2014-06-24得票数 1
回答已采纳
2回答
我想根据linux中的行数将一个大文件拆分成多个文件。我读到过关于split和csplit的文章。这些命令提供了一个选项，通过使用-d选项为文件添加数值后缀，例如
split -d -l 100 largeFile.txt smallFile.txt.会用smallFile.txt.00，smallFile.txt.01 ....来创建小文件。但是我希望起始索引是01而不是00。Man pages没有提供太多关于这方面的信息。所以，在这方面请帮助我，有没有更好的方法来根据linux中的行数来拆分文件？
谢谢
浏览 2提问于2014-05-15得票数 5
如何使用一些Linux命令复制一个巨大文件的前几行，并在其末尾添加一行文本？
浏览 3提问于2009-08-25得票数 105
回答已采纳
1回答
我有以下linux命令：
os.system('cat *' + FILENAME + '*comp_value/' + VARINLASTLINE + '.csv | grep -v SOMETHING | sort -u > test.csv')
可以看到，我首先猫一些csv文件，grep删除最后一行，然后使用排序创建一个test.csv文件。然而，我将这样做的大列表的大文件，我不想创建虚拟的test.csv文件，每次我猫文件在一起。有没有办法直接将这些文件的猫输出到熊猫数据文件中，而不是创建csv文件？
浏览 8提问于2022-08-17得票数 0
4回答
我想在Linux中压缩一个目录。我创建了一个tar.gz，它变成了一个大文件，原因是目录中包含一些*.o文件和一些pdf文件。
是否有任何方法压缩目录，但排除大于预定义大小的文件？命令中有一个-排除参数，但是我想拒绝大于1MB的文件。这是约束，而不是文件的名称。
浏览 7提问于2012-03-02得票数 5
回答已采纳
Linux上是否有删除文件的命令，但首先对文件的内容进行零化？
所以如果我这么做了，像这样的事情：
rm -rf /var/cache/pacman/pkg/*
它将用0值覆盖该目录上的每个文件，然后删除它。
我需要它来压缩我的VMware图像文件，而不是首先创建包含零的超级大文件。
浏览 0提问于2013-09-25得票数 3
回答已采纳
2回答
如何在Windows中删除大文件路径/文件名文件。这对Linux -rf来说更糟。？
浏览 3提问于2017-05-20得票数 10
回答已采纳
我需要将某个指定文件夹中所有*.as文件的内容放入一个大文件中。
我如何在Linux shell中做到这一点？
浏览 4提问于2009-11-16得票数 0
回答已采纳
所以我在我的远程文件服务器(处于另一种状态)上做了一个递归scp，它在我的远程web目录上创建了一个无限的链接循环。
http://www.linuxquestions.org/questions/linux-general-1/recursive-scp-w-o-following-links-658857/说我可以尝试创建一个巨大的tar文件。但是，这有一个问题--我在办公室的Linux机器上运行递归scp，并将所有文件复制到我的外部硬盘驱动器中，这是FAT32格式的(因为我需要一些同时为UNIX和Windows所读的文件)。FAT32不支持大文件大小。所以我得尝试一些不同的东西。
还有一
浏览 0提问于2012-12-09得票数 6
我正在尝试确定哪个Powershell命令等同于下面的Linux命令，以便在合理的时间内创建一个大文件，大小准确，并填充给定的文本输入。
给定：
$ cat line.txt
!"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyz{|}~ZZZZ
$ time yes `cat line.txt` | head -c 10GB > file.txt # create large file
real 0m59.741
浏览 2提问于2021-02-03得票数 1
2回答
将shell输出中断为文件
、、、、
我知道我可以使用以下方法将脚本输出输出到文件中：
/path/to/script.sh >& path/to/output.log
问题是，我在Java中做了一个无限循环，我的shell将运行，因此输出文件将变得非常大。
是否有使用linux命令按最大文件大小来拆分日志的输出，或者我必须将输出Java改为控制台，以便按照最大文件大小分隔文件？
浏览 0提问于2013-08-14得票数 1
回答已采纳
2回答
我正在学习如何在终端中使用Linux命令并查找/重命名大文件。第一次尝试
find . -type f +size 1G
给出这条信息
查找:路径必须在表达式之前：+大小用法:查找-H -P -D帮助
什么是最好的方法
查找/重命名大文件
将它们移动到特定的文件夹
谢谢你，卡洛
浏览 7提问于2015-09-11得票数 0
1回答
首先是一些背景知识：
我正在创建一个处理大文件的Windows应用程序。我想在文件中插入(或删除)给定偏移量的数据，而不必重写后面的数据，我希望系统为我“扩展”或“收缩”文件。我知道在Linux上使用sed是可能的，但这对我没有帮助，因为我将主要处理二进制数据。
现在，有没有可能用.NET或本地C/C++来实现呢？任何提示都会很有帮助。
浏览 0提问于2015-03-28得票数 0
我有一个Windows和Linux，如果需要的话，我创建了一个200 to的分区来存储大文件。问题是，在我的Debian操作系统中，我无法添加文件夹或在其中放置新文件。分区位于/media/username/分区中。每当我想在文件夹程序中打开分区时，我必须输入我的根密码，即使这样，我也不能向其中添加文件。我已经重新安装了它，但是每次获得读/写许可都会遇到麻烦。另外，如果我想创建一个新的文件夹，我会得到这个目录不存在的错误，尽管它确实存在。在Windows操作系统上，我可以访问它，并使用它没有问题。对于如何使Linux上的使用和访问变得容易，有什么帮助吗？
浏览 0提问于2020-12-07得票数 0
回答已采纳
如何使用shell命令检查一个大文件在Linux中是否只包含零字节('\0')？我可以为此编写一个小程序，但这似乎有点过火了。
浏览 9提问于2013-11-26得票数 17
回答已采纳
我知道这在linux上是可能的。我尝试使用open("E:", 0);和open("E:\\", 0);，但它返回-1。我希望将DVD作为一个大文件读取，而不是将其用作文件系统。
浏览 2提问于2016-04-29得票数 0
3回答
我在一个目录中有大量的小文本文件。我想把每100个文件合并成一个大文件。有没有人能帮我写一个Linux Shell脚本来做这件事？
浏览 4提问于2012-06-10得票数 0
2回答
我试图在linux中使用git将一些文件上传到github。
我有一个大文件和一个不稳定的连接。上传被多次中断。
有没有办法上传这些文件可以恢复？
浏览 6提问于2016-01-10得票数 2
回答已采纳
假设我有一台Linux机器，它正被一些网络流量所困扰。可能是有人FTPing一个大文件，一群人下载一个大文件，等等。
我可以使用哪些选项来确定这一点？网民说，我已经看过了，但我不确定这是否就是我需要的。它至少可以告诉我端口，这样我就可以知道它是否是FTP，但是如果一个文件是DLed的，它就不会有帮助了。
浏览 2提问于2009-07-07得票数 1
2回答
我需要在/dev/shm中创建一个大文件(几to )。它是Linux机器上的RAMdisk。这必须是尽可能快的。我目前在C中使用5个单独的POSIX线程来创建连续的100M字节的段，然后我有另一个线程将它们连接到主输出文件中。
这很快，但我想走得更快。我可以消除连接线程吗？有没有办法打开一个文件，并让每个线程将它的100M字节段写到最终输出文件中的正确位置？
浏览 1提问于2013-06-07得票数 2
回答已采纳
CeNTOS Linux
要做什么:将最大文件大小设置为500 MB以文件"server.log“(示例)
怎么做？谷歌没有找到有效的解决方案。
浏览 2提问于2013-08-12得票数 1
回答已采纳
我正在我的网站上测试一些文件类型识别，如果用户上传了一个.txt文件，它会加载一个txt图标，如果他上传了一个.jpg文件，它会加载另一个图标。
我不想上传真正的wmv，avi，mp3，mp4和任何其他大文件，所以我在想:有没有办法创建一个假的1KB文件与任何文件类型？
我使用的是Linux，所以更改文件扩展名显然不起作用。
浏览 2提问于2012-10-25得票数 1
我用windows7在双引导下安装了ubuntu，windows 7 (C驱动器)磁盘大小为420 is，Linux驱动器大小为50 is。现在我在ubuntu上面临着太空问题。我不能在它们上重新安装任何一个，也不能调整窗口分区的大小(缩小)。
我正在考虑将一些大文件夹(如/opt、/bin、/sbin、/etc、/usr、/lib /tmp、/home/user/Desktop )移动到Windows驱动器的其他文件夹中，并为相同的in /创建一个链接。这会对linux系统产生任何影响吗?比如引导、执行命令、启动终端、运行安装的应用程序(如java、ruby等)？如果是，那么相同的其他解决方
浏览 2提问于2013-10-15得票数 1
回答已采纳
2回答
在linux中从音频文件中提取mfcc的最快方法是什么(我的例子是Raspberry Pi )。我试过sphinx3，但它对大文件来说很慢(在树莓派上)。SFS (语音文件系统)在windows上运行速度很快，但我无法在linux上安装它。请给我一些建议。
浏览 0提问于2013-12-19得票数 3
我有一个应用程序，需要处理大文件后，他们被上传到系统。在Linux中，是否可以检测文件夹更改并自动运行脚本，还是应该每分钟运行一次cron作业来查找新文件？
浏览 0提问于2009-08-02得票数 3
回答已采纳
如何从具有多个30位长整数的大文件中提取前三个整数，并输出前三个数字的和。在Linux终端上？
浏览 0提问于2022-07-27得票数 1
4回答
作为我工作的一部分，我经常需要上传大文件(例如512 MB到1GB ISO )。在某些情况下，从ISO到ISO的变化非常小(例如，1GB ISO中的10 MB文件)。不幸的是，我不能仅仅发送更改的文件-我需要发送整个ISO。更快的连接不是有效的解决方案。
是否有任何工具(最好是Linux，最好是免费的)可以创建和应用这样大的二进制文件？
浏览 0提问于2010-01-14得票数 3
回答已采纳
在Windows上，查找过去的EOF并截断文件(通过SetEndOfFile())允许预先分配一个大文件，而不实际将额外的零写入磁盘，如果之后，我按顺序写入文件(我会这样做)。
如何在Linux中实现同样的效果？ftruncate()似乎创建了一个稀疏文件，这不是我想要的，因为它不会减少磁盘空闲空间。这就留给了fallocate()，但是哪个文件系统支持这个函数(本地的，不是由glibc模仿的)，或者更好：
主流文件系统fallocate()**?**不支持的支持
浏览 5提问于2017-12-19得票数 0
一些编程语言提供了不能创建可以在任何机器上运行的自包含包的功能。
例如，dotnet核心程序可以自成体系，如下所示：
C#自带的应用程序可以是单个大文件，也可以是运行应用程序所需的所有文件的目录。该软件包可以针对Linux、mac或Windows。
在Python中，与上面描述的自包含应用程序包最接近的特性是什么？
浏览 0提问于2021-05-14得票数 0
回答已采纳
3回答
我想把Windows box上的一个大文件夹放到一个归档文件中(tar、zip、gzip等等)。有没有工具可以保存所有文件夹的时间戳？
在Linux机器上解压归档文件后，必须保存时间戳。
欢迎任何想法！
浏览 3提问于2011-03-23得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
