2回答
将shell输出中断为文件
、、、、
我知道我可以使用以下方法将脚本输出输出到文件中：
/path/to/script.sh >& path/to/output.log
问题是，我在Java中做了一个无限循环，我的shell将运行，因此输出文件将变得非常大。
是否有使用linux命令按最大文件大小来拆分日志的输出，或者我必须将输出Java改为控制台，以便按照最大文件大小分隔文件？
浏览 0提问于2013-08-14得票数 1
回答已采纳
2回答
如何通过OpenVZ使用服务器中的所有cpu核心(有4个核心) linux Debian到gziping更快的一个大文件
我正在尝试使用这些命令，但我不能把这些部分放在一起。
获取CORES=$(grep -c '^processor' /proc/cpuinfo)核数
这用于在更多的split -b100 file.big中拆分大文件
这是用于多核心find /source -type f -print0 | xargs -0 -n 1 -P $CORES gzip --best的gzip命令。
我不知道这是否是优化大文件gzip处理的最佳方法。
浏览 6提问于2014-06-24得票数 1
回答已采纳
我的ISP向我收费，如果我的服务器下载更多，然后上传。现在我有了2台linux机器。如何使其中之一向另一个发送100 on随机信息，而不在磁盘上创建大文件？
浏览 0提问于2011-12-26得票数 -3
回答已采纳
在Linux系统上，我需要创建一个大文件(大约10 On )，不可压缩文件。
该文件应该驻留在Docker映像中，这是测试在本地注册表中传输和存储大型坞映像时的性能所必需的。因此，我需要图像“本质上”大(即:不可压缩)，以绕过优化机制。
fallocate (在中描述)可以非常快地创建大文件，但是结果是一个0熵的大文件，高度可压缩。当将大图像推送到注册表时，只需要很少的MB。
那么，如何创建一个大型的uncompressible文件呢？
浏览 6提问于2021-03-05得票数 0
回答已采纳
我有一个大文件在我的蓝色的blob存储容器。我想将我的文件从blob存储移到在azure>上创建的Linux上，如何使用数据工厂来实现这一点？或者是任何Powershell命令？
浏览 1提问于2019-08-30得票数 1
回答已采纳
2回答
我有一个非常大的文件，我正在使用linux "split“命令将其拆分成较小的部分。稍后，我使用linux "cat“命令将所有部分重新组合在一起。
不过，在此期间，我很好奇...
如果我在拆分之前在大文件上获得了MD5指纹，然后在拆分命令产生的所有独立文件部分上获得MD5指纹，是否有办法获取独立指纹并以某种方式推断出它们各部分的总和或平均值(或您喜欢的所有部分)等于单个大文件的指纹？
通过(非常)松散的例子...
bigoldfile.txt MD5 = 737da789
smallfile1.txt MD5 = 23489a89
smallfile2.txt MD5 = 1
浏览 4提问于2011-04-06得票数 1
回答已采纳
1回答
最近，我在Linux机器上的一个java构建过程运行得很慢。我怀疑导致运行缓慢的原因之一是进程达到了最大文件描述符限制。我没有权限知道我的构建过程使用了多少文件描述符。那么，如果进程达到最大文件描述符限制，Linux会记录到文件中吗?我可以检查是否因为最大文件描述符限制而使构建过程变慢。
浏览 3提问于2011-07-27得票数 0
在使用ofstream写入文件时，我如何知道文件大小何时达到操作系统的最大文件大小--更确切地说，是linux的最大文件大小?？
浏览 5提问于2008-09-25得票数 3
回答已采纳
我试图创建一个模拟Linux头部的函数：
Function head( )
{
[CmdletBinding()]
param (
[parameter(mandatory=$false, ValueFromPipeline=$true)] [Object[]] $inputs,
[parameter(position=0, mandatory=$false)] [String] $liness = "10",
[parameter(position=1, ValueFromRemainingArguments=$true)]
浏览 0提问于2016-12-14得票数 0
如何更改允许列出/传输的最大文件数...在suse linux上？客户端和服务器都是suse linux机器。
浏览 5提问于2011-04-20得票数 0
回答已采纳
1回答
我需要下载一个包含未知层数的大文件夹到我的Linux (Redhat)服务器。
我去了网页版，它告诉我这个文件“太大了，无法下载”。人们说，你可以简单地检索下载URL，wget就可以完成这项工作。但是，查看该文件夹，除了“共享链接”之外，我没有看到任何检索URL的方法。
谁能和我分享一下递归下载一个大文件夹到linux服务器的最佳实践是什么？
浏览 4提问于2016-01-06得票数 2
我正在我的网站上测试一些文件类型识别，如果用户上传了一个.txt文件，它会加载一个txt图标，如果他上传了一个.jpg文件，它会加载另一个图标。
我不想上传真正的wmv，avi，mp3，mp4和任何其他大文件，所以我在想:有没有办法创建一个假的1KB文件与任何文件类型？
我使用的是Linux，所以更改文件扩展名显然不起作用。
浏览 2提问于2012-10-25得票数 1
我有我的笔记本电脑，大部分时间都在上网，网速很慢。当我下载一些大文件时，我无法浏览网站，因为网速很慢。我的计划是编写一个bash脚本并在cron作业中运行它，当它发现系统空闲时，它会自动启动一个进程(该进程将下载大文件，最好是wget)，当我使用笔记本电脑时，该进程将被终止。类似于屏幕保护程序(我在上找到了一些方法，但我没有在我的机器上使用屏幕保护程序，我也不想依赖gnome应用程序，比如xscreensaver )。我用的是Ubuntu linux，有没有办法找到合适的Linux机器的空闲时间。
idle =无键盘、触摸板或鼠标单击。
有没有办法以这种方式发现网络活动，比如如果他们没有互联网
浏览 0提问于2010-08-18得票数 7
我有两个大文件。
a.qcow2是16 is。
b.qcow2是17 is。
前16 95的b.qcow2与a.qcow2的95%相同。
哪些Linux命令将允许我生成两个文件之间的增量？(其大小应小于2GB )。
哪些linux命令允许我将增量应用于a.qcow2以产生与b.qcow2相同的输出？
增量格式是否有安全措施，如源和目标大小和散列？
浏览 0提问于2020-10-25得票数 4
2回答
如何在Windows中删除大文件路径/文件名文件。这对Linux -rf来说更糟。？
浏览 3提问于2017-05-20得票数 10
回答已采纳
4回答
作为我工作的一部分，我经常需要上传大文件(例如512 MB到1GB ISO )。在某些情况下，从ISO到ISO的变化非常小(例如，1GB ISO中的10 MB文件)。不幸的是，我不能仅仅发送更改的文件-我需要发送整个ISO。更快的连接不是有效的解决方案。
是否有任何工具(最好是Linux，最好是免费的)可以创建和应用这样大的二进制文件？
浏览 0提问于2010-01-14得票数 3
回答已采纳
我的linux上有一个文件。我想通过"Windows共享“来共享它(IPMI只能理解一种远程大文件挂载的方式)。如何在科学linux的"Windows共享“上共享我的文件？
浏览 0提问于2015-08-07得票数 1
我正在为我的网站准备一个web服务器(gentoo linux，nginx，php-fpm，php)。在配置期间，我转到了pm.max_children配置中的FPM值。默认值为50。如果我计划用php提供一些大文件，每个客户端会在下载过程中阻塞整个线程吗？第51个客户端尝试打开网站/开始下载时会发生什么情况？
根据我所读到的--一个孩子=一个线程。如果我的服务器运行在四核、最新的xeon系列、32 If ddr3的cpu上，那么这个cpu /系统能支持多少个客户端或线程？
linux中是否有最大打开套接字/线程/进程的限制？操作系统是gentoo amd64 (全新安装)，nginx 1.4
浏览 2提问于2013-05-05得票数 1
回答已采纳
1回答
我想设计我的平台来计算一些东西，结构是，
一个大文件(可能是5 5gb或10 5gb) 20线程并执行不同的算法
我目前的结构是20个线程自己打开大文件，然后逐行读取，由每个线程执行。然而，我想设计一个新的结构，只打开大文件一次，每个线程读取相同的内存块，
我研究了mmap和multiprocess.array，但仍然不知道如何安全和容易地应用它。
有人能帮我吗？谢谢。
浏览 0提问于2014-05-06得票数 0
2回答
我正在学习如何在终端中使用Linux命令并查找/重命名大文件。第一次尝试
find . -type f +size 1G
给出这条信息
查找:路径必须在表达式之前：+大小用法:查找-H -P -D帮助
什么是最好的方法
查找/重命名大文件
将它们移动到特定的文件夹
谢谢你，卡洛
浏览 7提问于2015-09-11得票数 0
如何使用一些Linux命令复制一个巨大文件的前几行，并在其末尾添加一行文本？
浏览 3提问于2009-08-25得票数 105
回答已采纳
3回答
我想在Linux中对一个包含数百万行字符串的大型文件进行洗牌。我尝试了'sort -R'，但是它非常慢(一个16M大文件需要大约50分钟)。有更快的实用工具，我可以用它来代替它吗？
浏览 4提问于2013-02-06得票数 20
我正在为文件生成散列值，以此作为禁止小型数据库中重复文件的一种手段。当我研究的时候，我发现了下面的帖子：
为什么第一个答案对于大文件来说是“效率不高”，而它最适合于小字符串，而dentex提供的答案更适合于大文件？是因为解决方案的编程方式，还是因为MD5散列有一个我不知道的警告？
浏览 0提问于2020-05-11得票数 0
CeNTOS Linux
要做什么:将最大文件大小设置为500 MB以文件"server.log“(示例)
怎么做？谷歌没有找到有效的解决方案。
浏览 2提问于2013-08-12得票数 1
回答已采纳
我需要将某个指定文件夹中所有*.as文件的内容放入一个大文件中。
我如何在Linux shell中做到这一点？
浏览 4提问于2009-11-16得票数 0
回答已采纳
如何从具有多个30位长整数的大文件中提取前三个整数，并输出前三个数字的和。在Linux终端上？
浏览 0提问于2022-07-27得票数 1
2回答
在linux中从音频文件中提取mfcc的最快方法是什么(我的例子是Raspberry Pi )。我试过sphinx3，但它对大文件来说很慢(在树莓派上)。SFS (语音文件系统)在windows上运行速度很快，但我无法在linux上安装它。请给我一些建议。
浏览 0提问于2013-12-19得票数 3
1回答
我使用php (mime.php)在邮件中附加了大约0.5到1mb的大文件
我附加文件并发送邮件，但在邮箱中，文件名未知，也不显示正文。所以请让我高兴。
如何用php (LAMP)上传邮件中的大文件？
浏览 2提问于2012-04-28得票数 0
我有一台我正在维护的服务器，在每周的基础上，我基本上要删除一些大文件，比如旧备份，还有什么不能阻止服务器崩溃和达到最大容量。虽然今天我注意到，我通过运行"sudo . -size +10000 k -exec ls -sd {} +“列出了所有的大文件
我发现这三个大initrd.img文件弹出了。
📷
现在我明白了这是我的内核。通过运行"uname -r“，我得到了输出”4.15.0-64-泛型“。这是否意味着我可以安全地删除4.15.0-96-泛型和4.15.0-99-泛型？
只有一个文件似乎很直观，但是我没有尝试删除任何东西，因为我不知道初始的ram磁盘到底是如何工作的。
浏览 0提问于2020-05-13得票数 2
我正在寻找在python中压缩大文件夹(大约30 Go )的更快的方法。压缩级别不是优先级。我尝试过一些库，如tarfile或zipfile。你知道其他图书馆吗？我的脚本运行在Linux上，像gzip、bzip2或xz这样的Linux命令更快吗？欢迎任何建议。
谢谢
浏览 1提问于2016-02-02得票数 2
回答已采纳
1回答
我们正在使用Azure Node.js Linux应用程序服务，当我们尝试上载大约30MB的大文件时遇到以下错误
我们是否有更改请求正文大小的设置？
浏览 44提问于2020-03-06得票数 0
是否有任何方法限制用户可以上传到samba (linux)共享的文件的最大文件大小？我在文档中找不到任何东西，但似乎应该存在这类东西。
浏览 0提问于2012-08-21得票数 3
回答已采纳
2回答
我有一个从我的服务器1直接链接的大文件。
http://xx.com/linux1.iso (3 gb)
我需要上传到我的第二个服务器与php (我没有一个很好的adsl，我有更多的大文件，只有一个星期移动所有网站)
有没有可能在服务器2上创建一个php脚本，将带有直接链接的文件从服务器1复制到服务器2？
浏览 0提问于2013-09-22得票数 0
我刚刚(通过scp)将一堆.gz文件从Windows机器传输到我的Linux机器上。它们是大文件，所以我通过比较文件大小来检查它们是否已经完全传输了。我复制到我的Linux上的文件比Windows机器上的原件大0.097%。我很好奇是什么导致了这种差异？我在Linux上使用了ls -l，并查看了Windows上的属性以获得文件大小信息。
浏览 0提问于2016-05-23得票数 2
我知道这在linux上是可能的。我尝试使用open("E:", 0);和open("E:\\", 0);，但它返回-1。我希望将DVD作为一个大文件读取，而不是将其用作文件系统。
浏览 2提问于2016-04-29得票数 0
1回答
我从postgres那里得到了一个转储，它创建了一堆CSV，它们在几个大文件中具有单(')和双(")字符。
如何在linux中将它们替换为\“和”？
谢谢!
浏览 3提问于2016-07-15得票数 0
回答已采纳
2回答
我正在写大文件，大小在70 -700 70之间。有没有人有经验，如果内存映射文件将比常规的块编写更有效？代码将在c++中运行，并在Linux2.6上运行
浏览 2提问于2012-05-08得票数 1
如何使用shell命令检查一个大文件在Linux中是否只包含零字节('\0')？我可以为此编写一个小程序，但这似乎有点过火了。
浏览 9提问于2013-11-26得票数 17
回答已采纳
2回答
对于Linux NFSv3服务器，是否有任何方法查看有关实际文件访问的统计信息？换句话说，我希望看到每一个文件读或写的时间戳日志。
动机:我有几个NFS服务器，它们将被某种“大铁”存储系统所取代。在我的特殊情况下，NFS客户端负载实际上是大文件的所有读取(平均约700 MB)。一个供应商的解决方案使用一个大型RAM磁盘作为缓存，以提供我所需要的大规模随机读取吞吐量。
我想要的是一种研究NFS文件访问模式的方法，这样我就可以“调整”缓存的大小。
浏览 0提问于2011-04-07得票数 4
3回答
我在一个目录中有大量的小文本文件。我想把每100个文件合并成一个大文件。有没有人能帮我写一个Linux Shell脚本来做这件事？
浏览 4提问于2012-06-10得票数 0
当将频繁访问的python对象存储为单独的cPickle文件而不是将所有对象存储在一个大架子上时，IO效率是否更高，这是由于linux磁盘缓冲区缓存？
在效率方面，磁盘缓冲区缓存在这两个场景中的操作是否不同？
可能有数千个大文件(通常在100Mb左右，但有时是1 Gb)，但RAM很大(例如64 Gb)。
浏览 0提问于2010-10-31得票数 4
回答已采纳
2回答
我试图在linux中使用git将一些文件上传到github。
我有一个大文件和一个不稳定的连接。上传被多次中断。
有没有办法上传这些文件可以恢复？
浏览 6提问于2016-01-10得票数 2
回答已采纳
假设我有一台Linux机器，它正被一些网络流量所困扰。可能是有人FTPing一个大文件，一群人下载一个大文件，等等。
我可以使用哪些选项来确定这一点？网民说，我已经看过了，但我不确定这是否就是我需要的。它至少可以告诉我端口，这样我就可以知道它是否是FTP，但是如果一个文件是DLed的，它就不会有帮助了。
浏览 2提问于2009-07-07得票数 1
我正在开发一个将大量数据写入磁盘的c++程序。下面的函数对数据进行gzip压缩并将其写出到文件中。压缩后的数据大小约为100 of。压缩写出数据的函数如下：
void constructSNVFastqData(string const& fname) {
ofstream fastq_gz(fname.c_str());
stringstream ss;
浏览 0提问于2018-03-13得票数 0
我想要生成内容，但从一个大文件，而不是一个一行提示符。
我的文件包含60k个字符。
是否有像GPT-3这样的AI库可以接收大文件并生成类似的内容？
浏览 4提问于2022-08-31得票数 -1
1回答
我想要更改文件的加密字节，但是当我对大文件使用readAsBytes()方法时，我得到了内存溢出错误。那么有没有办法用更少的内存来加密大文件呢？谢谢
浏览 10提问于2021-01-05得票数 0
回答已采纳
我有一个应用程序，需要处理大文件后，他们被上传到系统。在Linux中，是否可以检测文件夹更改并自动运行脚本，还是应该每分钟运行一次cron作业来查找新文件？
浏览 0提问于2009-08-02得票数 3
回答已采纳
我正在尝试对openstack快速对象存储进行一些负载测试，并希望看到大文件的传输和失效率。我如何生成一个0的大文件，并将其作为生成的文件流到某个地方？
在巴什，我会做一些类似的事情
dd if=/dev/zero | aws s3 cp - s3://destination/thing
从磁盘读取文件的示例
with open("test.png", "rb") as f:
client.put_object("default", "photos/my_copy_of_test.png", f.read())
浏览 0提问于2018-08-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
