2回答
传输大量小文件
、、、、
当你的数据在MB甚至GB范围内时，通常的数据传输方法(scp、http和ftp实用程序，如curl或wget)可以很好地工作，但是当你有非常大的小文件集合(例如10KB)时，传输将非常慢，并且根本不会使用带宽
浏览 3提问于2018-12-16得票数 0
4回答
传输大量的小文件
、、
我尝试使用带有TAR的NC，但是传输速率非常慢，因为我在1Gbit/s链路上的平均吞吐量约为50 NC/S，流量几乎为零。
你能给我一些关于这种迁移的建议或经验吗?你是如何在合理的时间内正确完成的？
浏览 0提问于2015-04-27得票数 6
我想把这个iso文件传输到我的Linux机器上。
如何比较Linux机器中的校验和(在linux上哪个命令返回大小文件作为窗口)，以验证传输(ftp)是否成功？
浏览 0提问于2011-10-30得票数 0
回答已采纳
3回答
移动大量的小文件
、、
我必须将包含大量小文件(250 k，avg大小为5mb)的目录从一台服务器传输到另一台服务器。两者都运行在Debian上。是否有一个关于大量文件传输的协议是值得推荐的？
浏览 0提问于2011-03-26得票数 2
回答已采纳
5回答
使用java传输文件
、、、
我需要将大量的小文件传输到我的java程序中的远程计算机。我想知道是否有人能建议最好的方法.我需要传输，很多小文件，，它必须非常快。我应该使用一些现有的协议实现吗？也许是ftp？
浏览 6提问于2010-04-27得票数 0
回答已采纳
1回答
当通过各种形式的文件传输(如: FTP、SFTP、NFS和Samba )传输大量(几个GBs)数据时。他们都受到同样问题的困扰，多个小文件有时会阻碍MBs或KBs的速度--甚至超过10 10Gbps的链接。在可用的文件传输协议中，哪一种最适合于此？
浏览 0提问于2020-11-06得票数 2
回答已采纳
1回答
我上传了4000个压缩文件的大小为85KB的每个使用通过Linux服务器使用C#应用程序中的SFTP。整个过程需要30分钟。
有没有办法使用SFTP来加快上传速度？
浏览 3提问于2016-05-27得票数 3
我正在通过一个低速的，可能是错误的实验通信通道将一些文件从Linux机器转移到Windows机器上，我想测试这个通道。其中一个测试是在接收端传输大量大小文件并验证它们的加密散列。在Linux方面，我们使用md5sum生成文件散列，如下所示：然后将文件从Linux机器传输到Windows 10机器。
浏览 0提问于2020-07-22得票数 7
回答已采纳
我有一个大文件夹，2TB，在Linux机器上有1000000个文件。我想用焦油做一个包裹。我不关心tar文件的大小，所以我不需要压缩数据。我怎样才能加快tar的速度？或者，是否有任何好的方法在不同的文件夹之间和不同的服务器之间传输大量的小文件？我的文件系统是ext4。
浏览 0提问于2019-04-17得票数 13
3回答
我需要遍历文件，因为我需要更新DB中的一个表，我知道这可能是瓶颈，但不包括SQL更新；是否有更快的方法来传输这些文件？
浏览 1提问于2014-06-13得票数 1
回答已采纳
我正在一次下载千兆字节的数据(大量的小文件)，并希望通过使用HTTP请求来优化下载时间，而不是使用HTTPS，这是一个较慢的过程，尤其是在每次传输之前重复数千次。
浏览 2提问于2015-07-17得票数 2
回答已采纳
在同一网络中，两个Linux服务器之间的传输文件存在问题。在源服务器上，我有40055个小文件目录，目录大小为34 GB。我尝试用rsync命令传输这些文件：
rsync -ah --progress --inplace /dir/dir_with_files user@server:/dir/destination_dir传输后，在目标服务器上，我的目录大小为108 GB，而不是34 GB。
浏览 0提问于2014-02-15得票数 1
回答已采纳
最近，我从Windows转到Linux，并且一直存在同步OneDrive的问题。虽然onedrive-砂糖程序真的很酷，我真的很高兴使用它，但它有一个小问题。上传/下载许多小文件需要时间。问题是角需要大量的依赖(？)创造了大量的小文件。我想澄清一下，我有一个很好的网络连接。我已
浏览 0提问于2021-10-21得票数 0
我遇到的问题是，对于大量的小文件(读和写)，我的性能真的很差，当有很多10k文件时，我的传输速率大约是300 of (在本地客户机上的传输速度也没有那么快)。这个问题有什么解决办法吗？大文件传输良好(利用所有带宽)
浏览 0提问于2013-09-04得票数 2
1回答
我在S3 (4TB)上有大约80,000,000 DA的文件，我想把这些文件传输到冰川DA。我逐渐意识到，将大量的小文件传输到Glacier是一种低成本的做法。
浏览 6提问于2021-08-03得票数 1
回答已采纳
我已经下载了百万首歌曲数据集的一个子集，大约2 2GB。但是，数据被分解为文件夹和子文件夹。在子文件夹中，它们都是几种“H5文件”格式。我知道它可以用Python来读取。但是我不知道如何提取并加载到HDFS中，这样我就可以在Pig中运行一些数据分析。我是否将它们提取为CSV并加载到Hbase或Hive？如果有人能帮我找到合适的资源会很有帮助。
浏览 0提问于2015-10-10得票数 0
看起来这种情况只发生在大量的小文件中。当我复制一个大文件时，速度超过100 MB/s。
对于一堆小文件来说，是否有可能使samba更快？
浏览 0提问于2017-03-09得票数 0
4回答
我在Linux服务器中有大量的数据(300 an )。现在，我想使用ssh上的rsync传输到另一个Linux服务器。当我传输数据时，它在服务器上产生了巨大的负载。当在ssh上传输大量数据时，我可以知道如何避免服务器中的负载吗？
浏览 0提问于2012-01-20得票数 2
回答已采纳
4回答
我的一位朋友设计师正在手动编译他的小文件，并将其上传到Coda (远程站点)，花费了大量宝贵的时间。他问我：
是否有可能自动检测Linux服务器上的文件更改并立即进行编译？
浏览 18提问于2012-11-29得票数 10
回答已采纳
当我用rsync将一个大文件从一个服务器发送到另一个服务器时，我的传输速率达到130 m/S。有关于如何使rsync使用所有CPU的提示吗？
浏览 0提问于2010-10-29得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
