2回答
我是在本地模式下运行大文件54 GB的猪。我观察到它按顺序产生了大量的地图任务。我所期望的是，也许每个地图任务都是读取64 MB的行。所以如果我想优化这个，或者读取1GB的等量行，谢谢
浏览 2提问于2015-05-28得票数 0
回答已采纳
我在S3中存储了两个(或更多)并行文本文件--即第一个文件中的第一行对应于第二个文件中的第一行，等等。我希望将这些文件作为列读入一个dataframe中。做这件事最好/最简单/最快的方法是什么？
浏览 2提问于2017-10-18得票数 0
回答已采纳
如何找到第三大文件并读取前5行？ls -s /file/path \##.#^ls#.
如何使用此文件名读取前5行并插入新文件？
浏览 2提问于2022-11-23得票数 -2
回答已采纳
假设我们有一个包含行的大文件，如下所示1 105 abc 1 100我如何按块读取并处理数据？如果我以块的形式读取数据，如何确保在每个块的末尾完成每个ID的记录？
浏览 5提问于2016-10-26得票数 1
回答已采纳
1回答
我有一些读大文件的代码。根据我想要的文件大小( a)按行读取和处理文件行( b)如果不是很大，首先将整个文件读入内存，然后完成工作。
浏览 1提问于2019-10-18得票数 1
回答已采纳
2回答
按顺序读取大文件
、、、
如何在Linux上以尽可能快的速度处理(以只读方式) C/C++中的大二进制文件？通过read还是mmap？缓冲区大小是多少？(没有提振或其他任何东西。)
浏览 5提问于2011-12-21得票数 3
回答已采纳
我有一个非常大的数据集，我无法读取整个数据集。所以，我正在考虑只读其中的一部分来训练，但我不知道该怎么做。任何想法都将不胜感激。
浏览 2提问于2014-05-25得票数 147
回答已采纳
3回答
我逐行读取大文件中的文本数据。如果不读取整个文件超过1次，我怎么做？
(我读取了行，并立即处理它，所以我不能返回)
浏览 2提问于2011-12-14得票数 4
回答已采纳
1回答
因此，我正在进行一个新项目，我需要从PL/SQL中读取类似CSV的大型文件，并将数据插入到表中。这些文件大约是400 K行，我不确定最好的方法。有什么方法可以按块读取大文件，还是使用更多的审批工具呢？我找不到关于这个问题的任何有用的帖子。
提前谢谢你！
浏览 9提问于2022-02-17得票数 2
回答已采纳
在Java 8中，我看到在Files类中添加了名为line ()的新方法，它可以用于逐行读取Java中的文件。它对巨大的文件有用吗？我的意思是，我们能不能先加载1000行，然后再加载1000行。我有1GB的大文件，能用吗？
有人能分享代码片段如何使用吗？
浏览 6提问于2015-07-24得票数 8
回答已采纳
javadoc声明：
在这种情况下，什么构成了一个大文件？(我也很好奇为什么它不被推荐用于大型文件。是实际的I/O问题，还是用于存储读取结果的内存大小？)
浏览 1提问于2017-02-04得票数 5
回答已采纳
3回答
部分gz解压可行吗？
、、、
为了处理存储为.gz文件的图像(我的图像处理软件可以读取.gz文件以获得更短/更小的磁盘时间/空间)，我需要检查每个文件头。为了读取压缩的图像，我别无选择，只能解压缩整个文件，然后检查这个头文件，这当然会减慢我的程序。打开大文件Fdecompress大文件Fread 500字节h
浏览 28提问于2014-05-15得票数 13
回答已采纳
5回答
但是我采用了python的方式，所以问题是我想要将我的数据文件的第一列从1行重新编号到#行。按读取行读取文件是个好主意吗？对于小文件可能是这样，但对于大文件我想不是。
浏览 0提问于2011-01-09得票数 1
回答已采纳
我在试着读大文件。目前，我正在跟踪关于如何读取大文件的NodeJS文档，但是当我读取一个略大的文件(~1.1MB，~20k行)时，我的电子应用程序冻结了大约6分钟，然后应用程序完成了所有行的加载。人们显示大文件的方式有哪些？
浏览 4提问于2017-02-27得票数 1
回答已采纳
我的应用程序读取一个5MB - 10MB的大文件，该文件是用json条目逐行输入的。问题是，file_get_contents将整个文件作为一个数组加载，整个系统会运行一分钟。什么是实现我需要的最有效的方法，哪种文件读取方法是最好的？
我有fopen、fread、readfile、file和fscanf要应付。然而，当我阅读他们的man时-所有的代码都是读取
浏览 2提问于2014-03-17得票数 2
1回答
我需要从/到压缩的文本文件中读写大量的字符串(每行90个字符)。这是我使用的代码：out.write((stringData+NewLineConstant).getBytes());
BufferedReader buffered
浏览 1提问于2012-02-23得票数 2
嗨，我有一个非常简单的路径，从FTP位置读取一个文件。当我部署到服务组合(Jboss)中时，它会按预期读取文件。我怎么解决这个问题？
浏览 2提问于2014-09-10得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
