我有一个带有VZFS文件系统的VPS主机。如何确定VZFS分区的最大文件大小?
UPD:自由空间(或全部空间)不是我所需要的。有时文件不能占用一个空穴分区卷- fat16有2Gb的限制是一个很好的例子。我需要使用一个大型数据库文件(例如,64 it ),所以我需要知道VPS托管的文件系统是否能够处理它。ext3文件系统使用tune2fs很容易计算,但是VPS通过Virtuozzo使用VSFS,而且它被记录为糟糕。对于linux中的某些文件系统,是否有计算最大文件大小的通用方法?
我主要想把一个大文件分解成更小的文件。
我使用流是因为我不想将大文件保存在我的磁盘中。
我所看到的是类似于:
sed -n 'a,bp,' #this uses lines in file while i want bytes
或者:
cat filename|head -c a| tail -c (a-b) # this way takes too long with big files
如何让dask中的所有其他工作节点都可以访问一个8 GB的大文件?我已经在chunksize和client.scatter上尝试过pd.read_csv(),但这需要很长时间。我正在macOS上运行它。
这是我的代码:
import time
import pandas as pd
import dask as dask
import dask.distributed as distributed
import dask.dataframe as dd
import dask.delayed as delayed
from dask.distributed import Client, pr