大数据压缩处理：数据分卷压缩和分卷压缩解压

一、前言

最近工作有个需求，用kettle run了好几天的数据，最终产生了1W个文件，94G的大小 公司作为供应商需要提供处理之后的数据给甲方，虽然提供了VPN， 但是网络不稳定会有数据丢失的情况，数据分卷压缩可以很好地解决这个问题 10G的数据，使用好压分卷压缩，每个分卷1G，压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性

二、数据分卷压缩

1、右键点击文件，选择“添加到压缩文件”

2、压缩文件格式选择“7Z”，压缩分卷大小这里选择了1G

 压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾，文件大小只有6.1个G

三、分卷压缩解压

分卷压缩文件只需要解压第一个文件，软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可，并且在同一文件夹下，否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压

linux解压7z文件需要先安装解压工具

yum -y install p7zip 

解压命令

7za x filename.7z.001