这就是 [slimarray] 要做的事情.
使用 [slimarray], 可以将数据容量减小到gzip差不多的大小, 同时还能允许直接访问这些数据!...测试中我们选择了2组随机数, 以及现实中的2份数据, 一个ipv4的数据库, 一个 [slim] 的star变化数据, 服用 [slimarray] 后效果如下:
在达到gzip同等压缩率的前提下,...前缀压缩的思路就是把每个元素的公共部分提取出来单独存储, 这样每个单独元素就只需要存储它跟公共部分差异的部分, 从而大大降低存储空间....(因为公共部分在大多数情况中都在前面(例如现实中大部分被存储的数据都是排序的, 或近似于排序的), 所以一般提取公共部分的压缩都是前缀压缩)
在这个例子中, 我们看到最小的数是1005, 那么就把它作为公共部分提取出来...按照这种思路, 在给定数组中找到一条曲线来描述点的趋势, 再用一个比较小的delta数组修正曲线到实际点的距离, 得到原始值, 就可以实现大幅度的数据压缩.