pyarrow.parquet模块，可以读取和写入Parquet文件，以及进行一系列与Parquet格式相关的操作。例如，可以使用该模块读取Parquet文件...

Aapche Parquet是一种能有效存储嵌套数据的列式存储格式，在Spark中应用较多。

从华为A集群中将我们的数据迁移到华为B集群，其中数据经过华为集群管理机local跳转。

数据格式层：定义了存储层文件内部的组织格式，计算引擎通过格式层的支持来读写文件；从分层视角下的数据形态来看

暴力枚举左端点 i，再二分一个右端点满足 k|\gcd(i,r)，再在该区间二分满足 \gcd(i,r)==k。

Parquet继承了Protocol Buffer的数据模型。每个记录由一个或多个字段组成。每个字段可以是atomic字段或者group字段。Group字段包含...

现在通过调用DataFrameWriter类的parquet()函数从PySpark DataFrame创建一个parquet文件。当将DataFrame写入p...

Spark SQL 端到端的完整优化流程主要包括两个阶段：Catalyst 优化器和 Tungsten。其中，Catalyst 优化器又包含逻辑优化和物理优化两...

在非常多的问题中，例如商品推荐数据存储（大量的用户和商品，还有购买金额等信息），金融数据存储（大量的标的，价格等），我们不可避免的都会碰到数据过大的问题，如果对...

让我选最核心的特性的话，我会选择第二个。在大数据领域，我们也是一步步进化的，从最早的数据存储采用纯文本，到后面ORC/Parquet等面向读的格式。但是他们都存...

最近一段时间（本文写作于2020-07-10）geopandas与geoplot两个常用的GIS类Python库都进行了一系列较为重大的内容更新，新增了一些特性...

Delta Lake 现阶段判定一条数据是不是已经存在是比较暴力的，直接做一次全表join（如果有分区会好点）。这样可以得到待更新记录所在的文件路径。在特定...

Flink读parquet import org.apache.flink.core.fs.Path import org.apache.flink.forma...

Hudi将记录写入数据 parquet文件或日志 log文件，而这些文件在内存中是如何进行管理呢？如之前的文章中提到过的 HoodieFileGroup、 Fi...

　　最近一段时间（本文写作于2020-07-10）geopandas与geoplot两个常用的GIS类Python库都进行了一系列较为重大的内容更新，新增了一些...