0927-Databricks X Tabular

Databricks 已同意收购由 Apache Iceberg 创建者领导的存储平台供应商 Tabular，以促进 Lakehouse 中的数据互操作性。

0926-Apache Iceberg的开源Catalog - Polaris Catalog

开源的文件和表格式因其互操作性潜力而引起了数据行业的极大兴趣，它使许多技术能够安全地在单个数据副本上操作。更高的互操作性不仅可以降低使用多种工具和处理引擎带来的...

0925-规划NameNode的heap

所有 Hadoop 进程都在 Java 虚拟机 (JVM) 上运行，每个守护进程都在集群中主机自己的 JVM 上运行。一般来说，生产集群的HDFS会配置Name...

0924-Hive on Tez性能调优

调优Hive on Tez查询没有一个通用的方法，查询的性能取决于数据的大小、文件类型、查询设计和查询模式。在做性能测试的时候，我们一般是通过调整配置参数或改写...

0923-7.1.9-使用S3 Gateway访问Ozone

1.要访问不在 /s3v 卷下的已有bucket，我们可以在/s3v卷中创建symlink

0922-7.1.9-使用Spark和Hive访问Ozone

0921-7.1.9-bucket布局和从HDFS拷贝数据到Ozone

4.使用ozone fs -cp命令复制文件的速度非常慢，因为只有一个客户端会在系统之间下载和上传文件。为了提升性能，需要让集群通过多个服务器并行地将文件直接从...

0920-7.1.9-Apache Ozone命令行简介

Ozone 客户端可以将 Ozone 作为文件系统和key-value存储进行访问，当 Ozone 与 HDFS 依赖项一起安装时，Ozone支持HDFS客户端...

0919-Apache Ozone安全架构

身份认证是 Ozone 组件识别用户身份的过程，Apache Ozone支持使用Kerberos和security tokens的强身份认证。

0918-Apache Ozone简介

Ozone 是 Hadoop 的分布式对象存储系统，具有易扩展和冗余存储的特点。Ozone 不仅能存储数十亿个不同大小的对象，还支持在容器化环境（比如 Kube...

0917-7.1.9-如何在CDP中使用H2安装YARN Queue Manager

CDP中的YARN Queue Manager是一个单独的服务，用来管理Capacity Scheduler配置，同时包含一个UI界面方便Hadoop管理员在全...

0916-5.16.2-如何将Hive元数据库从外部PostgreSQL转换到MySQL

2.停止Hive服务，在配置中搜索“database”，修改数据库配置到MySQL库

0915-7.1.7-Kafka Connectors for SAP HANA测试

Kafka原生没有提供SAP HANA的Connector，GitHub开源项目Kafka Connectors for SAP提供了kafka与SAP之间的C...

0914-7.1.7-如何用Doris创建Hive和Iceberg Catalog

Doris支持多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。Multi-Cat...

0913-7.7.1-Replication Manager使用优化

在当前CDP的大部分的场景中，PART_COL_STATS和TAB_COL_STATS这两张Hive元数据表都会比较大。因为这两张表是分别存放分区表和非分区表的...

0912-7.1.7-Impala同一查询耗时差距过大问题分析

本文档主要描述在日常业务业务查询过程中，元数据以及统计信息一切正常的情况下，发现同一SQL，在impala中查询kudu表，有时跑3~5秒，有时跑13多秒的情况...

0911-7.1.7-如何在CDP集群使用Flink SQL Client并与Hive集成

在前面Fayson介绍了《0876-7.1.7-如何在CDP中部署Flink1.14》，同时Flink也提供了SQL Client的能力，可以通过一种简单的方式...

0910-Apache Hive 4.x与Iceberg分支和标签

对于复杂的快照生命周期管理，Iceberg支持分支(branch)和标签(tag)，这些分支和标签是对具有自己独立生命周期的快照的命名引用，此生命周期由分支和标...

0908-CDP Private Cloud Base 7.1.9正式GA

八月再见，九月你好，今天是九月八日，新学年开始，Cloudera正式发布CDP Base 7.1.9和Cloudera Manager 7.11.3。此版本首次...

0901-安装Python3.8

CDP7.1.8及更高版本中Hue使用Python3环境，因此必须在集群的所有节点安装Python3.8。同时还必须为PostgreSQL、MySQL或Mari...