将HDP升级到CDP Base

大数据杂货铺

发布于 2022-03-29 19:49:07

8260

CDP 私有云基础版是 Cloudera Data Platform (CDP) 的本地版本。这款产品结合了 Cloudera Enterprise Data Hub 和 Hortonworks Data Platform Enterprise 的优点以及整个堆栈的新功能和增强功能。这种统一分发是一个可扩展且可定制的平台，您可以在其中安全地运行多种类型的工作负载。CDP 是一个简单、快速、安全的企业分析和管理平台，具有以下功能：

支持从 Edge 到 AI 的任何分析工作负载的摄取、管理和交付
提供企业级的安全和治理
提供对集中管理和安全业务数据的集成、多功能分析的自助访问
在公共云、多云和私有云部署上提供一致的体验

我们之前的一篇博客讨论了从传统平台到 CDP 私有云基础的四种途径。在此博客和随附的视频中，我们深入探讨了从 HDP3 就地升级到 CDP 私有云基础的机制。整体升级遵循如下所示的三个阶段过程。

在下面的视频中，我们将介绍 HDP3 到 CDP 私有云基础的完整端到端升级。请点击下面的link到YouTube上观看：如何从 HDP 升级到 CDP

就地升级概述

HDP3向 CDP 私有云基础过渡在准备集群升级（请参阅升级前阶段）后基本上涉及两个高级过程。

使用 Ambari 将 HDP 3.1.5 升级到 Cloudera Runtime 7.1.x。
将管理平台从 Ambari 过渡到 Cloudera Manager。

阶段1：升级前步骤

在继续升级之前，请查看文档中指定的 CDP 私有云基础先决条件。作为升级的起点，我们建议执行完整的集群运行状况检查（我们的专业服务团队也可以提供帮助）。充分了解集群的当前状态和运行状况对于成功升级至关重要。评估集群升级的准备情况也是值得的。您的 Cloudera 客户团队可以帮助您进行此评估。

升级前步骤的目标是为 HDP 集群做好升级准备，并确保集群满足最低版本要求以方便工作。这也是查看其他组件（如 OS、JDK 和后端数据库）的版本兼容性的好地方。请注意，您应该计划就地升级所需的停机时间。

还值得检查 HDP 组件的任何行为变化和应用程序与 CDP 私有云库中新版本组件的兼容性。至少应该期望审查任何 API 更改并重新编译任何应用程序。在某些情况下，如果应用程序依赖于已删除且不受支持的组件，则它们可能需要更改。

最后，我们还建议您对集群配置、元数据、其他支持详细信息和后端数据库进行完整备份。提供HDP2和HDP3的完整详细信息。

阶段2：升级步骤

升级活动可以分解为四个任务：

A- 查看并执行升级清单步骤

在升级之前，建议您查看升级清单以确认集群运行正常以及大型集群的任何先决条件
从 Ambari 下载集群蓝图
查看管理包 ( MPacks )的兼容性
还建议您对集群进行完整备份，包括：
- 关系型数据库管理系统
- ZooKeeper数据
- HDFS 主节点数据目录
- Ambari Config 目录数据

B- 升级Ambari

升级 Ambari 独立于升级 HDP 集群。升级 Ambari 的高级过程如下所示。

升级 Ambari 后，下载带有主机的集群蓝图。由于 Ambari 已升级到 Ambari7，因此必须按照步骤升级Ambari Infra、Ambari Logsearch 和 Ambari Metrics。

升级 Ambari 后，请确保集群运行正常并通过服务检查，然后再尝试 HDP 升级。如果升级运行状况不佳的集群，您可能会在需要回滚集群的过程中遇到故障。

C- 将 HDP3 升级到 HDP 7中间状态

执行 HDP中间状态升级的高级流程如下：

基本上这些步骤包括：

审查先决条件
进行备份
执行升级前步骤
注册存储库
安装软件包
执行升级
执行HDP 升级后任务

D- 过渡到 Cloudera Manager

升级到 HDP7 完成后，继续将 Ambari 托管集群过渡到 Cloudera Manager (CM)。这是使用AM2CM 工具实现的。在使用该工具之前，您必须遵循这些准备步骤。

对集群中部署的服务和组件执行过渡前步骤。
Cloudera Manager 安装和设置——这包括在所有主机上安装 Cloudera Manager Agent和安装 Cloudera Manager Server和数据库。

一旦预转换步骤完成并且 CM 安装并运行，下一步就是通过 AM2CM 将 Ambari 托管集群转换为 CM。此工具的目的是将 Ambari 蓝图转换为 Cloudera Manager 部署模板。下图描述了 AM2CM 工具的使用。

如图所示，AM2CM 发生以下高级步骤

为工具提供已下载的 Ambari 蓝图
AM2CM 将蓝图转换为 CM 部署模板
将转换后的模板导入 Cloudera Manager
通过 Cloudera Manager UI 启动服务，并验证集群

AM2CM 工具转换服务配置。但是，您必须配置并执行额外的步骤来启动 CDP Private Cloud Base 中的服务。过渡到 CM 后，执行以下步骤以确保部署的正确性：

查看所有服务的配置警告
查看所有服务的 JVM 参数、log4j 和其他配置，因为某些 JVM 参数和配置未转换
如果需要，为服务生成 Kerberos 凭据
对于每个服务，在启动集群之前完成转换后步骤

完成所有转换后步骤后，查看所有警告和配置，然后启动集群中的服务。

阶段3：升级后步骤

升级后步骤包括应用程序升级测试、验证、配置和调整。这些是您应该在升级之前识别并运行的任务，允许您比较升级前和升级后的测试结果。这些测试还应包括由于平台更改而需要更改代码的应用程序的任何部分。您必须验证各种应用程序和服务的功能和性能，并相应地调整服务的调优参数。新功能和产品行为可能会改变工作负载的性能特征并需要进一步调整。这也是向集群添加任何较新服务（如 Hue）的合适时机。

作为升级后步骤的一部分，如果您在集群上配置了 LDAP，您可能希望在 CM 中设置外部身份验证和授权。