开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Cloudera沙箱2.6.5不保存设置

Cloudera沙箱2.6.5是一个虚拟机镜像，用于学习和开发大数据相关的技术。它基于Cloudera的Hadoop分布式文件系统和Hadoop生态系统构建，提供了一套完整的大数据解决方案。

Cloudera沙箱2.6.5的主要特点和功能包括：

Hadoop分布式文件系统：Cloudera沙箱2.6.5包含了Hadoop分布式文件系统（HDFS），可以实现高可靠性、高容量的数据存储和处理。
MapReduce：Cloudera沙箱2.6.5支持MapReduce编程模型，可以进行大规模数据的分布式计算。
HBase：Cloudera沙箱2.6.5集成了HBase，提供了高可扩展性和高性能的NoSQL数据库解决方案。
Hive：Cloudera沙箱2.6.5集成了Hive，可以进行数据仓库和数据查询分析。
Pig：Cloudera沙箱2.6.5支持Pig，提供了一种数据流脚本语言，用于大规模数据的ETL（抽取、转换、加载）操作。
Spark：Cloudera沙箱2.6.5集成了Spark，可以进行高速、通用、分布式的数据处理和机器学习任务。
Impala：Cloudera沙箱2.6.5支持Impala，提供了高性能的SQL查询分析引擎。
ZooKeeper：Cloudera沙箱2.6.5包含了ZooKeeper，用于分布式应用程序的协调和服务发现。
Sqoop：Cloudera沙箱2.6.5支持Sqoop，用于在Hadoop和关系型数据库之间进行数据传输。
Oozie：Cloudera沙箱2.6.5集成了Oozie，用于编排和调度Hadoop作业。

关于Cloudera沙箱2.6.5不保存设置的问题，可能是由于以下原因：

虚拟机环境重置：Cloudera沙箱2.6.5是基于虚拟机镜像的，如果虚拟机环境被重置，之前的设置会被清除。
配置文件修改：如果对Cloudera沙箱2.6.5的配置文件进行了修改，可能会导致设置无法保存，因为配置文件的更改可能会被覆盖或重置。

为了解决Cloudera沙箱2.6.5不保存设置的问题，可以尝试以下方法：

检查虚拟机环境：确保虚拟机环境没有被重置或损坏。如果需要，可以重新安装或恢复Cloudera沙箱2.6.5。
检查配置文件：确认配置文件没有被修改或被重置。可以备份配置文件，并在需要时进行恢复。
使用持久化存储：可以将Cloudera沙箱2.6.5的设置和数据存储在外部存储设备上，例如使用虚拟机的快照功能或导出/导入虚拟机的配置。

腾讯云相关产品和产品介绍链接地址：

云服务器CVM：提供灵活可扩展的云服务器，用于搭建和运行Cloudera沙箱2.6.5。详情请参考：https://cloud.tencent.com/product/cvm
对象存储COS：提供安全可靠、高扩展性的云端存储服务，适用于存储Cloudera沙箱2.6.5中的大数据。详情请参考：https://cloud.tencent.com/product/cos
云数据库TDSQL：提供一体化、全托管的数据库解决方案，适用于存储和管理Cloudera沙箱2.6.5中的数据。详情请参考：https://cloud.tencent.com/product/tdsql
云监控CMON：提供全方位的监控和运维管理工具，可用于监控和管理Cloudera沙箱2.6.5的运行状态。详情请参考：https://cloud.tencent.com/product/cmon

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

EditPlus如何设置保存时不产生.bak备份文件？

大家在使用EditPlus时都会遇到这么一个问题，就是每次保存或者修改后保存时都会生成一个.bak后缀的文件，这个是一个缓存文件。那如何才能不生成该缓存文件呢？操作如下图所示： ?

1.4K2 0

0481-如何从HDP2.6.5原地升级到CDH6.0.1

内容概述 1.测试环境说明 2.保存相关元数据 3.停止HDP和Ambari服务 4.卸载Ambari和HDP 5.安装Cloudera Manager 6.安装CDH 7.其他问题测试环境 1.HDP2.6.5...2.比较HDP2.6.5和CDH5.16.1的组件版本 HDP2.6.5 CDH6.0.1 Hadoop2.7.3 Hadoop3.0 Hive1.2.1 Hive2.1.1 HBase1.1.2 HBase2.0...3.自动升级，我们进入Cloudera官方提供的Hive元数据升级目录 [root@ip-172-31-4-109 ~]# cd /opt/cloudera/parcels/CDH/lib/hive/scripts...查看以下内容前强烈建议你已经仔细阅读过Fayson之前的文章《0480-如何从HDP2.6.5原地迁移到CDH5.16.1》。...停止服务前确认Hive表，HBase，HDFS已经没有写入，然后让HDFS进入安全模式，保存检查点。 4.卸载旧的集群前务必备份好关键数据，包括NameNode的元数据，Hive的元数据库等。

1.4K2 0

0544-CDSW1.5的新功能

1.5的主要更新是C6中终于可以使用CDSW了，另外HDP2.6.5和HDP3.1中也可以使用CDSW。...1 CDSW1.5的新功能 1.Cloudera Enterprise 6.1支持 Cloudera Data Science Workbench现在支持Cloudera Manager 6.1.x (...HDP 2.6.5和HDP 3.1.0。...Versions CDH5 CDH6 Base engines 6 (and lower) Yes No Base engines 7 (and higher) Yes Yes 2 CDSW1.5中不兼容的更改...3 CDSW1.5修复的问题 1.修复了RPM安装中忽略NO_PROXY设置的问题。Cloudera Bug: DSE-4444。 2.修复了由于Web pod的IP问题导致CDSW无法启动的问题。

1.2K3 0

0480-如何从HDP2.6.5原地迁移到CDH5.16.1

内容概述 1.测试环境说明 2.保存相关元数据 3.停止HDP和Ambari服务 4.卸载Ambari和HDP 5.安装Cloudera Manager 6.安装CDH 7.其他问题测试环境 1.HDP2.6.5...50000条 6.比较HDP2.6.5和CDH5.16.1的组件版本，因为本次迁移主要是保证HDFS，Hive和HBase的数据不丢，其他的组件比如Spark，Zookeeper等比较意义不大，重新安装...4 保存相关元数据 1.使用Ambari停止HBase服务 ?...cloudera-scm:x:997:994:Cloudera Manager:/var/lib/cloudera-scm-server:/sbin/nologin apache:x:48:48:Apache...4.数据库设置，Hive的元数据库依旧是直接连的之前HDP集群中的那个database ?

8324 0

Cloudera 复制插件为Hbase启用平台复制

Cloudera数据平台（CDP）是Cloudera的最新大数据产品。Apache HBase和Phoenix作为CDP平台的一部分。...复制插件支持从以下源HBase集群进行复制： CDH 5.14 CDH 6.3 HDP 2.6.5 HDP 3.1.5 EMR 5.28 HBase复制 HBase提供了成熟、功能丰富的复制功能已有近十年的历史...建立信任迄今为止，HBase复制要求所有参与的集群具有相同的安全性定义，换句话说，所有集群必须没有启用kerberos安全性（身份验证配置设置为simple），或者所有集群都必须启用kerberos的安全性...（身份验证配置设置为）。...如果您有兴趣在您的环境中部署Cloudera OpDB复制插件，请与您的Cloudera客户团队联系。

7153 0

如何在CDH中安装Kudu&Spark2&Kafka

1.概述在CDH的默认安装包中，是不包含Kafka，Kudu和Spark2的，需要单独下载特定的Parcel包才能安装相应服务。...Kudu后，默认Impala即可直接操作Kudu进行SQL操作，但为了省去每次建表都需要在TBLPROPERTIES中添加kudu_master_addresses属性，建议在Impala的高级配置项中设置...172-31-6-148.fayson.com:7051 3.Spark2安装集群的jdk版本为jdk1.7.0_67，从Spark2.2.0版本后不再支持Java7、Python2.6和Hadoop2.6.5...spark2.1.0]# [e6pzdxc4fe.jpeg] 3.验证是否部署成功 [3kl12xhi2d.jpeg] 3.3安装Spark2 1.通过CM管理界面配置Spark2的Parcel地址并保存...kafka2.1.1.18]# [puydng82ii.jpeg] 3.验证是否部署成功 [e331a3b4ix.jpeg] 4.3安装Kafka服务 1.通过CM配置Kafka的Parcel包地址并保存

5.8K9 1

Hadoop HDFS分布式文件系统Docker版

如果mac系统版本在10.13 以上，还会遇到创建网卡失败的问题，要注意关闭系统安全特性设置。...ssh-keygen 生成公钥，保存到authorized_keys中。配置JDK,hadoop的环境变量。...hadoop-2.6.5.tar.gz 保存到与Dockerfile同一个目录，会自动解压到/opt目录下。注意hadoop的环境变量基石/opt/hadoop-2.6.5/bin下。...其实笔者不希望这样，对于docker的公钥问题留下待解决的问题。 ...在构建Dockerfile的时候，ssh_config文件StrictHostKeyChecking no，设置在首次ssh登录的时候，不用询问。

3.8K2 0

如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡

3.修改Hive配置 ---- 1.使用管理员登录Cloudera Manager的Web控制台，进入Hive服务 [um7dum6jfg.jpeg] 2.在配置项搜索“HiveServer2 Load...Balancer” [2nr8p0fjil.jpeg] 保存配置，回到CM主页根据提示重启相应服务。...groupId>org.apache.hadoop hadoop-client 2.6.5... （可左右滑动） 2.配置JDBC的地址为HAProxy服务所在的IP端口为10099 package com.cloudera.hivejdbc...java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; /** * package: com.cloudera.hivejdbc

1.6K3 0

CDP-DC7.1中的 YARN：新增功能和升级方法

CDP DC 7.1是Cloudera Data Platform的本地部署版本。...Cloudera Manager本身也支持FPGA调度，有关如何使用Cloudera Manager配置YARN的详细信息，请参见此页面。...使用YARN Queue Manager UI，可以设置调度程序级别的属性和队列级别的属性。您还可以使用YARN队列管理器UI查看、排序、搜索和过滤队列。...此功能负责按设置的时间间隔聚合日志。该时间以秒为单位，可由用户配置。滚动日志聚合主要用于运行时间较长的应用程序，例如Spark流作业。...其他版本不适用临时升级步骤/手动将数据复制到CDP集群 HDP 2.6.5 2.7.3 支持临时步骤 HDP 3.x 3.1.1 不支持如果您想访问有关受支持版本的更多详细信息，请参阅受支持的升级路径

1.3K3 0

如何部署active-active的Hadoop集群

比如在集群A上运行生产作业，研究开发或沙箱测试则基于集群B。这种集群分离，可以让一些Ad-hoc的作业更加灵活的运行在集群B而不会影响到生产系统。...这个规定是为了将公司的数据以最小的距离分开保存在不同的地方从而保护数据，以确保各种灾难都不会造成丢失数据。...3.3.完整的工作负载隔离 ---- Cloudera企业版具备许多内置的功能在单个集群中来保护各种工作负载不互相影响，包括CPU,内存和磁盘的使用控制。...你可以通过设置Flume的interceptor和serializer，从而对数据进行一些转化处理在写入最终目标存储前。 ?...在数据沙箱环境中使用和生成的数据，或者用来作为ad-hoc研究的数据通常不需要备份。重要的是EDH用户不用考虑集群间的带宽是否已经被占满了，我们也不希望管理员让用户停止实验或者研究。

1.6K3 0

【大数据版本对比】Hortonworks HDP2.x到3.x技术演进及版本梳理

---- 2、HDP2.6.5版本：主要升级了Kafka和Spark的版本，并无明显新特性。...官网DOC： https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.5/bk_release-notes/content/new_features.html...终于是意识到做为一家开源软件公司，封装了一堆零散的组件，形成了一个平台产品，但是做为一个技术型产品，门槛是很高的，这是一个商业险话题，我们不讨论。...还是那句话，只论技术，不讨论。...3.6.6.更好的依赖管理 HBase现在内部隐藏了通常不兼容的依赖，以防止出现问题。你也可以使用隐藏的客户端jars，这将减轻现有应用程序的负担。

3.5K4 0

Hive12到Hive3升级规划工具

如何使用包含在 Github 自述文件中：https://github.com/dstreev/cloudera_upgrade_utils/blob/master/hive-sre/README.md...这是用于 HDP 的较低 MySql 支持的环境 5.7Yes 5.7Yes 8.0NoCDH/HDP 不支持MariaDB10.1不，但应该像 10.2 一样工作 10.2Yes PostgreSQL9.6No...我已经尝试尽可能多地匹配 HDP 2.6.5 和 3.1.x 及CDH5/6支持的数据库。获取二进制文件使用预建的二进制文件！！！...field-separator="|" loc_scan_missing_dirs.md > loc_scan_missing_dirs_sorted.txt 原文链接：https://github.com/dstreev/cloudera_upgrade_utils

1.2K3 0

CDP-DC中部署Hive Server

审核修改审核修改不涉及，直接进入到下一页面。 6. “命令详细信息”页面显示了操作状态。完成后，系统管理员可以在stdout下查看安装日志。 ? ? ? 7....2) 在“选择依赖项”页面上，选择要Hive on Tez设置的依赖项： ? Hive on Tez的依赖项都是必选项，默认选中。...4) 审核修改审核修改不涉及，直接进入到下一页面。 5) “命令详细信息”页面显示了操作状态。完成后，系统管理员可以在stdout下查看安装日志。 ? ? ?...可以看出是Yarn的container设置的问题，去yarn中调整container的资源。...保存更改后重启hue。然后再次登录hue，可以看到Hive引擎 ? ?

8424 0

从遗留发行版到CDP的四种升级和迁移路径

基于要从其升级的旧平台，这种升级过程将保留一些现有设置以及用于各种服务的其他配置。在过渡到CDP私有云基础版时，Cloudera替换了多个旧组件。...在可能的情况下，Cloudera会提供了工具和自动化功能的升级过程，以帮助将这些旧组件转换为等效的CDP组件。...许多服务的现有设置和配置将保持不变。没有其他环境或相关开销。缺点从CDP私有云基础7.1.6开始，就地升级当前仅限于HDP2.6.5，HDP3.1.5和CDH5.13 +。...该方法还可以推广到非Cloudera发行版。缺点此方法需要一组重复的硬件，以与旧版环境一起实施未开发的CDP集群。这种新硬件可能会对资本支出和预算产生重大影响。...了解更多要计划升级或迁移到CDP私有云基础版，请联系您的Cloudera客户团队，他们将安排一些时间与您一起探讨可用的选项。

9492 0

CDSW1.4的新功能

Cloudera Bug: DSE-3301 3.修复了使用IE11的几个问题（文件创建，保存等）。...每个项目你都需要单独设置。...默认是/opt/cloudera/parcels cd /opt/cloudera/parcels （可左右滑动） 3.复制一份不兼容的第三方parcel。...Cloudera Bug: DSE-2238 2.当env参数未设置时，Spawning remote workers在R中会失败。...即保存在这些目录中的任何文件将无法从定制engine上运行的会话访问。解决办法：在用于创建定制引擎的Dockerfile中创建一个新的自定义目录，并将文件保存到该目录。

1.1K3 0

做大数据再不用提心吊胆了！

在cloudera manager中查看了一番之后发现，cloudera的agent只关心自己的目录，对主机里的其他目录则麻木不仁，正所谓，各人自扫门前雪，莫管他人瓦上霜！...真是人心不古，世风日下。 ? 如果想在cloudera集群中监控其他硬盘，则需要利用cloudera提供的触发器。在主机上找到图表库，下面有现成的一些图表，这样轻轻松松就找到了想监视的硬盘 ?...在图表上点击齿轮，把它保存到仪表盘，然后点击创建触发器 ? 在这编辑页面稍作修改，就可以作为触发器了 ?...FILESYSTEM AND last(capacity_used/capacity) > 0.90) DO health:bad 这个语句表示"/data"所在的文件系统，使用容量除以总容量超过90%就把主机状态设置为不良...，这时cloudera就会及时发出报警，醍醐灌顶，当头棒喝。

5706 0

CDP中的Hive3系列之启动Apache Hive3

作为管理员，您在操作系统和 Ranger 中设置最终用户。在第一次启动 Hive 之前，您可能需要检查您是否受基本操作所需的 Ranger 策略的保护，如以下步骤所示。...将 Hive CLI 脚本转换为 Beeline 如果您有使用 Hive CLI 从边缘节点运行 Hive 查询的遗留脚本，您必须解决这些脚本中变量替换的潜在不兼容性。...在此任务中，您将解决旧 Hive CLI 脚本和 Beeline 中的不兼容问题：配置变量问题：除非允许，否则您不能使用hiveconf命名空间在脚本中引用配置参数。.../env_to_hivevar.sh` 定义和导出变量以保存一些用于测试转换的变量。...保存配置更改，并根据需要重新启动任何组件。

1.3K3 0

0844-5.16.2-如何清理hue元数据库里面的历史数据

1.文档编写目的在hue的使用过程中，由于hue会永久的保存所有数据，并且不会自动的去清理desktop_document, desktop_document2, oozie*, beeswax*这些...4.修改相关脚本权限 chmod 700 /opt/cloudera/hue_scripts/script_runner ?...需要确保设置的keep-days内数据不超过3万。假如设置了keep-days为30天，数据仍有10万，那么就需要将keep-days 继续调小直到数据量保持在30,000以内。...3.总结 1.需要确保hue数据库相关表查询出来的数据不超过3万。...2.根据集群的使用情况，可以设置一个定时任务来定期的进行历史数据的清理，保证hue服务性能稳定。

1.6K3 0

0515-如何对Cloudera Manager的数据库密码进行脱敏

Manager使用的数据库账号密码信息保存在/etc/cloudera-scm-server目录下的db.properties文件中，但打开该文件进行查看发现数据库的password选项为明文，所示：...这种方式如果直接在文件中保存密码明文，对于一些企业的生产安全要求有时候是不能接受的，Cloudera官方没有提供直接对该文件中的密码明文进行脱敏的方式，但给出了另外一种方法。...3.屏蔽db.properties文件中的旧的password属性条目，新增以下内容，并保存该文件。...3 总结 1.Cloudera Manager的数据库密码默认以明文的方式保存在单独的文件中，该文件的权限较小(600)，只有root和cloudera-scm用户才能查看。...3.CM运行时，如果/etc/cloudera-scm-server/db.properties文件中不包含com.cloudera.cmf.db.password_script属性，系统会开始查找com.cloudera.cmf.db.password

1.2K1 0

使用SAML配置身份认证

配置Cloudera Manager 1) 登录到Cloudera Manager管理控制台。 2) 选择管理>设置。 3) 为类别过滤器选择外部身份认证以显示设置。...8) 在“ SAML签名/加密专用密钥的别名”属性中，设置用于标识供Cloudera Manager使用的专用密钥的别名。 9) 在“ SAML签名/加密私钥密码”属性中，设置私钥密码。...10) 在以下情况下，设置SAML实体ID属性： • 同一IDP使用了多个Cloudera Manager实例（每个实例需要一个不同的实体ID）。 • 实体ID由组织政策分配。...• 如果将使用外部脚本，请在“ SAML角色分配脚本的路径”属性中设置该脚本的路径。确保脚本是可执行的（可执行二进制文件很好-不必是Shell脚本）。 13) 保存更改。...Cloudera Manager不参与该过程的这一部分，您必须确保IDP正常工作以完成身份认证。

4K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭