闵开慧-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

闵开慧

专栏成员

237

文章

406706

阅读量

51

订阅数

Error: Could not find or load main class org.apache.hadoop.mapred.YarnChild

hadoop yarn node.js 大数据

执行hadoop classpath 在hadoop配置文件 yarn-site中添加以下配置 <property> <name>yarn.application.classpath</name> <value>/home/hadoop/hadoop-3.3.1/etc/hadoop:/home/hadoop/hadoop-3.3.1/share/hadoop/common/lib/:/home/hadoop/hadoop-3.3.1/share/hadoop/common/:/home/

2021-08-05

1.3K0

centos7中ssh需要密码

ssh kerberos api linux hadoop

# OpenBSD: sshd_config,v 1.100 2016/08/15 12:32:04 naddy Exp

2021-08-05

9090

Kafka、RocketMQ、RabbitMQ、ActiveMQ比较MQ消息队列的技术应用Kafka、RocketMQ、RabbitMQ比较消息队列选择建议

rabbitmq 大数据 apache 开源分布式

以及实现了JMS(Java Message Service)标准的OpenMQ。

2021-07-27

9230

曾经做过的40道程序设计课后习题总结（四）

java 编程算法

曾经做过的40道程序设计课后习题总结（四）课后习题目录 1 斐波那契数列 2 判断素数 3 水仙花数 4 分解质因数 5 杨辉三角 6 学习成绩查询 7 求最大公约数与最小公倍数 8 完全平方数 9 统计字母、空格、数字和其它字符个数 10 求主对角线之和 11 完数求解 12 求s=a+aa+aaa+aaaa+aa...a的值 13 高度计算 14 乘法口诀 15 无重复三位数 16 菱形打印 17 利润计算 18 第几天判断 19 从小到大输出数列 20 猴子吃桃

2018-04-02

1.7K0

曾经做过的40道程序设计课后习题总结（三）

编程算法 java

曾经做过的40道程序设计课后习题总结（三）课后习题目录 1 斐波那契数列 2 判断素数 3 水仙花数 4 分解质因数 5 杨辉三角 6 学习成绩查询 7 求最大公约数与最小公倍数 8 完全平方数 9 统计字母、空格、数字和其它字符个数 10 求主对角线之和 11 完数求解 12 求s=a+aa+aaa+aaaa+aa...a的值 13 高度计算 14 乘法口诀 15 无重复三位数 16 菱形打印 17 利润计算 18 第几天判断 19 从小到大输出数列 20 猴子吃桃问题 21 乒乓球比赛 22 求分数之

2018-04-02

1.1K0

曾经做过的40道程序设计课后习题总结（二）

曾经做过的40道程序设计课后习题总结（二）课后习题目录 1 斐波那契数列 2 判断素数 3 水仙花数 4 分解质因数 5 杨辉三角 6 学习成绩查询 7 求最大公约数与最小公倍数 8 完全平方数 9 统计字母、空格、数字和其它字符个数 10 求主对角线之和 11 完数求解 12 求s=a+aa+aaa+aaaa+aa...a的值 13 高度计算 14 乘法口诀 15 无重复三位数 16 菱形打印 17 利润计算 18 第几天判断 19 从小到大输出数列 20 猴子吃桃问题 21 乒乓球比赛 22 求分数之

2018-04-02

7980

云存储深层解析

云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。全球数据量的猛增使得存储日益成为一个更独立的专业问题，越来越多的企业开始将存储作为单独的项目进行管理。同时，持续增长的数据存储压力带动着整个存储市场的快速发展。云存储（cloud storage）这个概念一经提出，就得到了众多厂商的支持和关注。Amazon在两年前就推出的Elastic Compute

2018-04-02

7.1K0

Unable to instantiate org.apache.hadoop.hive.metas

云数据库 SQL Server hive jdbc 数据库 sql

hive启动后运行命令时出现： FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 这种情况一般原因比较多，所以需要进行hive调试：进

2018-04-02

8520

win8不能解析DNS导致不能访问外网问题

dns 运维 windows server

win8不能解析DNS导致不能访问外网问题 win8系统以前都可以正常上网，早上发现不能访问外网问题，内网可以访问。找运维同事查看后，发现是DNS不能解析问题，这个问题可能是win8自身的bu

2018-04-02

4.5K0

Java自学之道（二） Java开发环境准备

Java自学之道（二） Java开发环境准备　　这里主要讲JDK的配置，JDK的安装和安装一般的应用软件一样，下载JDK 安装就可以了，但安装后主要是配置好才可用。我相信很多初学者和我刚开始一样，安装好JDK以后就直接点击桌面上的Java图标，这种行为虽然看起来很可爱，但即使是对于现在的大牛来说，他曾经也可能这样干过，这其实没有什么可笑的，对于每个初学者来说这很正常。我之所以着重讲一下JDK的配置，因为这个事情确实烦人。其实环境变量的配置只要设置path就可以了，classpath可以不管。下面是具

2018-04-02

8540

Java自学之道介绍

java 编程算法

Java自学之道介绍 Java自学之道是Java入门非常合适的参考资料，里面使用大量生活中的实例，将抽象的理论形象化，让大家更容易理解。同时，里面含有大量面试练习题让大家进行操练，帮助大家尽快上手。本书特色： 1、从学生自己的角度出发该书从学生的角度出发，因为知识的接受者是我们，我们会更加了解我们自己需要什么样的知识以及什么样的学习方法。 2、避免繁琐，一语中的解释概念该书不像Java教材那么繁琐难懂，该书力求精简和经典，一语中的点出每个知识点的学习重点，目的

2018-04-02

9820

总结5种比较高效常用的排序算法

编程算法存储 java

1 概述本文对比较常用且比较高效的排序算法进行了总结和解析，并贴出了比较精简的实现代码，包括选择排序、插入排序、归并排序、希尔排序、快速排序等。算法性能比较如下图所示： 2 选择排序选择

2018-04-02

8710

Hadoop2.3.0上部署Mahout0.10，并测试单机版与分布式版个性化推荐程序

Hadoop2.3.0上部署Mahout0.10，并测试单机版与分布式版个性化推荐程序 1 Eclipse中Hadoop2.3.0及Mahout0.10相关jar包部署 Hadoop2以上需要使用Mahout0.10以上版本才可以直接运行，否则需要重新编译Mahout相关jar包。本文直接使用Mahout0.10版本，执行前在Eclipse中分别倒入Hadoop2.3.0和Mahout0.10相关jar包即可。Eclipse中Hadoop2.3.0jar包部署见上篇文章：eclipse中ha

2018-04-02

7430

intellij13中svn安装配置

svn windows hadoop

1 在windows中安装配置svn，和一般安装svn一样。 2 intellij13中svn配置 2.1 设置svn路径如下图所示点击fix it进入下一步，如图所示不勾选Use c

2018-04-02

5970

多个字段中如何按其中两个进行排序（二次排序）

多个字段中如何按其中两个进行排序（二次排序） 1 原理二次排序就是首先按照第一字段排序，然后再对第一字段相同的行按照第二字段排序，注意不能破坏第一次排序的结果。这里主要讲如何使用一个Mapreduce就可以实现二次排序。Hadoop有自带的SecondarySort程序，但这个程序只能对整数进行排序，所以我们需要对其进行改进，使其可以对任意字符串进行排序。下面会分别列出这两个程序的详解。 Hadoop自带的例子中定义的map和reduce如下，关键是它对输入输出类型的定

2018-04-02

4.9K0

如何恢复hadoop中被删除的文件

hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件被移动到了hdfs的.Trash文件夹中，恢复时只需将该文件夹中文件拿出即可。具体操作如下： 1 设置.Trash文件夹如果需要恢复hdfs中文件，就需要设置.Trash，hadoop的.Trash默认是关闭的。具体设置如下： <property> <name>fs.trash.interval</name> <value>10080</

2018-04-02

3.9K0

spark出现GC overhead limit exceeded和java heap space

spark java yarn jvm hadoop

spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh中将下面两个参数调节的尽量大 export SPARK_EXECUTOR_MEMORY=6000M export SPARK_DRIVER_MEMORY=7000M 注意，此两个参数设置需要注意大小顺序： SPA

2018-04-02

4.9K0

spark on yarn提交任务时一直显示ACCEPTED

spark yarn shell hadoop

spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注：spark on yarn是不需要启动spark集群的，只需要在提交任务的机器配置spark就可以了，因为任务是由hadoop来执行的，spark只负责任务的提交。任务提交命令为 bin/spark-submit --class org.apache.spark.examples.JavaWordCount\ --mas

2018-04-02

3.9K0

map函数或reduce函数中如何调用第三方jar包

mapreduce 云数据库 SQL Server

一般我们在mapreduce程序中调用第三方jar包时会出现找不到jar包的问题，检查发现jar包就在相应路径，mapreduce任务就是找不到。仔细想想会发现，这个jar包是放在执行mapreduce主程序机器上的内存中，一般为客户端机器。而我们在map或者reduce函数中调用该jar包时是在集群的机器上的内存中调用，这样怎么可以调用。可以使用以下方法： 1 把jar包提前放在集群每天机器上。 2 和集群调用mysql驱动程序一样，先将jar包放入hdfs，然后通过mysql的d

2018-04-02

1K0

Permission denied: user=root, access=WRITE

hive apache hadoop

hive> create database bbs; FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WRITE, inode="/user/hive/warehouse":hadoop:hadoop:drwxrwxr-x 原因：本地用户administra

2018-04-02

2K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态