文章/答案/技术大牛

发布

问hadoop的实验貌似挂了？

提问于 2017-10-08 13:50:18

回答 1关注 0查看 587

java.lang.UnsupportedClassVersionError: org/apache/hadoop/mapreduce/lib/output/SequenceFileAsBinaryOutputFormat : Unsupported major.minor version 52.0

格式化namenode时报错了

apache

mapreduce

hadoop

回答 1

御姐万岁

发布于 2017-10-09 05:05:21

没挂，这和服务器与实验室没多大关系，这是Hadoop的通病。

解决方法：先用./zkServer.sh start 启动各个zookeeper，再用./ hadoop-daemon.sh start journalnode启动各个NodeName上的 JournalNode进程。然后再进行格式化即可。

和开发者交流更多问题细节吧，去写回答

Hadoop集群安装配置实验

ssh hadoop 面向对象编程 node.js linux

一、环境四台 VirtualBox上的Linux虚机，每台硬盘20G，内存768M。 IP与主机名： 192.168.56.101 master 192.168.56.102 slave1 192.168.56.103 slave2 192.168.56.104 slave3 主机规划： 192.168.56.101做master，运行NameNode和ResourceManager进程。其它三台主机做slave，运行DataNode和NodeManager进程。操作系统：CentOS release 6.4 (Final) java版本：jdk1.7.0_75 hadoop版本：hadoop-2.7.2 二、安装前准备 1. 分别在四台机器上建立grid用户 useradd -d /home/grid -m grid usermod -G root grid 2. 分别在四台机器上的/etc/hosts文件中添加如下内容 192.168.56.101 master 192.168.56.102 slave1 192.168.56.103 slave2 192.168.56.104 slave3 以下的操作均使用grid用户执行。 3. 分别在四台机器上安装java（安装包下载已经到grid用户主目录）： cd ~ tar -zxvf jdk-7u75-linux-x64.tar.gz 4. 配置免密码ssh（这里配置了任意两台机器都免密码）（1）分别在四台机器上生成密钥对： cd ~ ssh-keygen -t rsa 然后一路回车（2）在master上执行： cd ~/.ssh/ ssh-copy-id 192.168.56.101 scp /home/grid/.ssh/authorized_keys 192.168.56.102:/home/grid/.ssh/ （3）在slave1上执行： cd ~/.ssh/ ssh-copy-id 192.168.56.102 scp /home/grid/.ssh/authorized_keys 192.168.56.103:/home/grid/.ssh/ （4）在slave2上执行： cd ~/.ssh/ ssh-copy-id 192.168.56.103 scp /home/grid/.ssh/authorized_keys 192.168.56.104:/home/grid/.ssh/ （5）在slave3上执行： cd ~/.ssh/ ssh-copy-id 192.168.56.104 scp /home/grid/.ssh/authorized_keys 192.168.56.101:/home/grid/.ssh/ scp /home/grid/.ssh/authorized_keys 192.168.56.102:/home/grid/.ssh/ scp /home/grid/.ssh/authorized_keys 192.168.56.103:/home/grid/.ssh/ 至此，免密码ssh配置完成。三、安装配置hadoop 以下的操作均使用grid用户在master主机上执行。 1. 安装hadoop（安装包下载已经到grid用户主目录）： cd ~ tar -zxvf hadoop-2.7.2.tar.gz 2. 建立目录 cd ~/hadoop-2.7.2 mkdir tmp mkdir hdfs mkdir hdfs/data mkdir hdfs/name 3. 修改配置文件（1）编辑~/hadoop-2.7.2/etc/hadoop/core-site.xml文件，添加如下内容，如图1所示。 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.56.101:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/grid/hadoop-2.7.2/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> </configuration>

用户1148526

2022/05/07

4680

GitHub 挂了

其他

“见鬼？？？”，一位 Twitter 用户评论道，“我创建了一个公共存储库, 但当我敲下代码时, Git 客户端告诉我存储库不存在。此外，我无法打开http://github.com 中的存储库，甚至不能创建一个新的同名存储库。我需要帮助@GitHub。”

AI科技大本营

2018/11/23

8560

openshift空间挂了

云计算 https 网络安全

作者：matrix 被围观: 1,345 次发布时间：2013-04-04 分类：兼容并蓄 | 无评论 »

HHTjim 部落格

2022/09/26

3630

你的进程，为啥挂了？

kafka 消息队列 CMQ 版其他

你的进程，为啥挂了？进程挂了，这个问题大家并不陌生。学完这篇，你会对进程有一定了解。后面碰到进程挂的情况，你很快能找到对应解决思路。

陌溪

2021/11/12

5710

Fedora 配置 Spark 实验环境（一）安装Hadoop、Spark

linux

实验环境建议使用jdk11，如果 java version 显示的是之前安装的其它版本jdk，可以切换到新安装的jdk11:

esse LL

2023/05/25

1K0

Hadoop学习笔记之-使用bind配置DNS实验

bind com localhost root var

Red Hat Enterprise Linux Server release 5.6

星哥玩云

2022/06/29

4820

OpenAI，面试总结，挂了...

内容理解开源 openai 工作面试

梦中情司，自己海投了N多次，写了N多次小作文都没回复，最后靠大佬朋友内推才有了面试机会。先手动感谢下大佬。是onsite挂掉的，记得当时等HR回复那几天很煎熬（有点体会到舔狗那种心理了。。。）。面经好像不太方便发，这里记录一下自己一些体会吧。

对白

2023/10/04

1.3K0

Twitter 终究还是挂了

网站 twitter 操作系统服务服务器

作者 | Tina 这次大规模崩溃发生在马斯克以 440 亿美元收购 Twitter 的两个月后，不确定这次宕机是否预告着一次即将发生的“完全崩溃”。 12月28日，Twitter 用户报告了这家社交媒体发生的全球性中断事件，全球数万用户无法访问该网站或使用其主要功能。据流量跟踪网站 downdetector.com 称，该网站变更为“不可用”发生在格林威治标准时间午夜。在一个小时内，该网站记录了 10,000 多份用户访问失败的报告，其中包括美国、日本、英国等多个国家的用户。总部位于伦敦的互联网监控

深度学习与Python

2023/03/29

1.2K0

大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作

腾讯云开发者社区 hadoop 大数据解决方案大数据

本篇文章《大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作》是完全针对HDFS文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。大数据系列文章请移步本人大数据专栏查看。

白鹿第一帅

2021/03/02

11.7K0

面试第二面挂了，不是只是聊聊项目吗？为什么挂了？

bat 面试

最近发生了一件事，老梁的几个好朋友在找工作。各自拿到了一些offer，也收获了一些拒信。其实这也是找工作的正常情况，但比较有意思的是，他们两人同时提到了同一种情况，就是在二面聊项目的时候挂了。觉得很奇怪，我也没什么问题答不上来，为什么挂我呢？

TechFlow-承志

2022/08/26

2.6K0

基于Hadoop0.20.2版本的namenode与secondarynamenode分离实验

node.js 大数据 xml hadoop java

我们在Hadoop配置集群时，经常将namenode与secondarynamenode存放在一个节点上，其实这是非常危险的，如果此节点崩溃的话，则整个集群不可恢复。下面介绍一下将namenode与secondarynamenode分离的方法。当然还存在好多不足和待改进的地方，欢迎各位大神指点和吐槽。

星哥玩云

2022/07/04

3470

基于Hadoop0.20.2版本的namenode与secondarynamenode分离实验

我面谷歌也挂了

agile email exception facebook 面试

上回说道我面试Facebook，然后又一次挂了。其实不但面试Facebook我挂了，面试谷歌我也挂了。所以这充分证明了年纪越大越没竞争力。

用户1564362

2020/02/12

1.1K0

微博图床挂了！

对象存储存储 github git 开源

作为hexo多年的使用者，微博图床一直是我的默认选项，hexo+typora+iPic更是我这几年写文章的黄金组合。而图床中，新浪图床一直都是我的默认选项，速度快、稳定同时支持大图片批量上传更是让其成为了众多图床工具的默认选项。虽然今年早些的时候，部分如「ws1、ws2……」的域名就已经无法使用了，但通过某些手段还是可以让其存活的，而最近，所有调用的微博图床图片都无法加载并提示“403 Forbidden”了。

出其东门

2023/02/28

7860

Ubuntu系统显卡又挂了

密钥管理服务 bash bash 指令

开机关机之后，Ubuntu系统的界面变的异常卡顿，根据上次的经验，应该是显卡驱动又出问题了...

YoungTimes

2022/04/28

1.2K0

服务挂了，怎么自动恢复？

tomcat 架构设计运维 python

大家或许都碰到过这样的情况： tomcat挂了，站点应用访问不了 service出core了，服务挂了架构设计上，避免单点，使用故障自动转移固然能够保证系统的高可用，是否还有其他的方案，让挂掉的服务自动启动呢，这里给大伙推荐一个常见的运维工具 supervisor。画外音：supervisor是很常见的运维工具，以下几个小问题旨在让不熟悉的同学简单了解相关原理，献丑了。 supervisor是什么？答：用Python开发的通用的进程管理工具。 supervisor有什么用？答：supervisor能

架构师之路

2018/06/13

1.8K0

Docker挂了，数据如何找回

容器镜像服务容器 node.js 存储

很多人在初用docker的时候，很多时候都忘记或不知道docker中需要保留的数据需要挂载到宿主机文件夹到容器内部对应目录（当然除了挂载宿主机目录，还有其他解决方案，我们后面会有文章介绍）

李俊鹏

2020/06/15

3.5K0

崩溃，我把自己的网站搞挂了！

java vue.js yarn node.js git

大家好，我是二哥呀！真没想到，有一天，自己也能把自己的在线网站《Java 程序员进阶之路》给搞挂了！

沉默王二

2022/08/26

8560

完了，小林网站的图片都挂了

php 腾讯云开发者社区 python 网站

我的图床方案是 Github + jsDelivr CDN，这套不花一毛钱的方案，一用就用了好几年了。

小林coding

2022/05/21

2.7K1

字节实习三面挂了。。。

数据库云数据库 SQL Server sql 二叉树 aop

分享一位球友的字节大数据基础架构部门的实习生面经，还是热乎的，嘿嘿！一面 2.17 自我介绍接口和抽象类的区别了解过啥设计模式单例模式是啥工厂模式的作用，为什么要用工厂模式？建造者模式的实现方式在设计模式中你使用抽象类还是接口比较多了解哪些 Java 锁死锁的必要条件 MySQL 索引了解吗(那时候不会就直接说不会了) MySQL 事务隔离级别说一下你用过的 Java 框架 (说了 Spring 的 ioc/aop 还没说 aop 就下一问了) 项目中如何使用 git 和 mav

Guide哥

2022/04/11

3810

hadoop的简介_hadoop体系

hadoop 分布式大数据 mapreduce 存储

Hadoop起源：hadoop的创始者是Doug Cutting，起源于Nutch项目，该项目是作者尝试构建的一个开源的Web搜索引擎。起初该项目遇到了阻碍，因为始终无法将计算分配给多台计算机。谷歌发表的关于GFS和MapReduce相关的论文给了作者启发，最终让Nutch可以在多台计算机上稳定的运行;后来雅虎对这项技术产生了很大的兴趣，并组建了团队开发，从Nutch中剥离出分布式计算模块命名为“Hadoop”。最终Hadoop在雅虎的帮助下能够真正的处理海量的Web数据。

全栈程序员站长

2022/11/19

1.1K0

相似问题

貌似。。。实验室不能使用自己账户下的云主机呀？

2563

腾讯又挂了？？

1400

文档中的图挂了？

2301

腾讯云的源挂了？腾讯云http://mirrors.tencentyun.com/挂了？

11.1K

工单系统也挂了？？

1746

问hadoop的实验貌似挂了？

回答 1

御姐万岁

貌似。。。实验室不能使用自己账户下的云主机呀？

腾讯又挂了？？

文档中的图挂了？

腾讯云的源挂了？腾讯云http://mirrors.tencentyun.com/挂了？

工单系统也挂了？？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐