Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >hadoop开发库webhdfs使用介绍

hadoop开发库webhdfs使用介绍

作者头像
数据饕餮
发布于 2019-01-14 06:19:13
发布于 2019-01-14 06:19:13
6930
举报
文章被收录于专栏:数据饕餮数据饕餮

Hadoop1.0版本已经提供了对Web方式访问的全面支持,包括读写和文件管理,用户可以使用curl模拟Http消息进行测试,下面是WebHDFS提供的操作列表功能清单:

HTTP GET • OPEN (see FileSystem.open) • GETFILESTATUS (see FileSystem.getFileStatus) • LISTSTATUS (see FileSystem.listStatus) • GETCONTENTSUMMARY (see FileSystem.getContentSummary) • GETFILECHECKSUM (see FileSystem.getFileChecksum) • GETHOMEDIRECTORY (see FileSystem.getHomeDirectory) • GETDELEGATIONTOKEN (see FileSystem.getDelegationToken) • HTTP PUT • CREATE (see FileSystem.create) • MKDIRS (see FileSystem.mkdirs) • RENAME (see FileSystem.rename) • SETREPLICATION (see FileSystem.setReplication) • SETOWNER (see FileSystem.setOwner) • SETPERMISSION (see FileSystem.setPermission) • SETTIMES (see FileSystem.setTimes) • RENEWDELEGATIONTOKEN (see DistributedFileSystem.renewDelegationToken) • CANCELDELEGATIONTOKEN (see DistributedFileSystem.cancelDelegationToken) • HTTP POST • APPEND (see FileSystem.append)

  这里需要特别注意的是hadoop配置参数中界定了是否支持身份认证,并设定了默认的用户名webuser,用户可以自行修改是否启用和更改默认的用户,如果不作处理,有时候会出现,用户权限不够,无法执行某些操作的问题。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年02月07日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor
2021/12/06
2.9K0
✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Hadoop webHDFS设置和使用说明
namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令,因为这些信息都是由namenode来保存的。
星哥玩云
2022/07/01
2.6K0
Hadoop开启WebHDFS服务及测试
WebHDFS观念是基于HTTP操作,比如GET、PUT、POST和DELETE。像OPEN、GETFILESTATUS、LISTSTATUS的操作是使用HTTP GET,其它的像CREAT、MKDIRS、RENAME、SETPERMISSION是依赖于HTTP PUT类型。 APPEND操作时基于HTTP POST类型,然而,DELETE是使用HTTP DELETE。
星哥玩云
2022/07/03
8780
Hadoop框架:HDFS读写机制与API详解
第一个副本和client在一个节点里,如果client不在集群范围内,则这第一个node是随机选取的;第二个副本和第一个副本放在相同的机架上随机选择;第三个副本在不同的机架上随机选择,减少了机架间的写流量,通常可以提高写性能,机架故障的概率远小于节点故障的概率,因此该策略不会影响数据的稳定性。
知了一笑
2020/10/10
3400
Hadoop框架:HDFS读写机制与API详解
Hadoop API——HDFS
mvn 配置 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.0</version> </dependency> <dependency> <groupId>junit</gr
羊羽shine
2019/05/29
5970
Hadoop数据分析平台实战——040HDFS介绍(熟悉基础概念跳过)离线数据分析平台实战——040HDFS&JAVA API(熟悉基础概念跳过)
离线数据分析平台实战——040HDFS&JAVA API(熟悉基础概念跳过) HDFS结构介绍 HDFS是Hadoop提供的基于分布式的文件存储系统。 全称为Hadoop Distributed File System。 主要由NameNode、DataNode两类节点构成。 其中NameNode节点的主要功能是管理系统的元数据,负责管理文件系统的命令空间,记录文件数据块在DataNode节点上的位置和副本信息,协调客户端对文件系统的访问,以及记录命名空间的改动和本身属性的变动。 DataNode节
Albert陈凯
2018/04/08
7730
Hadoop数据分析平台实战——040HDFS介绍(熟悉基础概念跳过)离线数据分析平台实战——040HDFS&JAVA API(熟悉基础概念跳过)
Hadoop3.x 学习笔记
一开始我使用的是在Mac系统下 Docker 中建立了三个环境来搭建的,但是由于HDFS操作的时候是客户端直接联系DataNode来进行数据操作的原理,Mac下不能直接访问到Docker中的容器服务,也不能通过桥接连接,所以我后来改为在VirtualBox中安装了三个Linux虚拟机,才配置通了。
前Thoughtworks-杨焱
2021/12/07
2590
Hadoop入门 Java api操作hdfs
新建项目 File->New->Module->Maven,选择quickstart 新建项目1.jpg 设置文件名和文件地址 新建项目2.jpg 点击完成 新建项目3.jpg 项目目录 新建项目4.jpg 配置pom.xml 添加hadoop依赖包 <!--添加hadoop依赖--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>${
Emperor_LawD
2021/06/21
1.4K0
Hadoop入门 Java api操作hdfs
《HDFS的使用教程》---大数据系列
HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。
用户3467126
2019/07/03
1.2K0
Hadoop——hdfs常用操作和api编程
点击下载 链接:https://pan.baidu.com/s/1s2SdzrD11kB7AePxWcCxYQ 提取码:lw20
不愿意做鱼的小鲸鱼
2022/09/24
2590
Hadoop——hdfs常用操作和api编程
大数据-HDFS的API操作
由于 Hadoop 擅长存储大文件,因为大文件的元数据信息比较少,如果 Hadoop集群当中有大量的小文件,那么每个小文件都需要维护一份元数据信息,会大大的增加集群管理元数据的内存压力,所以在实际工作当中,如果有必要一定要将小文件合并成大文件进行一起处理
cwl_java
2019/12/25
4760
【HDFS】Java_API使用
首先完成Java开发环境准备,创建工程并导入开发所需的Jar包。之后在准备好的工程中完成以下步骤。
十里桃花舞丶
2021/09/10
4850
2021年大数据Hadoop(十二):HDFS的API操作
HDFS在生产应用中主要是客户端的开发,其核心步骤是从HDFS提供的api中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件。
Lansonli
2021/10/11
1.2K0
读Hadoop3.2源码,深入了解java调用HDFS的常用操作和HDFS原理
首先我们搭建一个简单的演示工程(演示工程使用的gradle,Maven项目也同样添加以下依赖),本次使用的是Hadoop最新的3.2.1。
牧码哥
2020/03/30
1.3K0
聊聊flink的FileSystem
flink-1.7.2/flink-core/src/main/java/org/apache/flink/core/fs/FileSystem.java
code4it
2019/03/02
2.2K0
聊聊flink的FileSystem
Hadoop3.1.1源码Client详解 : 写入准备-RPC调用与流的建立
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览
执生
2020/09/27
5560
Hadoop之HDFS04【JavaAPI操作】
  前面项目中我们是创建的java项目来演示的,但是hadoop相关的依赖太多了,不方便,本文通过maven项目来演示HDFS的java API操作
用户4919348
2019/04/18
4710
Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)
个人建议,先改一下【镜像】位置为国内的,我就没改,直接update了,玩了好几把【连连看】都没下载完毕。
红目香薰
2022/11/29
2280
Hadoop快速入门——第二章、分布式集群(第四节、搭建开发环境)
Win10 IDEA连接虚拟机中的Hadoop(HDFS)
IDEA自带Maven,如果需要自己安装Maven可以参考Maven安装教程 创建项目,选择Maven,模板选择第一个maven-archetype-archetype
超级小的大杯柠檬水
2024/11/21
1550
Win10 IDEA连接虚拟机中的Hadoop(HDFS)
09_java访问Hadoop的HDFS
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/111278.html原文链接:https://javaforall.cn
全栈程序员站长
2022/07/05
3660
推荐阅读
相关推荐
✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档