hbase 源码解析 - 腾讯云开发者社区

文章/答案/技术大牛

发布

Hbase源码系列之scan源码解析及调优

二，源码相关的重要类 1，HTable 重点是Hbase类初始化的时候提交的请求的任务的线程池的初始化 HConnectionImplementation的getThreadPool方法。...三，scan的源码实现 Scan的源码实现过程，主要是帮助大家更好的阅读源码。...其实，应该关注点比较多，贴源码比较累赘，我这是大致骨架都有了，大家可以根据这个骨架结合源码去看，节省时间。...2，对于filter的使用，请大家先参考hbase权威指南，后面浪尖再接个各个filter和源码讲解。...对于hbase 1.0.0,列举以下几种，方便大家自己去阅读相关源码。

2.9K8 0

Hbase源码系列之BufferedMutator的Demo和源码解析

单个BufferedMutator也能够很高效用于大数据量的在线系统，来成批的写puts入hbase表。...catch (IOException e1) { // TODO Auto-generated catch block e1.printStackTrace(); } } 三，源码介绍...BufferedMutatorImpl 用来和hbase表交互，类似于Htable，但是意味着批量，异步的puts。...四，总结 Hbase的JAVA API客户端，写操作有三种实现： 1，HTablePool 源码请看hbase权威指南。 ? 2，HConnection 这种方式要自己实现一个线程池。...客户端读写数据的操作，我们就讲这两篇，后面开始讲HBase的MR建立二级索引的实现及原理源码。然后就开始讲解管理类操作的实现。

4.5K10 0

您找到你想要的搜索结果了吗？

是的

没有找到

HBASE BufferedMutator 批量写入使用举例与源码解析

单个BufferedMutator也能够很高效用于大数据量的在线系统，来成批的写puts入hbase表。 2...., tableName); return tableConnectionMgr.get(tableName); } 3 源码介绍 3.1 主要类介绍 BufferedMutatorParams...BufferedMutatorImpl 用来和hbase表交互，类似于Htable，但是意味着批量，异步的puts。...3.2 源码过程 3.2.1 BufferedMutator构建的过程首先是要构建一个HBaseConfiguration Configuration conf = HBaseConfiguration.create...总结 Hbase的JAVA API客户端，写操作有三种实现： HTablePool 源码请看hbase权威指南。 !

2.8K5 2

HBASE解析

Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。...当设计HBase数据模型时，对考虑数据是如何被获取是十分有帮助的。你可以通过以下两种方式获得HBase数据：通过他们的行键，或者一系列行键的表扫描。...你可以从Apache网站下载HBase，在写本文时，最新的版本是0.98.5，HBase团队推荐你在UNIX/Linux环境下安装HBase，如果你想在Windows下运行，你需要先安装Cygwin，并在这上运行...HBase。...在环境配置中添加名为HBASE_HOME的变量，值为你解压HBase文件的根目录，随后，执行bin文件夹下的start-hbase.sh脚本，它会在下面目录输出日志文件： $HBASE_HOME/logs

7581 0

Hbase replication源码分析

Replication核心原理 hbase.replication.source.service 配置说明了使用哪个类来作为 Hbase 的 Replication 实现类。...hbase.replication.source.service 这个默认配置实现就是 org.apache.hadoop.hbase.replication.regionserver.Replication...ReplicationTracker 主要用于跟踪 Zookeeper 中 /hbase/replication 中 znode 的状态，Hbase 的 Replication 是通过 zk 来协助完成的...用于监控 Hbase Replication。...复制的核心过程这里重点解析 ReplicationResource 类，与之相关的重点类图如下：在 replication 过程有两个关键的 Queue： 1.第一个在 ReplicationManager

5.1K4 0

Hbase源码系列之源码前奏hbase:meta表相关详细介绍

一，基本功能介绍 -root-表在HBase 0.9.6以后的版本被移除了。...Hbase 0.9.6以后，移除了-root-表，用hbase:meta表代替了.meta表，hbase:meta表存的位置直接存储于Zookeeper上。...info:server：存储hbase:meta表的regionserver的server:port info:serverstartcode:该Regionserver拥用hbase:meta表的起始时间...Hbase:meta所在的regionserver宕机后会重新分配给其它的regionserver。每次修改都会更新RS的wal的。 2，hbase:meta和用户region信息不一致怎么处理。...A),hbase提供的有修复指令。 B),可以根据源码去实现自己的修补指令。元数据和用户实际的表信息不一致是很常见的现象，所以这两点后面会详细介绍。

3.6K10 0

Hbase原理解析

而从应用的角度来说，HBase与一般的数据库又有所区别，HBase本身的存取接口相当简单，不支持复杂的数据存取，更不支持SQL等结构化的查询语言；HBase也没有除了rowkey以外的索引，所有的数据分布和查询都依赖...所以HBase在表的设计上会有很严格的要求。...原理前面介绍了HBase的一般架构，我们知道了HBase有ZK、Master和RS等组成，本节我们来介绍下HBase的基本原理，从数据访问、RS路由到RS内部缓存、数据存储和刷写再到region的合并和拆分等等功能...RegionServer定位访问HBase通过HBase客户端(或API)进行，整个HBase提供给外部的地址，其实是ZK的入口，前面也介绍了，ZK中有保存-ROOT-所在的RS地址，从-ROOT-表可以获取...HBase设计 HBase是一个分布式数据库，其性能的好坏主要取决于内部表的设计和资源的分配是否合理。

2.2K6 0

Hbase 写入 hdfs 源码分析

作者：熊训德腾讯云工程师本文档从源码角度分析了，hbase 作为 dfs client 写入hdfs 的 hadoop sequence 文件最终刷盘落地的过程。...之前在《wal线程模型源码分析》中描述wal的写过程时说过会写入hadoop sequence文件，hbase为了保证数据的安全性，一般都是写入同为hadoop生态的hdfs(Hadoop Distribute...下图是《Hbase权威指南》中描述Hbase底层存储结构的顶层结构图。...wal包中是作为wal向datanode的writer，它在FSHLog是使用工厂模式createWriterInstance()实例化，然后调用init()方法初始化：从源码中可以看到真正写实例是...相关推荐 Hbase WAL线程模型源码分析 HBase跨版本数据迁移总结 Hbase的WAL在RegionServer基本调用过程

4.9K0 0

深入解析HBase的Region分裂机制：从基础架构到源码实现

HBase基础架构概述 HBase作为Apache Hadoop生态系统中的分布式列式数据库，其架构设计充分体现了分布式系统的高可用性和可扩展性特性。...客户端访问数据时，首先会查询meta表确定目标Region的位置信息，这个过程被称为"meta表寻址"，我们将在第四章详细解析其工作原理。...配置），从/hbase/meta-region-server节点获取hbase:meta表所在RegionServer的位置。...获取分裂后的子Region位置信息 Region迁移场景通过Master协调的原子性元数据更新客户端收到RegionMovedException异常采用指数退避策略重试查询最终一致性保证机制源码层面的关键实现...分裂策略源码解析在HBase的源码实现中，Region分裂策略的核心逻辑主要分布在org.apache.hadoop.hbase.regionserver包下的HRegion和RegionSplitPolicy

9531 0

Hbase WAL 线程模型源码分析

作者介绍：熊训德腾讯云工程师 Hbase 的 WAL 机制是保证 hbase 使用 lsm 树存储模型把随机写转化成顺序写，并从内存 read 数据，从而提高大规模读写效率的关键一环。...源码分析下面将从源码角度分析其中具体实现过程和细节。...Disruptor通过 java.util.concurrent.ExecutorService 提供的线程来触发 Consumer 的事件处理，可以看到hbase的wal中只启了一个线程，从源码注释中也可以看到...小结 Hbase的WAL机制是保证hbase使用lsm树存储模型把随机写转化成顺序写，并从内存read数据，从而提高大规模读写效率的关键一环。...wal的多生产者单消费者的线程模型让wal的写入变得安全而高效，本文档从源码入手分析了其线程模型为以后更好开发和研究hbase其他相关知识奠定基础。

8.6K14 13

hbase源码系列（二）HTable 探秘

hbase的源码终于搞一个段落了，在接下来的一个月，着重于把看过的源码提炼一下，对一些有意思的主题进行分享一下。...现在我们讲一下HTable吧，为什么讲HTable，因为这是我们最常见的一个类，这是我们对hbase中数据的操作的入口。 1.Put操作　　下面是一个很简单往hbase插入一条记录的例子。...//自己处理去吧... } 　　这个是带正则表达式的模糊查询的scan查询，Scan这个类是包括我们查询所有需要的参数，batch和caching的设置，在我的另外一篇文章里面有写《hbase

2.5K8 0

HBase默认配置文件 hbase-default.xml 注释解析

HBase默认配置文件注释解析： hbase-default.xml hbase的本地临时目录,每次机器重启数据会丢失，建议放到某个持久化文件目录下 --> hbase.tmp.dir...-- 每个regionServer的共享目录,用来持久化Hbase,默认情况下在/tmp/hbase下面 --> hbase.rootdir...-- hbase集群模式,false表示hbase的单机，true表示是分布式模式 --> hbase.cluster.distributed...>/hbase Root ZNode for HBase in ZooKeeper.

2.9K4 0

hbase源码系列（九）StoreFile存储格式

HFile概述 HFile是HBase中实际存数据的文件，为HBase提供高效快速的数据访问。它是基于Hadoop的TFile，模仿Google Bigtable 架构中的SSTable格式。...，先从入口看起，那就是StoreFile.Writer的append方法，先看怎么写入的，然后它就怎么读了，不知道怎么使用这个类的，可以看看我写的这篇文章《非mapreduce生成Hfile，然后导入hbase...Path hfilePath = getRelativeTablePath(path); this.tempPath = new Path(new Path(rootDir, HConstants.HBASE_TEMP_DIRECTORY

2K5 0

hbase源码系列（十四）Compact和Split

在讲源码之前，先说一下它的分类和作用。...先说一下怎么使用吧，下面分别是它们是shell命令，可以在hbase的shell里面执行。...1、创建CompactionContext 2、判断是否是非高峰时间，下面是这两个参数的值 int startHour = conf.getInt("hbase.offpeak.start.hour",...hbase.hstore.compaction.ratio 高峰时段，默认值是1.2 hbase.hstore.compaction.ratio.offpeak 非高峰时段...咱们可以将它这个参数hbase.hstore.blockingStoreFiles设置得大一些，弄出来一个比较大的数字。 Split 好，我们接着看requestSplit。

1.1K0 0

Hbase Memstore 读写及 flush 源码分析

导语本文档主要从源码的角度分析了，hbase的写缓存的读写以及flush过程。...hbase的mvcc机制将结合行锁在后面的hbase效率的源码分析中具体分析。可先参考： http://m.blog.csdn.net/article/details?...读的角度 hbase的读需要从要读三个位置，blockcache、memstore和hfile着手。...稍微需要注意的是，在flush的时候有可能会失败，这时候意味着memstore未被持久化，则wal需要去重做，会启动一个单独且唯一的线程去做这个，从源码注释上看，当前只有regionserver重启会发生这种事情...至此，memstore的读写已经刷入源码分析就结束了，可以看到memstore作为hbase写缓存为了实现快速顺序写做出的设计努力。下一篇文档将分析哪些情况下memstore会被刷写。

3.7K1 0

hbase源码系列（十四）Compact和Split

1.7K8 0

hbase源码系列（七）Snapshot的过程

它就想是给数据库做备份，尤其是做删除动作之前，不管是hbase还是hdfs，请经常做Snapshot，否则哪天手贱了。。。　　直接进入主题吧，上代码。...这个方法里面也没干啥，就是检查一下是否可以对这个表做备份或者恢复的操作，然后就会重建这个工作目录，这个工作目录在.hbase-snapshot/.tmps下面，每个snapshot都有自己的目录。　　...MemStore当中保存的是KeyValue的集合，写入其实就是一个循环，调用StoreFile.Writer的append方法追加，具体的可以看我的那篇博客《非mapreduce生成Hfile，然后导入hbase...IOException("Failed to create reference file:" + referenceFile); } } } } 　　在工作目录在.hbase-snapshot...这个要到下一章，从snapshot中恢复，才能弄明白了，这个和hbase的归档文件机制有关系，hbase删除文件的时候，不是直接删除，而是把它先放入archive文件夹内。

2K7 0

Hbase1.3 生产优化，源码分析

问题分析思路：分离读写scan请求，各种处理各自的源码内部 WriteQueues; Queues; ScanQueues; 优化参数 hbase.regionserver.handler.count...线上：0.2 hbase.ipc.server.callqueue.read.ratio : 默认为0，服务器端设置读写业务分别占用的队列百分比以及handler百分比。...线上：0.6 hbase.ipc.server.call.queue.scan.ratio：默认为0，服务器端为了将get和scan隔离设置了该参数。...线上：0.1 hbase.ipc.server.call.queue.scan.ratio 默认0 scan请求直接打入read队列长时间不释放，导致正常read超时告警源码理解 HRegionServer...x 0.1(hbase.ipc.server.callqueue.handler.factor) = 10，读写请求队列总个数写队列个数 10 x 0.5hbase.ipc.server.callqueue.read.ratio

5522 0

hbase源码系列（一）Balancer 负载均衡

看源码很久了，终于开始动手写博客了，为什么是先写负载均衡呢，因为一个室友入职新公司了，然后他们遇到这方面的问题，某些机器的硬盘使用明显比别的机器要多，每次用hadoop做完负载均衡，很快又变回来了。...hbase.master.balancer.stochastic.moveCost，默认值是100 localityCost hbase.master.balancer.stochastic.localityCost...hbase.master.balancer.stochastic.readRequestCost，默认值是5 WriteRequestCostFunction hbase.master.balancer.stochastic.writeRequestCost...hbase.master.balancer.stochastic.storefileSizeCost，默认值是5 Storefile的默认值是5，那么低。。。...根据虚拟的集群状态生成RegionPlan，这里就不说了 List plans = createRegionPlans(cluster); 　　源码的分析完毕，要想减少存储内容分布不均匀

1.9K10 1

HBase 架构原理－数据读取流程解析

和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件...的地址信息，这里针对这种疑问简单的做下解释，客户端与HBase系统的交互阶段主要有如下几个步骤：客户端首先会根据配置文件中zookeeper地址连接zookeeper，并读取/hbase-rootdir...>/meta-region-server节点信息，该节点信息存储HBase元数据（hbase:meta）表所在的RegionServer地址以及访问端口等信息。...HBase中KeyValue是什么样的结构？...继续下一行… －－－－－－－－－－－－－－－－此处应有华丽丽的分隔符－－－－－－－－－－－－－－－－本文从框架层面对HBase读取流程进行了详细的解析，文中并没有针对细节进行深入分析，一方面是担心个人能力有限

1.5K3 1

点击加载更多

Hbase源码系列之scan源码解析及调优

Hbase源码系列之BufferedMutator的Demo和源码解析

HBASE BufferedMutator 批量写入使用举例与源码解析

HBASE解析

Hbase replication源码分析

Hbase源码系列之源码前奏hbase:meta表相关详细介绍

Hbase原理解析

Hbase 写入 hdfs 源码分析

深入解析HBase的Region分裂机制：从基础架构到源码实现

Hbase WAL 线程模型源码分析

hbase源码系列（二）HTable 探秘

HBase默认配置文件 hbase-default.xml 注释解析

hbase源码系列（九）StoreFile存储格式

hbase源码系列（十四）Compact和Split

Hbase Memstore 读写及 flush 源码分析

hbase源码系列（十四）Compact和Split

hbase源码系列（七）Snapshot的过程

Hbase1.3 生产优化，源码分析

hbase源码系列（一）Balancer 负载均衡

HBase 架构原理－数据读取流程解析

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐