今天扯一下 Hbase ，我对 Hbase 的了解起源于两篇文章Understanding HBase and BigTable和《李逵麻子，李鬼坑人--BigTable的数据模型》；这两篇本质上还是一篇文章，《李逵麻子，李鬼坑人--BigTable的数据模型》类似于Understanding HBase and BigTable的中文版讲解。还好的是我是先读的这两篇文章，再去看 Hbase 的官方文档和使用 Hbase ，否则真有可能被 Hbase 的概念给糊弄进去了。要知道，对一个软件或者工具，要想深刻理解和使用它，第一印象很重要，它决定你学习的进度，要是弄错了，学习的时候就会很痛苦，怎么也无法理解这个工具怎么设计的。
有关系行数据库经验的人（比如我），在最初接触HBase这样的数据库时，对数据结构的理解容易遇到障碍。会不自觉的将HBase的行、列等概念映射成关系型数据库的行、列。为了加速理解HBase的一些概念，翻译了这篇文章《Understanding HBase and BigTable》（HBase官方文档推荐阅读文章）。
今天我们回归技术路线，讲讲Google三驾马车里的BigTable。以前有个说法叫做麻子不叫麻子，叫坑人。取其原意是满脸是坑的人，谐音表示人被坑了。我们知道水浒里面有李鬼装李逵然后遇到真李逵的段子。BigTable这篇论文非常的难懂，很大程度上是因为它选择了一些名为李逵实为李鬼的名字来装饰自己，从而使得通俗易懂的数据模型变得奇葩起来。 Google三架马车里面，唯独BigTable写得高深难懂，很多时候其实是你首先要理解BigTable里面的一些名字的基本概念。因为BigTable借用了很多的关系数据库的
在学习HBase（Google BigTable 的开源实现）的时候，我们面临的最为困难的地方就是需要你重构你的思路来理解 BigTable 的概念。
HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型，它存储的是松散型数据。
谷歌在2006年的一份研究报告中首次对Bigtable进行了阐述，如果你熟悉Bigtable这个名词，那么：行先是以一种非常独特的方式被索引，随后Bigtable利用行键对数据进行分割，将它们分布到集群中。这句话你应该不陌生。
这篇再填一下Key-Value Store的坑。 很多时候亲生的不如领养的事情一般不会发生。但是在大数据的世界里，什么都有可能。BigTable和Dynamo是两个最著名的Key-Value Store。它们的实现各有不同，功能各有差异。无论是BigTable还是Dynamo，开源都有对应的实现，分别是HBase和Cassandra。 我们简单回顾一下，BigTable是一个multi-dimension persistent sorted map。其基本核心思想是用chubby来做metadata dis
几年前在读Google的BigTable论文的时候，当时并没有理解论文里面表达的思想，因而囫囵吞枣，并没有注意到SSTable的概念。再后来开始关注HBase的设计和源码后，开始对BigTable传递的思想慢慢的清晰起来，但是因为事情太多，没有安排出时间重读BigTable的论文。在项目里，我因为自己在学HBase，开始主推HBase，而另一个同事则因为对Cassandra比较感冒，因而他主要关注Cassandra的设计，不过我们两个人偶尔都会讨论一下技术、设计的各种观点和心得，然后他偶然的说了一句：Cassandra和HBase都采用SSTable格式存储，然后我本能的问了一句：什么是SSTable？他并没有回答，可能也不是那么几句能说清楚的，或者他自己也没有尝试的去问过自己这个问题。然而这个问题本身却一直困扰着我，因而趁着现在有一些时间深入学习HBase和Cassandra相关设计的时候先把这个问题弄清楚了。
HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org – 2006年Google发表BigTable白皮书 – 2006年开始开发HBase – 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目 – 2010年HBase成为Apache顶级项目 – 现在很多公司二次开发出了很多发行版本，你也开始使用了。 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBase是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MAPREDUCE来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。
HBase 的全称是 Hadoop Database，是一个分布式的，可扩展，面向列簇的数据库。HDFS 为 Hbase 提供了可靠的底层数据存储服务，Zookeeper 为 Hbase 元数据管理和协调服务，Hbase 是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。HBase 的原型是谷歌的分布式存储系统 BigTable，是谷歌 BigTable 的开源实现。
Apache HBase 是以 hdfs 为数据存储的，一种分布式、可扩展的 NoSQL 数据库。
当您需要对大数据进行随机、实时的读写访问时，请使用Apache HBase™。这个项目的目标是在商用硬件集群上托管非常大的表——数十亿行X数百万列。Apache HBase是一个开源的、分布式的、版本化的、非关系型的数据库，它模仿了Chang等人的谷歌的Bigtable: A distributed Storage System for Structured Data。正如Bigtable利用了谷歌文件系统提供的分布式数据存储，Apache HBase在Hadoop和HDFS上提供了类似Bigtable的功能。
一 Hbase是个啥东东？ 在说Hase是个啥家伙之前，首先我们来看看两个概念。面向行存储和面向列存储。面向行存储。我相信大伙儿应该都清楚，我们熟悉的RDBMS就是此种类型的。面向行存储的数据库主要适合于事务性要求严格场合，或者说面向行存储的存储系统适合OLTP。可是依据CAP理论，传统的RDBMS。为了实现强一致性，通过严格的ACID事务来进行同步，这就造成了系统的可用性和伸缩性方面大大折扣。而眼下的非常多NoSQL产品，包含Hbase，它们都是一种终于一致性的系统，它们为了高的可用性牺牲了一部分的一致性。好像。我上面说了面向列存储，那么究竟什么是面向列存储呢？Hbase,Casandra,Bigtable都属于面向列存储的分布式存储系统。 看到这里，假设您不明确Hbase是个啥东东，不要紧，我再总结一下下： Hbase是一个面向列存储的分布式存储系统。它的长处在于能够实现高性能的并发读写操作，同一时候Hbase还会对数据进行透明的切分，这样就使得存储本身具有了水平伸缩性。 二 Hbase数据模型 HBase,Cassandra的数据模型很类似。他们的思想都是来源于Google的Bigtable，因此这三者的数据模型很类似，唯一不同的就是Cassandra具有Super cloumn family的概念，而Hbase眼下我没发现。好了。废话少说。我们来看看Hbase的数据模型究竟是个啥东东。 在Hbase里面有以下两个基本的概念，Row key,Column Family。我们首先来看看Column family,Column family中文又名“列族”，Column family是在系统启动之前预先定义好的，每个Column Family都能够依据“限定符”有多个column.以下我们来举个样例就会很的清晰了。 假如系统中有一个User表。假设依照传统的RDBMS的话。User表中的列是固定的，比方schema 定义了name,age,sex等属性。User的属性是不能动态添加的。可是假设採用列存储系统。比方Hbase。那么我们能够定义User表，然后定义info 列族。User的数据能够分为：info:name = zhangsan,info:age=30,info:sex=male等。假设后来你又想添加另外的属性。这样非常方便仅仅须要info:newProperty就能够了。 或许前面的这个样例还不够清晰，我们再举个样例来解释一下。熟悉SNS的朋友，应该都知道有好友Feed，一般设计Feed，我们都是依照“某人在某时做了标题为某某的事情”，可是同一时候一般我们也会预留一下keyword，比方有时候feed或许须要url，feed须要image属性等，这样来说。feed本身的属性是不确定的。因此假设採用传统的关系数据库将很麻烦。况且关系数据库会造成一些为null的单元浪费，而列存储就不会出现这个问题。在Hbase里，假设每个column 单元没有值，那么是占用空间的。
基于HDFS: HDFS:hadoop distributed file system:分布式文件系统：多台服务器组成的服务器集群组成的一个文件系统。
教程地址：http://www.showmeai.tech/tutorials/84
HBase是一种非关系型的，分布式的，海量存储数据库。可用于大数据分析，如日志分析。来看看官网解释：
HBASE是一个高可靠性、高性能、面向列、可伸缩、稀疏的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
在5、6年前，我们就希望能用分布式存储和分布式数据库来替代集中存储，觉得分布式廉价，而且高可靠。
Hbase原理、基本概念、基本架构 概述 HBase是一个构建在HDFS上的分布式列存储系统； HBase是基于Google BigTable模型开发的，典型的key/value系统； HBa
最适合使用Hbase存储的数据是非常稀疏的数据（非结构化或者半结构化的数据）。Hbase之所以擅长存储这类数据，是因为Hbase是column-oriented列导向的存储机制，而我们熟知的RDBMS都是row- oriented行导向的存储机制（郁闷的是我看过N本关于关系数据库的介绍从来没有提到过row- oriented行导向存储这个概念）。在列导向的存储机制下对于Null值得存储是不占用任何空间的。比如，如果某个表 UserTable有10列，但在存储时只有一列有数据，那么其他空值的9列是不占用存储空间的（普通的数据库MySql是如何占用存储空间的呢？）。 Hbase适合存储非结构化的稀疏数据的另一原因是他对列集合 column families 处理机制。 打个比方，ruby和python这样的动态语言和c++、java类的编译语言有什么不同？ 对于我来说，最显然的不同就是你不需要为变量预先指定一个类型。Ok ，现在Hbase为未来的DBA也带来了这个激动人心的特性，你只需要告诉你的数据存储到Hbase的那个column families 就可以了，不需要指定它的具体类型：char,varchar,int,tinyint,text等等。 Hbase还有很多特性，比如不支持join查询，但你存储时可以用：parent-child tuple 的方式来变相解决。 由于它是Google BigTable的 Java 实现，你可以参考一下：google bigtable 。 下面3副图是Hbase的架构、数据模型和一个表格例子，你也可以从：Hadoop summit 上 获取更多的信息。
今天给大家带来的是大数据开发-HBase关系对比，相信大家也都发现了，有很多框架的用处都差不多，为什么只用这个而不用那个呢？这就是两者之间的一些不同之处的对比，然后选择一个最适用的，本期就是关系对比，为什么它最适用！
背景来源：FunData作为电竞数据平台，v1.0 beta版本主要提供由Valve公司出品的顶级MOBA类游戏DOTA2相关数据接口(详情：open.varena.com)。数据对比赛的观赏性和专业性的提高起到至关重要的作用。本文由IT大咖说（微信id：itdakashuo）整理，经投稿者与嘉宾审阅授权发布。
从 Google 的 BigTable 开始，一系列可以进行海量数据存储与访问的数据库被设计出来，NoSQL 这一概念被提了出来。
解决数据库多写问题，同事推荐使用hbase，并做了HBase培训，也看到老大tim参会说淘宝用hbase替代部分mysql核心应用，学习研究下看是否适用 分布式计算的谬论.： 1 The network is reliable. 2 Latency is zero. 3 Bandwidth is infinite. 4 The network is secure. 5 Topology doesn't change. 6 There is one administrator. 7 Transport cos
本篇演示安装配置 Kafka connect 插件实现 MySQL 到 Hbase 的实时数据同步。依赖环境见本专栏前面文章。相关软件版本如下：
说到大数据技术不得不提起Hadoop，今天加米谷大数据就来简单介绍一下Hadoop的简史。
一方面体现在“数据”构造上仍有广阔的待开发空间，另一方面则是应用场景，除了做客观评价和“讲故事”，还需打通更多的商业模式。
本篇文章整理自知乎在线基础架构负责人白瑜庆在 PingCAP Infra Meetup 上的演讲实录。本文讲述了知乎与 TiDB 的渊源，介绍了一款基于 TiDB 生态研发的开源产品 Zetta，能够在规避 HBase 性能问题同时，减小 TiDB 部署后分布式架构下的系统延迟。
hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。
之前的系列文章当中，已经为大家介绍了大数据存储当中的MongoDB、Redis等数据库，今天接着来讲Hbase。Hbase在大数据存储当中，与Hadoop生态紧密相关，也是Hadoop生态当中必学的重要组件。下面我们从基础入门开始，来讲讲Hbase。
从图中可以看出 Hbase 是由 Client、Zookeeper、Master、HRegionServer、HDFS 等几个组件组成，下面来介绍一下几个组件的相关功能：
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable：一个结构化数据的分布式存储系统” 。就像 Bigtable 利用了 Google 文件系统（File System）所提供的分布式数据存储一样，HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。HBase 是 Apache 的 Hadoop 项目的子项目。HBase 不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是 HBase 基于列的而不是基于行的模式。
HBase是一个分布式的、面向列的开源数据库，一个结构化数据的分布式存储系统。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。
目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。
•特性：分布式与复制的权衡\根据列和键范围进行查询\BigTable类似的功能：列，列族\写比读快很多
Cassandra HBase 一致性 Quorum NRW策略 通过Gossip协议同步Merkle Tree，维护集群节点间的数据一致性 单节点，无复制，强一致性 可用性 1，基于Consistent Hash相邻节点复制数据，数据存在于多个节点，无单点故障。 2，某节点宕机，hash到该节点的新数据自动路由到下一节点做 h
（一）Hbase协处理器的前世今生 Hbase是仿照Google的BigTable设计的，而其协处理器也是仿照BigTable的协处理实现完成的，具体链接可 参考：http://research.google.com/people/jeff/SOCC2010-keynote-slides.pdf （二）什么是Hbase协处理器（Coprocessors ）？ Hbase的协处理器在Hbase中属于高级的应用功能，它可以让开发者自定义的代码在服务器端执行，来完成特定的一些功能。 （三）为什
本文只讲一个很简单的问题，YCSB对HBase集群的测试。虽然网上有很多介绍YCSB测试HBase的文章，但都是针对本地HBase伪分布式集群的。大家都知道，稍微正式一些的压测都会要求测试客户端与目标集群分离部署，而且伪分布式集群通常不会在生产环境下使用，本身也没有太大的压测意义。本文会着重介绍一下压测远程HBase完全分布式集群的不同之处。
HBase是一个分布式的、面向列的开源数据库，Hadoop 数据库。搭建基于 Hadoop 和 ZK 。
1、2001年，Nutch问世。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题；
推荐序 Google公司提出的MapReduce编程框架、GFS文件系统和BigTable存储系统成为了大数据处理技术的开拓者和领导者，而源于这三项技术的ApacheHadoop等开源项目则成为了大数据处理技术的事实标准，迅速推广至国内外各大互联网企业，成为了PB量级大数据处理的成熟技术和系统。面对不同的应用需求，基于Hadoop的数据处理工具也应运而生 例如，Hive、Pig等已能够很好地解决大规模数据的离线式批量处理问题。但是，HadoopHDFS适合于存储非结构化数据，且受限于HadoopMapRed
HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的顶级项目来开发维护，用于支持结构化的数据存储。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
