大数据前几年各种概念争论很多，NoSQL/NewSQL，CAP/BASE概念一堆堆的，现在这股热潮被AI接过去了。大数据真正落地到车联网，分控，各种数据分析等等具体场景。 概念很高大上，搞得久了就会发现，大部分都还是数据仓库的衍伸，所以我们称呼这个为“新数仓”，我准备写一系列相关的文章，有没有同学愿意一起来的？请联系我。前面有一些相关文章，大家可以看看： 新数仓系列：Hbase周边生态梳理（1） 本文简单梳理下其中一个应用比较广的HBASE的国内开发者现状，可能不全，有更多信息或者纠正的，请给我留言。 1
米从2012年开始正式涉足开源，不光积极参与开源社区，修复bug，提交代码，同时逐渐将自研的系统或框架进行开源，先后开源了企业级、高可用、可扩展的监控系统Open-Falcon、分布式 Key-Value存储系统Pegasus、移动端深度学习框架MACE以及智能SQL优化与改写工具SOAR。
“我马上就要 37 岁了，我也不清楚自己到底还能坚持奋斗几年，指不定再干几年突然就失去动力了，所以我不想把时间浪费在大公司里和别人拼看谁更能熬。”
Building The Real-time Datalake at ByteDance （00:00:00-00:22:47）
从源码可以看出saveAsHadoopFile的输入参数有path, key类型，value类型， 输出格式类型，hadoop配置，压缩类型。将输入的参数配置到JobConf中后，调用saveAsHadoopDataset。
Apache Hadoop 项目至今已经有十多年的历史了，作为大数据的基石，自从投放之社区之后就引来了不少的眼球，进而也孕育出了众多的Apache项目，例如HBase，Hive , Spark 等等这些优秀的数据存储和处理等项目，从而构造成了一个庞大的生态圈。参考了世界级标准的，也就是 Hadoop的HDFS，一直在跟IEEE的POSIX文件系统API标准靠拢，因此我觉得，HDFS是长久的，因为它的API足够的标准化。API足够的标准化也就意味着照着实现的东西考虑的是很全面的。但是这并不代表HDFS本身的设计不存在问题或缺陷。
InfoQ 特别面向新一代信息技术领域技术中坚群体正式推出的「中国技术力量」之「开源创新 30 人」栏目持续进行中，本期嘉宾是小米集团副总裁、集团技术委员会主席崔宝秋。
如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？对于大部分人来说都是傻傻分不清楚。
前言：9月20日，世界知名的开源软件组织Apache软件基金会（Apache Software Foundation，简称ASF）正式宣布腾讯成为其白金会员。腾讯也是国内首家Apache 软件基金会白金会员。Apache 软件基金会官方高度评价了腾讯在开源领域的贡献，腾讯开源之路再上台阶。 国内首家Apache白金会员 腾讯成众多项目主导成员 ASF致力于为开源项目提供法律和财务等支持的非营利性组织。该基金会目前支持了超过350个开源项目，涵盖大数据、云计算、数据库、网络服务器等领域。目前基金会白金
以Apache Hudi为例，讲解如何通过一行代码成为Apache顶级项目的Contributor。
·速度快：Spark基于内存进行计算（当然也有部分计算基于磁盘，比如shuffle）。
继小米在 6 月宣布自研的移动端深度学习框架 Mobile AI Compute Engine (MACE:https://github.com/xiaomi/mace)开源以来，小米近日又宣布开源移动端神经网络框架基准测试项目 MobileAIBench（https://github.com/xiaomi/mobile-ai-bench）。
基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外搭建基于 Flink 的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。
There are more than 284 million activeusers on twitter. This makes following the right person difficult. OurTeam at GreyCampus has analyzed thousands of accounts to find out the mostinfluential people in Big Data & Hadoop. After crunching some numbers
目前主流的数据库或者NoSQL要么在CAP里面选择AP，比较典型的例子是Cassandra，要么选择CP比如HBase，这两个是目前用得非常多的NoSQL的实现。我们的价值观一定认为未来是分布式的，一定是尽量倾向于全部都拥有，大部分情况下取舍都是HA，主流的比较顶级的数据库都会选择C，分布式系统一定逃不过P，所以A就只能选择HA。现在主要领域是数据库的开发，完全分布式，主要方向和谷歌的F1方向非常类似。 目前看NewSQL代表未来(Google Spanner、F1、FoundationDB)，HBase在
本文根据2016年4月北京Apache Kylin Meetup上的分享讲稿整理，略有删节。
TVP 是腾讯云在开发者生态建设中重要的一部分，在技术专家们的认可和帮助下，腾讯云致力打造云产品、技术专家与用户三位一体的交流平台，促进开发者生态的构建，实现“用科技影响世界”的美好愿景。
写博客也已经快一年了，从去年的1024到现在金秋10月已纷至沓来。回顾这一年所发布的原创文章，基本都是与大数据主流或者周边的技术为主。本篇博客，就为大家介绍几篇关于大数据领域必看的经典书籍，喜欢的小伙伴记得来发一键三连。
源于2014年，由CSDN主办的中国Spark技术峰会已成功举办两届，而到了2016年，峰会更得到了Spark护航者Databricks的支持，所有议题均由Databricks联合创始人兼首席架构师Reynold Xin及峰会主席陈超联合把关。会议将于5月15日北京拉开帷幕，而在这里，笔者就将带大家初窥由Databricks、Hortonworks、Intel、Elastic、腾讯、新浪、AdMaster等国内外知名企业带来的共计12个议题分享。 目前会议门票限时7折（截止至4月29日24点），详情访问官网
众所周知，在 SQL 方面处于顶级的有两个公司，一个是 Oracle，他们已经积累了大量的经验，另一个是谷歌，谷歌 F1 在2012年发布了一篇论文，个人认为它是全球最优秀的 SQL OLTP 数据库。
我们的数据已经完整的采集到了 HBase 集群中，这次我们需要对采集到的数据进行分析，统计出我们想要的结果。注意，在分析的过程中，我们不一定会采取一个业务指标对应一个 mapreduce-job 的方式，如果情景允许，我们会采取一个 mapreduce 分析多个业务指标的方式来进行任务。具体何时采用哪种方式，我们后续会详细探讨。
时间回到2011年，Hadoop作为新生事物，在阿里巴巴已经玩得风生水起，上千台规模的"云梯"是当时国内名声显赫的计算平台。 这一年，Hadoop的好兄弟HBase由毕玄大师带入淘宝，开启了它的阿里之旅。从最初的淘宝历史交易记录，到去年的支付宝消费记录存储在线历史存储统一；从蚂蚁安全风控的多年存储演进，到HBase、TT、Galaxy的大数据激情迭代；HBase在阿里经历过年轻的苦涩，释放过青春的活力，也付出过成长的代价。几代人的不懈努力下，五年陈的HBase开始表现出更成熟、更完善、更丰富的一面，成为公司内部被广泛使用的存储产品之一。 经过阿里集团内部的锤炼，集团将这个技术红利输送给广大阿里云客户。现已推出云数据库HBase产品，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景。
随着湖仓技术的持续演进，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化，湖上建仓、仓中数据降冷到湖、物化视图、冷热融合查询等方案也越来越多的成为各个公司的标配，各大厂商也陆续提出了自己的湖仓融合方案，通过湖仓融合技术来提升业务使用体验的同时也降低了业务的使用成本。
这里由于小编的这里在安装hive时，由于出现了启动hive时出现了和hadoop的版本不一致的原因，并且始终没有解决，所以就改变策略使用cdh版本的hadoop和hive.因为cdh版本的比较系统，兼容性好。因此要重新安装了。
下面假设我们有一个 CSV 文件，是存储用户购买记录的。它一共有三列， order_id，consumer，product。我们需要将这个文件导入到Hbase里，其中 order_id 作为Hbase 的 row key。
内网提交需要校验企业邮箱，有时邮箱设置错误导致 commit 的邮箱有问题，此时可以通过修改已提交记录中的邮箱来修复，无需重新提交。
内网提交需要校验企业邮箱，但有时邮箱设置错误导致 commit 的邮箱有问题，此时可以通过修改已提交记录中的邮箱来修复，无需重新提交。
大家好, 我们前面的章节介绍了javaagent以及一些字节码修改框架ASM和Javassist, 以及他们的一些简单的应用场景. 今天重点给大家介绍一款github上开源的APM分布式链路监控产品 -- Pinpoint.
-->
修改某个仓库历史 commit 的用户 name 和 email 信息。 将历史提交记录中的指定 name/email 修改为新的 name/email。
开源软件构筑起了互联网世界坚实的地基，开源的社区分布式协作模式，也极大地促进了软件开发的效率，大教堂与集市的钟声下，技术开始普惠世界。
本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪些技能。
最近收到了 Apache Pulsar 和 Apache HertzBeat社区的邀请邮件，成为了这两个项目的 Committer。
7月13日，Hortonworks在其官网宣布发布HDP3.0，包括Ambari2.7和SmartSense1.5。包括下载仓库与配套文档都正式GA。
项目大致过程是：flume监控日志文件，定时把文件清洗后上传到hdfs上，上传清晰后的数据是格式化的，可被hive识别，然后hive创建表，写脚本，执行hql语句，把执行结果写到hdfs上，最后为了方便查看，把放在hdfs上的结果通过sqoop放在mysql中。
嘉宾 | 张铎 编辑 | 薛梁 在翻朋友圈的时候，看到张铎老师去年策划的 Apache Pegasus Meetup 活动，然后我给他留言，邀请他来 ArchSummit 全球架构师峰会北京站上分享架构师的成长经验，结果他很爽快的答应了。 张铎是在小米待了 5 年多后，于 2021 年 4 月进入神策数据的。用张铎自己的话说，在大公司卷不动了，就换个小公司试试。 在神策数据，张铎担任神策数据基础研发部负责人 & 首席架构师，主要负责整个基础研发部，大部分的精力用在团队管理，和研发技术选型上。 从 ToC
自2006年诞生以来，Hadoop技术与社区已走过了13个年头，在经历了大数据技术高速发展之后，迎来了3.x时代。Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地？有哪些新方向值得关注？Hadoop技术社区又将走向何方？ 今天，Hadoop将首次在中国组织Meetup，为你揭晓大数据Hadoop技术与社区发展的Roadmap。 时间地点 时间：2019年8月10日 10:00 地点：北京希格玛大厦 小剧场 活动议程 09:40-10:00 签到&自由交流 10:00-10:
日前，eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案—— Apache Eagle，该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大数据的安全。 背景 随着大数据的发展，越来越多的成功企业或者组织开始采取数据驱动商业的运作模式。在eBay，我们拥有数万名工程师、分析师和数据科学家，他们每天访问分析数PB
昨晚雷声大作，睡不着，于是就爬起来写作了，在写作的过程中，发现官方文档中存在一些问题，于是就想改进一下，
由于 Github 和公司 Git 使用账号不一样，偶尔没注意，提交出错后就需要修改 commit 信息。
StreamPark[1] 在 9 月 1 号顺利通过投票，正式成为全球最大的开源基金会 Apache 软件基金会 (ASF) 的孵化项目。这是 StreamPark 项目的新起点，意味着开源社区化协作将会变得更加规范以及国际化。
自2006年诞生以来，Hadoop技术与社区已走过了13个年头，在经历了大数据技术高速发展之后，迎来了3.x的时代。这些年来，Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地？在全新的时期，有哪些方向值得关注？Hadoop技术社区又将走向何方？2019年8月10日，Hadoop将首次在中国组织meetup，为你揭晓大数据Hadoop技术与社区发展的Roadmap。 活动时间和地点 时间：2019年8月20日 地点：北京希格玛大厦北塔 B1 多功能厅 活动议程 9:40-10:
前段时间看了一篇文章为什么中国没有 Apache 基金会这样的组织，二叉树视频中采访了开源社的理事长老刘，他的一番话也让我很受启发，在关注和参与 CNCF 基金会这几年来我也有很多收获，有一点就是了解到了一个开源社区（基金会）治理的规则。
2006年Apache Hadoop发布，2008年Hadoop成为Apache顶级项目。在那时，中国移动、百度、淘宝等都已经开始使用Hadoop技术。Hadoop现在早已成为Apache软件基金会的
Nebula Graph 的技术总监在 09.24 - 09.30 期间同开源中国·高手问答的小伙伴们以「图数据库的设计和实践」为切入点展开讨论，包括：「图数据库的存储设计」、「图数据库的计算设计」、「图数据库的架构设计」等方面内容，本文整理于他和开源中国小伙伴对图数据库的讨论内容~
场主认为：Flink=风口趋势所在！而技术人就是追风的人，stay hungry，stay young！
storm通过保证数据至少被处理一次来保证数据的完整性,由于元祖可以重发,对于一些需要数据精确的场景,可以考虑用storm trident实现。 传统的事物型拓扑中存在几种bolt： 1.1 BasicBolt 这是最基本的Bolt,BasicBolt每次只能处理一个tuple,而且必须等前一个tuple成功处理后下一个tuple才能继续处理,显然效率不高。 1.2 BatchBolt storm的一个优势就是能够批量处理tuple,BatchBolt支持批量处理tuple,每一个batch中的t
2018年10月13日下午于上海，开源微服务解决方案ServiceComb社区主办了中国Apache软件基金会（以下简称Apache）项目的聚会。该聚会由 “微服务 Apache ServiceComb孵化项目发起， 其他Apache项目Committer自愿报名参加。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
