开源软件构筑起了互联网世界坚实的地基,开源的社区分布式协作模式,也极大地促进了软件开发的效率,大教堂与集市的钟声下,技术开始普惠世界。
米从2012年开始正式涉足开源,不光积极参与开源社区,修复bug,提交代码,同时逐渐将自研的系统或框架进行开源,先后开源了企业级、高可用、可扩展的监控系统Open-Falcon、分布式 Key-Value存储系统Pegasus、移动端深度学习框架MACE以及智能SQL优化与改写工具SOAR。
最近收到了 Apache Pulsar 和 Apache HertzBeat社区的邀请邮件,成为了这两个项目的 Committer。
从源码可以看出saveAsHadoopFile的输入参数有path, key类型,value类型, 输出格式类型,hadoop配置,压缩类型。将输入的参数配置到JobConf中后,调用saveAsHadoopDataset。
因为最近在工作上参与制定了团队的一些Code Review(CR)的规范,所以想在这里给大家分享一下我们积累的一些CR最佳实践。本篇文章会包括下面这些内容:
上次Who的主体是谁“发明”了开源,这一次主体转换,来看看开源发明之后,还有哪些人为开源做贡献?作为普通程序员的我们,又能以怎样的形式参与到开源项目中?
内网提交需要校验企业邮箱,有时邮箱设置错误导致 commit 的邮箱有问题,此时可以通过修改已提交记录中的邮箱来修复,无需重新提交。
内网提交需要校验企业邮箱,但有时邮箱设置错误导致 commit 的邮箱有问题,此时可以通过修改已提交记录中的邮箱来修复,无需重新提交。
因为订阅了 Pulsar 的开发者邮件,前段时间看到一封标题为《(Apache committer criteria) [ANNOUNCE] New Committer: Asaf Mesika》的邮件。
修改某个仓库历史 commit 的用户 name 和 email 信息。 将历史提交记录中的指定 name/email 修改为新的 name/email。
社区是一个开源项目的灵魂,随着 TiDB/TiKV 新的社区架构升级, TiKV 社区也计划逐步成立更多个 Special Interest Group(SIG )吸引更多社区力量,一起来改进和完善 TiKV 项目。SIG 将围绕着特定的模块进行开发和维护工作,并对该模块代码的质量负责。
本系列文章旨在帮助社区开发者了解 TiDB 项目的全貌,更好的参与 TiDB 项目开发。大致会分两个角度进行描述:
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
这几天修改了好几次主题,但每次修改提交到远程仓库之后,都不是自己提交的。开始的时候,没有注意,今天再看git提交记录的时候,发现了这个问题。既然发现了,就得需要修改一下了。
Apache Hadoop 项目至今已经有十多年的历史了,作为大数据的基石,自从投放之社区之后就引来了不少的眼球,进而也孕育出了众多的Apache项目,例如HBase,Hive , Spark 等等这些优秀的数据存储和处理等项目,从而构造成了一个庞大的生态圈。参考了世界级标准的,也就是 Hadoop的HDFS,一直在跟IEEE的POSIX文件系统API标准靠拢,因此我觉得,HDFS是长久的,因为它的API足够的标准化。API足够的标准化也就意味着照着实现的东西考虑的是很全面的。但是这并不代表HDFS本身的设计不存在问题或缺陷。
意思是:当前分支没有与远程分支关联。因此提交代码失败。 &emps; 「解决方法按提示键入命令」:
经过几年的发展,TiDB 社区已经逐渐成熟,但是随着社区的发展壮大,我们逐渐感受到了现在社区架构上的一些不足。经过一系列的思考和总结,我们决定升级和调整目前社区组织架构,引入更多的社区角色和社区组织,以便更好的激发社区活力,维护积极健康的社区环境。
注:一个特殊情况如果 email 没被设置过 OLD_EMAIL 可以填 user.name。
最近发现一个问题就是不管是提交新增的代码还是修改后提交的代码在github的contributions上都不显示贡献小绿块。
挤过公交车吗?知道变心板吗?也许有些年轻的朋友,不一定听说过这个名词。简单说:当一辆拥挤的公交车驶进站台的时候,大家都会拼命的想要挤上去。站在下面的人,会拼命喊:往里挤一挤,还有地方呢!但是,一旦等到这个人,踏上了公交车的那块踏板,立马口风就变了:挤不下了,实在挤不下了,后面的人等下一部车吧。
本文通过 Local mode 执行如下 Spark 程序详解 commit 原理
About「Open Source Talk」栏目 开源无边界,分享有价值。Code is not cold,「Open Source Talk」栏目,将陆续邀请众多开源嘉宾做客,和大家一起分享和交流开源道路中的成长心得。以知识和分享为起点,传承开源的星星火光。 本期引言 本篇文章,傅杰博士将回顾自己十年来的OpenJDK开源经历,讲述自己一路上遇到的坎坷、成长和心得。 1 开源:协同共建,互利共赢 十年前,我从西安交通大学保送至中科院计算所硕博连读,加入计算所龙芯CPU团队,主力
大数据前几年各种概念争论很多,NoSQL/NewSQL,CAP/BASE概念一堆堆的,现在这股热潮被AI接过去了。大数据真正落地到车联网,分控,各种数据分析等等具体场景。 概念很高大上,搞得久了就会发现,大部分都还是数据仓库的衍伸,所以我们称呼这个为“新数仓”,我准备写一系列相关的文章,有没有同学愿意一起来的?请联系我。前面有一些相关文章,大家可以看看: 新数仓系列:Hbase周边生态梳理(1) 本文简单梳理下其中一个应用比较广的HBASE的国内开发者现状,可能不全,有更多信息或者纠正的,请给我留言。 1
自2006年诞生以来,Hadoop技术与社区已走过了13个年头,在经历了大数据技术高速发展之后,迎来了3.x时代。Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地?有哪些新方向值得关注?Hadoop技术社区又将走向何方? 今天,Hadoop将首次在中国组织Meetup,为你揭晓大数据Hadoop技术与社区发展的Roadmap。 时间地点 时间:2019年8月10日 10:00 地点:北京希格玛大厦 小剧场 活动议程 09:40-10:00 签到&自由交流 10:00-10:
昨天得知成为 Apache DolphinScheduler的Committer,此时此刻内心依然十分激动。
昨晚雷声大作,睡不着,于是就爬起来写作了,在写作的过程中,发现官方文档中存在一些问题,于是就想改进一下,
开源这件事情在软件开发领域一直是一个高频话题,我们工作中不管是使用到的工具还是第三方库都离不开开源的支持。
事情的起因是这样的:迷恋的谷歌的我最近申请了一个新的 google 邮箱。然后果断在 github 上更新了邮箱地址,并且删除了之前的 163 等国内邮箱。
场主认为:Flink=风口趋势所在!而技术人就是追风的人,stay hungry,stay young!
导语 Pulsar Summit 是 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。于此盛会,大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识,切磋互动。 大会介绍 Pulsar Summit Aisa 2022 将于 2022 年 11 月 19-20 日于线上举办。大会将分为主论坛和分论坛,汇聚技
这两天好不容易有空提交一下开源代码了,结果在公司提交的代码有记录,但是没有绿色,延迟?真的要凉
在文章 MapReduce:N keys,N files(二) 中提到取消MR的推测执行功能,可以避免每次都产生重复且不完整的orc文件。但其实当reduce任务失败重试时依然会出现这种情况。
自2006年诞生以来,Hadoop技术与社区已走过了13个年头,在经历了大数据技术高速发展之后,迎来了3.x的时代。这些年来,Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地?在全新的时期,有哪些方向值得关注?Hadoop技术社区又将走向何方?2019年8月10日,Hadoop将首次在中国组织meetup,为你揭晓大数据Hadoop技术与社区发展的Roadmap。 活动时间和地点 时间:2019年8月20日 地点:北京希格玛大厦北塔 B1 多功能厅 活动议程 9:40-10:
2018年10月13日下午于上海,开源微服务解决方案ServiceComb社区主办了中国Apache软件基金会(以下简称Apache)项目的聚会。该聚会由 “微服务 Apache ServiceComb孵化项目发起, 其他Apache项目Committer自愿报名参加。
Chromium是由谷歌维护的开源浏览器引擎项目,目前世界上大多数浏览器都是基于该引擎进行开发的,包括桌面端很多的其他浏览器,另外Chome, Edge, Electron等也是Chromium内核。
点击下方公众号关注并分享获取 MongoDB 最新资讯 👉 GitHub 链接 | 可点击【阅读原文】查看,如果您对我们的项目感兴趣,欢迎给 Tapdata 【Star+Fork+Watch】三连击: https://www.github.com/tapdata/tapdata 在上一期《Tapdata 开源项目基础教程::功能特性及实操演示》中,初步讲解了 Tapdata Community 的属性定位与源码代码结构。在介绍其工作机制时,主要概括了以下四个环节的功能特性: Tapdata 开源工作
2022 年 12 月 15 日、19 日,2023 年 1 月 4 日,经 Apache IoTDB 社区投票,冯庆新、王俊清、陈荣钊成为 Apache IoTDB Committer。这三位贡献者来自产、学、研不同的领域,也以不同的角度投入到了 IoTDB 的研发迭代中。今天将和大家分享他们三位与 Apache IoTDB 的故事。
2018 年 TiDB 产品变得更加成熟和稳定,同时 TiDB 社区力量也在发展壮大。在 TiDB DevCon 2019 上,我司联合创始人崔秋带大家一起回顾了 2018 年 TiDB 社区成长足迹,在社区荣誉时刻环节,我们为新晋 Committer 授予了证书,并为 2018 年度最佳贡献个人/团队颁发了荣誉奖杯。
近些年来,软件开源化趋势愈发明显,作为基础软件的数据库及相关产品首当其冲。很多国产数据库大厂,也纷纷迈向开源之路。本文从开源项目的指标入手,总结如何分析一款开源产品及当前国际、国内主流数据库及周边产品的开源表现如何。希望未来,有更多优秀开源产品/项目诞生。
2022 年 12 月 19 日、28 日,经 Apache IoTDB 社区投票,张洪胤、朱海铭成为 Apache IoTDB Committer,而这两位同学都深度参与了 1.0 版本物联网共识协议 IoTConsensus 的开发中。今天将和大家分享他们两位与 Apache IoTDB 的故事。
关注 TiDB 的朋友们可能发现继 Follower Read 在 TiKV 端的 PR 合并后,TiDB 端相关的 PR 也于近期完成了到主干的合并工作。如果后期的稳定性测试一切正常,相关功能应该会随 TiDB 3.1 发布。Follower Read 功能本身从代码量上看并不大,但这个功能的意义尤其是对互联网类型业务来说是非常大的。
由于 Github 和公司 Git 使用账号不一样,偶尔没注意,提交出错后就需要修改 commit 信息。
对于技术人来说,最可怕的事在于:当技术每天都在更新,自己却没有学习的机会,于是轻易被抛弃……
本文来自《华为人》,作者:徐宏伟 原标题:写了十几年代码,我为什么还没有被拿去“祭天”?
前段时间看了一篇文章为什么中国没有 Apache 基金会这样的组织,二叉树视频中采访了开源社的理事长老刘,他的一番话也让我很受启发,在关注和参与 CNCF 基金会这几年来我也有很多收获,有一点就是了解到了一个开源社区(基金会)治理的规则。
2021腾讯犀牛鸟开源人才培养计划 开源项目介绍 滑至文末报名参与开源人才培养计划 提交项目Proposal Apache Ozone项目介绍 标签:大数据存储 技术栈:Java 标签:大数据存储 技术栈:Java Apache Ozone-分布式大数据通用存储,Ozone是一个大数据场景分布式存储,支持百亿到千亿级对象和文件。Ozone提供兼容S3 的对象功能,和兼容Hadoop File System(HCFS)的文件功能,同时通过CSI驱动接入Kubernets生态。Ozone定位于
上篇介绍了kafka at-least-once消费模式。kafka消费模式以commit-offset的时间节点代表不同的消费模式,分别是:at-least-once, at-most-once, exactly-once。上篇介绍的at-least-once消费模式是通过kafka自身的auto-commit实现的。事后想了想,这个应该算是at-most-once模式,因为消费过程不会影响auto-commit,kafka在每个设定的间隔都会自动进行offset-commit。如果这个间隔够短,比整个消费过程短,那么在完成消费过程前就已经保存了offset,所以是at-most-once模式。不过,如果确定这个间隔一定大于消费过程,那么又变成了at-least-once模式。具体能实现什么消费模式并不能明确,因为auto-commit是无法从外部进行控制的。看来实现正真意义上的at-least-once消费模式还必须取得offset-commit的控制权才行。
git log 是查看git提交记录的一个命令,它有非常多的控制参数和选项,合理使用的话,可以达到任何的精准控制目的。这里列一些日常使用可能会用到的用法,全部的用法,请在命令行git help log查看。
领取专属 10元无门槛券
手把手带您无忧上云