作者 | 郑思宇 “Flink 已经成为全球范围内实时流计算的事实标准。”用这句话来描绘 Flink 在当前大数据技术领域的地位并不为过。 虽然大数据领域的技术和潮流方向在不断发生改变,但是 Flink 一直处于核心驱动的位置。从流式计算引擎的兴起,到流批一体在企业内部的落地,再到为实现端到端全链路的实时化分析能力而走向舞台中央的流式数仓,Flink 均在其中扮演着重要的角色。 以上每个过程的推进和实现都并不容易,Flink 到底是如何做到的?其背后的推动力是什么?凭什么受到全球企业和开发者的青睐?带着这
云原生计算基金会(CNCF)成立于2015年,旨在传播和推广云原生基金会的开放标准和项目。CNCF在市场上享有全球认可,并在定义和完善云计算的未来方面发挥着至关重要的作用。
我是tyrantlucifer,目前是Apache SeaTunnel社区的PPMC & Committer,在一家不知名公司任职大数据开发工程师,工作方向主要聚焦于数据集成领域的探索和实践,平时也会用诸如Spark、Flink这样的分布式计算引擎做一些业务数据处理的工作,我是一名纯粹的开源爱好者,喜好用爱发电,热爱写代码,今天很高兴能够再次受到社区邀请,在这里讲述我与Apache SeaTunnel的故事。
作者 | Einat Orr 译者 | 平川 策划 | Tina 虽然该领域的公司数量在不断增加,但可以看到,其中有几个类别的产品出现了整合迹象。MLOps 趋向于端到端,Notebook 正在进入编排领域,而编排正在转向数据谱系和可观察性。与此同时,我们看到,开放式表格式进入了元存储功能。而在治理层,安全和权限管理工具进入目录领域,反之亦然。 本文最初发布于 lakeFS 官方博客。 自我们分享“2021 年数据工程现状”已经过了一年。从去年 5 月我们发布那篇文章以来,数据领域并没有多少变
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
Hadoop是时下最流行的企业级开源大数据平台技术,你可以将它部署在本地,也可以部署在云端。而深度学习,对于企业用户来说举几个简单的例子,常见的场景包括语音识别,图像分类,AI聊天机器人或者机器翻译。为了训练深度学习/机器学习模型,我们可以利用TensorFlow/MXNet/Pytorch/Caffe/XGBoost等框架。有时这些框架也会被一起使用用于解决不同的问题。
AMP 是一套开源的 web 组件格式和类库。与其它类库或者框架相比,AMP 最大的区别在于,它采用了白名单策略,来约定你可以做什么。
ClickHouse 素以社区火爆著称,无论是谁只要在社区里提交了有价值的想法或代码,管理者都会以最快的速度将它实现、上线。这种做法在激励着 ClickHouse 社区贡献的同时也给 ClickHouse 本身带来了无尽的活力,保证了 ClickHouse 在数据查询速度和稳定性方面的远超同行的霸主地位。几乎每一个月就更新一次的 ClickHouse,在过去的 2021 年实现了哪些优秀的功能呢?现在的 ClickHouse 适合在哪些场景下使用呢?未来 ClickHouse 发展的重点又在哪里呢?从 2019 年突然火爆起来的 ClickHouse 作为一匹黑马,在云原生场景下,是一匹能跑长途的黑马,还是仅仅是明日黄花呢?
Excelize 是 Go 语言编写的用于操作 Office Excel 文档基础库,基于 ECMA-376,ISO/IEC 29500 国际标准。可以使用它来读取、写入由 Microsoft Excel™ 2007 及以上版本创建的电子表格文档。支持 XLAM / XLSM / XLSX / XLTM / XLTX 等多种文档格式,高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档,并提供流式读写 API,用于处理包含大规模数据的工作簿。可应用于各类报表平台、云计算、边缘计算等系统。入选 2020 Gopher China - Go 领域明星开源项目(GSP)、2018 年开源中国码云最有价值开源项目 GVP (Gitee Most Valuable Project),目前已成为 Go 语言最受欢迎的 Excel 文档基础库。
WordPress 网站允许贡献者角色上传图片附件的方法。WordPress 网站从权限中可以看出投稿者默认不支持上传图片,这对投稿者造成不便,一篇没有图片的文章怎么能吸引读者呢,那么我们如何让WordPress投稿者支持上传或删除图片呢?
刚刚获悉,Oracle 正式对外发布JDK18。据Oracle官方公告,腾讯Kona蝉联JDK18中国企业贡献度第一,连续四次对OpenJDK开源社区贡献全国第一(JDK15~18)。同时,在官方首次公布的OpenJDK的综合贡献排名结果中,腾讯Kona的综合贡献全国第一,世界前五。 腾讯 Kona JDK 是基于 OpenJDK 开源项目打造的发行版之一。随着自身业务规模增长和极限能力要求,腾讯大数据专门成立了 JVM 研发团队,并通过内部开源协同战略协同全公司伙伴,负责 Kona JDK 的研发和维
据Oracle官方公告,腾讯Kona蝉联JDK18中国企业贡献度第一,连续四次对OpenJDK开源社区贡献全国第一(JDK15~18)。
在实时计算领域,Apache Storm、Samza、Spark Streaming、Kafka Stream、Flink 等开源流式计算引擎层出不穷,呈现百家争鸣之势,Google 也顺势推出了开源的 Beam 计算框架标准。
[ 导语 ] 2022年3月22日,JDK18正式对外发布。据Oracle官方公告[1],腾讯Kona 蝉联JDK18中国企业贡献排名第一,连续四次对OpenJDK贡献全国排名第一(JDK15~18)[1][2][3][4]。本文将介绍Kona在高性能计算引擎方面对OpenJDK社区的贡献。 ▍Kona:连续四次全国冠军,综合贡献全国第一 Kona是腾讯基于OpenJDK研发的JDK产品,Kona JDK完全免费,并提供长期支持,所发版本均通过腾讯内部和云上超大规模应用验证,欢迎下载使用。 2019年:首次
与其他图计算框架相比,将算法计算时间从天级缩短到分钟级,而且性能也全面领先,原本动辄需要数百台服务器的计算,现在最少只需要十台服务器。
前端爱好者的知识盛宴 嗨 这里是IMWEB 一个想为更多的前端人 享知识 助发展 觅福利 有情怀有情调的公众号 欢迎关注转发 让更多的前端技友一起学习发展~ 正文 1. AMP 是一个新的渲染引擎 / 编程语言 AMP 是一套开源的 web 组件格式和类库。与其它类库或者框架相比,AMP 最大的区别在于,它采用了白名单策略,来约定你可以做什么。 为什么要限制一些东西的使用呢?这是因为一些看起来很无辜的小代码很容易拖慢网站的性能。而且一段时间后回来排查这些性能问题会是一件非常困难的事情。这就像
Alluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的 数据编排技术 。 它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。 这还使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。
点击关注公众号,Java干货及时送达 来源:腾讯开源(ID:tencentopen) Oracle 正式对外发布JDK18。 据Oracle官方公告,腾讯Kona蝉联JDK18中国企业贡献度第一,连续四次对OpenJDK开源社区贡献全国第一(JDK15~18)。 同时,在官方首次公布的OpenJDK的综合贡献排名结果中,腾讯Kona的综合贡献全国第一,世界前五。 腾讯 Kona JDK 是基于 OpenJDK 开源项目打造的发行版之一。随着自身业务规模增长和极限能力要求,腾讯大数据专门成立了 JVM
Github 类的代码平台是个研发和安全人员的大宝库,阿里云效平台的代码权限事件历历在目,密码泄露到公开代码平台的事件层出不穷,为企业内外部的各种源代码管理系统(gitlab\stash\github\gitee)做好合理配置是新生事物。开发各种 github 敏感信息监控工具均属于事后管理,做好安全配置和培养员工良好的习惯才是安全管理的重中之重。
数据库领域同样如此。过去五十余年,数据库经历OLTP和OLAP两种需求漫长的融合-分离-再融合的过程。究其原因,数据库的发展始终与用户场景需求变迁紧密相关。如今,随着云计算和大数据的兴起,业务场景正在经历前所未有的变革,数据库领域也掀起了一股HTAP浪潮。
腾讯开源再次迎来重磅项目,14日,腾讯正式宣布开源高性能图计算框架Plato,这是在短短一周之内,开源的第五个重大项目。 相对于目前全球范围内其它的图计算框架,Plato可满足十亿级节点的超大规模图计算需求,将算法计算时间从天级缩短到分钟级,性能全面领先领先于其它主流分布式图计算框架,并且打破了原本动辄需要数百台服务器的资源瓶颈,现在,最少只需要十台服务器即可完成计算。 腾讯Plato团队负责人于东海表示:“Plato已经支持腾讯内部包括微信在内的众多核心业务,尤其是为腾讯超大规模社交网络图数据的各类
腾讯开源再次迎来重磅项目,14日,腾讯正式宣布开源高性能图计算框架Plato,这是在短短一周之内,开源的第五个重大项目。
==================================================== 如何创建分支branch? 分支可以方便同时处理多个版本的代码,它是在创建分支的那个时间点上的原始分支的精确副本。 即可以随意的体验或者是更改、提交新的分支,直到准备好了就可以安全的和原始分支进行合并。 ==================================================== 如何创建Pull Request? Pull Request 用于提出对项目文件的更改,它是一个开始提交讨论的方式,它被经常用于代码审查中。 如果是一个人工作的话,那么 Pull Request 可能没有太大的帮助,因为可以用学到的 git命令 来更改、推送到我们的主分支中,而不存在其他的分支。 但是如果在公司项目或者是开源项目这种团队工作的情况下,会有很多分支。 github 会知道你已经添加了更改到新的分支中,所以它会智能的建议你启动 Compare & pull request(比较和拉取请求) ==================================================== 如何解决文件冲突? 假设在合并 Pull Request 到我们的主分支之前,想对要合并的新分支添加修改,该如何做呢? 答:只需到回到 windows 中对新分支中的文件进行修改再保存即可,之后打开 cmd控制台 进行 git命令 操作即可。 演示在 github网站上 提交更改以及在本地计算机副本上提交更改来故意创建一个文件冲突。 当我们刚开始使用 git 和 github 时,建议:不要在 github网站上 对文件做任何修改,而是在本地计算机副本上执行想要的修改和其他工作, 这样做有助于我们有效地避免文件冲突。实际上,我们只是在本地计算机副本上进行更改且这个项目就是我一个人维护的话,那么我本地代码将永远和 github上 面的代码同步。 但是呢,如果是在一个团队中和他人协作时,他人会在我工作的时候,向远程分支 push 的一个更改,而这个更改和我们正在本地计算机做的更改是同一个文件,那么就会导致文件冲突。 这是一个相当普遍的问题。所以需要我们练习创建和修复冲突。 ==================================================== 如何创建组织? 有时在团队协作中,当需要用到多个代码仓库时,就需要一个 github 的组织了。 github 组织允许你管理和组织所有的代码仓库。一个 github 账户可以在不同的组织中工作。 输入组织名和邮箱即可,暂时不选付费项目。其余的不用管,默认下一步就行。 ==================================================== 如何创建小组? 比如:在谷歌工作,有开发小组、营销小组、运营小组, 在我所在的开发小组里面有三个人,我们需要访问相同的代码仓库,并且经常需要互相交流。 这个时候我们就需要单独的github小组,这样将有助于改善我们的工作流程。 通常来说,在github中一个组织可以分为多个小组。小组允许我和组内的成员共享设置权限,不同的组有不同的权限分配。 例如:开发小组有访问开发的权限,比如我有访问要开发软件的代码仓库的权限。 ==================================================== 如何在组织中创建代码仓库,并如何授予该组织中某个小组权限? 比如:在 google 这样的组织中,代码仓库应该属于组织所有的。 现在在组织中创建代码仓库,并且让开发小组能够访问到该组织新创建的代码仓库。 给上次在该组织中创建的开发小组开放访问权限。 ==================================================== 如何在组织中的代码仓库里,为组织中的小组创建Pull Request(拉取请求/下载请求)? 当你在一个更大的组织中工作时,良好的创建 Pull Request(拉取请求/下载请求) 的习惯是很重要的。 许多组织使用 Pull Request 进行代码审查,当你对代码进行更改后,你可以邀请你的小组审核你所做的更改,并提供反馈。 什么是好的 Pull Request 呢? 当我们自己一个人工作时,Pull Request 只是帮助我们自己记住为什么修改,所以随意提交一个 Pull Request 都没关系。 但是当我们作为更大团队的一部分,重要的是我们要清楚正在改变的是什么以及为什么要做出这样的改变。 所以我们要填写下修改的标题和具体
对于开源项目的跟踪指标和衡量成功的要素有很多种。项目的健康度虽然并非是唯一跟踪的,但是确实的非常重要。那么问题来了,围绕开源项目有着太多纬度的数据了,该如何下手?任何能够获取数据的地方,都可以收集并跟踪。同样每个公司所跟踪的指标,以及他们对数据的处理,都是大不相同的,这很大程度上取决于公司自身的项目目标,以及该公司在市场和开源社区中面临的独特挑战。
本文包括七个小节:1、什么是数据湖;2、数据湖的基本特征;3、数据湖基本架构;4、各厂商的数据湖解决方案;5、典型的数据湖应用场景;6、数据湖建设的基本过程;7、总结。受限于个人水平,谬误在所难免,欢迎同学们一起探讨,批评指正,不吝赐教。
第一个时期: 2006 年到 2008 年。2008 年左右,Hadoop 成为了 Apache 顶级项目,并正式发布了 1.0 版本,它的基础主要是基于谷歌的三驾马车,GFS、MapReduce、BigTable 去定义的。
本文将对云端环境中的横向移动技术和相关场景进行深入分析和研究,并给大家展示研究人员在云环境中观察到的一些威胁行为。云端环境中的横向移动可以通过利用云API和对计算实例的访问来实现,而云端级别的访问可能会扩展到后者。
「2019 年将会是云计算市场的重要拐点」,阿里巴巴集团 CTO、阿里云智能总裁张建锋以「拐点」拉开阿里云峰会上海站的序幕。
StreamPark[1] 在 9 月 1 号顺利通过投票,正式成为全球最大的开源基金会 Apache 软件基金会 (ASF) 的孵化项目。这是 StreamPark 项目的新起点,意味着开源社区化协作将会变得更加规范以及国际化。
本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网和部分下载链接,希望能给做大数据的朋友做个参考。下面是第一部分。
(本文作者系 VMware 中国研发云原生实验室架构师,联邦学习 KubeFATE / FATE 开源项目维护者和贡献者。)
在互联网与云计算技术发展的日新月异过去五年中,应用研发人员对效率与敏捷的极致追求,终于把业界带进了一个崭新的云原生时代。而云原生理念的迅速普及,火了 Docker,红了 Kubernetes ,也间接让一个编程语言成为了如今服务端的“当家花旦”。不消多讲,这位在云原生领域里正红的发紫的“角儿”,就是 Golang。
我叫陈新宇,在格灵深瞳负责数据流的研发,首先特别感谢如今老师,他们把Kafka一个优秀的消息中间件写出来,也感谢腾讯云做了调优工作,现在就该到我们这些做应用的人用它的时候了,我会从我们应用的层面讲一下它在我们PAAS平台中的应用,讲应用可能很难脱离业务,所以我可能会先给大家解释一下业务,这个业务中的应用,我觉得如何写卡,不卡如何设消费的骨肉普觉得这些东西大家可以自己看看文档,我就不给大家详细的描述了。
环球易购创建于 2007 年,致力于打造惠通全球的 B2C 跨境电商新零售生态,2014 年通过与百圆裤业并购完成上市,上市公司「跨境通(SZ002640)」是 A 股上市跨境电商第一股。经过多年的努力,在海外市场建立了广阔的销售网络,得到了美国、欧洲等多国客户的广泛认可,公司业务多年来一直保持着 100% 的增长速度。
作者 | 聂磊 策划 | Tina 云原生架构下,基于 Hadoop 技术栈搭建数据平台应该如何改造? 理想汽车大数据平台涉及的组件多, 在从 Hadoop 到云原生演进的过程中边探索,边实践,积累了不少一手经验;同时,他们率先在对象存储上使用 JuiceFS,实现平台级文件共享、跨平台使用海量数据等场景。 1 理想汽车在 Hadoop 时代的技术架构 首先简单回顾下大数据技术的发展,基于我个人的理解,将大数据的发展分了 4 个时期: 第一个时期:2006 年到 2008 年。2008 年左右,H
题图摄于颐和园 (本文作者系 VMware 中国研发云原生实验室工程师,联邦学习 FATE / KubeFATE 开源项目贡献者。) 需要加入KubeFATE开源项目讨论群的同学,请关注本公众号后回复 “kubefate” 即可。 相关文章: 使用Docker Compose 部署FATE v1.5.0 VMware招聘联邦学习和云原生开发工程师 概要 联邦学习开源框架 FATE 发布了1.5版本。由于该版本为长期支持版本(LTS),因此无论是在性能和稳定性上相对于之前的版本都有了比较大的提升,建议还
郭炜 在2021年,全球大数据技术最突出的特点就是开源科技。与开源相关的 GitLab 和 Confluent上市后分别市值200亿美元和300亿美元。在国内PingCap,StreamNative,TDEngine,ShardingEX等开源科技公司都获得了大量的融资。全球最成功的科技公司都拥有自己开源软件,开源已经成为下一代软件的开发方式。
开放源代码的策略性应用之路,起始于一个精心策划、组织与授权的开源计划办公室,以指导和管理开源的创建、分发和使用。但这仅仅只是第一步。为了让开源计划办公室顺利运行,您需要正确的工具。这些关键的任务工具将用于追踪各部门的目标与指标,从工程部门和法律部门到行政领导部门、公关部门与营销部门,同时给予员工收集数据、提供开源软件运行快照和管理公司内部开源软件日常使用所需要的全部资源。
「WeOpen Insight」是腾源会推出的「开源趋势与开源洞见」内容专栏,不定期为读者呈现开源圈内的第一手快讯、优质工具盘点等,洞察开源技术发展的风向标,预见未来趋势。 1 社区新闻 1、美国法院判决:未经 OSI 许可的开源是「假开源」! 3 月 17 日 ,OSI(Open Source Initiative,开放源代码促进会 )发文转述了一项来自美国法院的判决,表示未获 OSI 开源许可证许可,而自称「开源」的软件属于虚假广告。但独立技术律师 Kyle E. Mitchell 反驳了 OSI 的
Angel 是腾讯的首个 AI 开源项目,于 2016 年底推出、2017 年开源。作为面向机器学习的第三代高性能计算平台,Angel 致力于解决稀疏数据大模型训练以及大规模图数据分析问题。腾讯在 2018 年成为 LF AI 基金会的创始白金会员之一,并于同年向基金会贡献了开源项目 Angel。
她叫 Emma Haruka Iwao,来自日本,她利用谷歌云计算资源,花了 121 天,成功将圆周率 π 计算到小数点后 31.4 万亿位,准确地说,是小数点后 31415926535897 位,刷新了世界纪录。
作者:Wangda Tan、Sunil Govindan、Zhankun Tang
4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了企业级数据计算与存储平台——自研大数据引擎 EasyMR。
原文【Open Source Guides——Building Welcoming Communities】 📷 建立成功的项目 你们已经启动了你们的项目,你们正在传播它,同时有人正在查看它。真棒!现
导读:Knative是Google在2018的Google Cloud Next大会上发布的一款基于Kubernetes的Serverless框架。
嗨,猫头虎博主在此!🐆🦉 今天我们要聊的是Go Cloud Development Kit的最新更新。如果你在寻找关于Go语言和云开发的最新资讯,那么这篇博文正适合你。我们将深入探讨2019年3月4日Google团队发布的这个令人兴奋的项目。让我们一起探索如何使云开发变得更简单、更高效吧!
2022 年 11 月 26-27 日,Flink Forward Asia(FFA)峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会,是目前国内最大的 Apache 顶级项目会议之一,也是 Flink 开发者和使用者的年度盛会。由于疫情原因,本届峰会仍采用线上形式。此外,本次峰会上还举行了第四届天池实时计算 Flink 挑战赛的颁奖仪式,4346 支参赛队伍中共有 11 支队伍经过层层角逐脱颖而出,最终收获了奖项。 FFA 大会照例总结了
现在是 2017 年,Linux 在统治着计算机世界。不相信?Linux 基金会报告说,Linux 运行着 90% 的公共云工作量,世界上 82% 的智能手机,62% 的嵌入式市场,以及几乎占领了 99% 的超级计算机市场。所有的这些都基于 Linux 内核。在 Linux 基金会 2017 的 Linux Kernel 开发报告中 ,Linux 内核开发者和 LWN.net 的编辑 Jonathan Corbet 以及稳定的 Linux 内核维护者 Greg Kroah-Hartman 报告了 Linux 最新的发展。
Pentaho首席技术官James Dixon创造了“数据湖”一词。它把数据集市描述成一瓶水(清洗过的,包装过的和结构化易于使用的)。
领取专属 10元无门槛券
手把手带您无忧上云