Hive是互联数据仓库中使用最频繁的工具，做为仓库的技术人员，有很大必要去深入了解它，并以认真的态度去对待工作中遇到的每个问题，每个知识点，由点及面，让我们的技术更扎实，也让我们更有底气~~
Apache Flink 的命脉 "命脉" 即生命与血脉，常喻极为重要的事物。系列的首篇，首篇的首段不聊Apache Flink的历史，不聊Apache Flink的架构，不聊Apache Flink的功能特性，我们用一句话聊聊什么是 Apache Flink 的命脉？我的答案是：Apache Flink 是以"批是流的特例"的认知进行系统设计的。
导读：Apache Spark是一个强大的开源处理引擎，最初由Matei Zaharia开发，是他在加州大学伯克利分校的博士论文的一部分。Spark的第一个版本于2012年发布。
亲爱的社区小伙伴们，Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化，提交了若干改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。
最近一直在思考如何帮助他人来学习 SQL，这里作为一名数据库 SQL 优化器的研发同学，我尝试从我个人的经验来分享一些提升对 SQL 的掌握使用的方法。
本文整理自爱奇艺高级研发师何聪在 Apache APISIX Meetup - 上海站的演讲，通过阅读本文，您可以了解到基于 Apache APISIX 网关，爱奇艺技术团队是如何进行公司架构的更新与融合，打造出全新的网关服务。欢迎感兴趣的同学点击阅读原文访问 bilibili 观看视频。 作者何聪，高级研发师，IIG 基础架构部 - 计算云，主要负责爱奇艺网关开发和运维工作
Apache是一个开源的、跨平台的Web服务器软件，由Apache软件基金会维护。它是互联网上使用最广泛的Web服务器之一，提供了一系列强大的功能和模块，适用于各种规模和类型的网站。
导语 ApacheCon 是Apache软件基金会（ASF）的官方全球系列大会，作为久负盛名的开源盛宴，是开源界最具期待的大会之一。 关于ApacheCon Asia ApacheCon Asia 2022将于7月29日-31日在线举办，覆盖了数十个类别的Apache 项目内容，从流处理到消息队列、集成等皆有涉及。在今年会议中，Pulsar议题数量较2021年增长2.5倍，覆盖了技术探究、用户案例及生态集成等方向，可谓是精彩纷呈也紧跟热门趋势，欢迎大家在线观看这场Apache 技术盛宴。 消息系统分论
作者 | 付帅 策划 | 凌敏 业务背景 橙联股份是一家服务全球跨境电商的科技公司，致力于通过市场分析、系统研发及资源整合，为客户提供物流、金融、大数据等多方面的服务产品，为全球跨境电商提供高品质、全方位的服务解决方案。 随着公司业务的发展和数据的不断增长，早期基于 MySQL 的传统数仓架构已经无法应对公司数据的快速增长。业务的需求和运营的决策对于数据时效性的要求越来越高，对数仓准实时能力的需求越发强烈。 为了适应快速的增长需求，橙联于 2022 年正式引入 Apache Doris，以 Apac
近几年，Apache Kylin作为一个高速的开源分布式大数据查询引擎正在迅速崛起。它充分发挥Hadoop、Spark、HBase等技术的优势，通过对超大规模数据集进行预计算，实现秒级甚至亚秒级的查询响应时间，同时提供标准SQL接口。目前，Apache Kylin已在全球范围得到了广泛应用，如百度、美团、今日头条、eBay等，支撑着单个业务上万亿规模的数据查询业务。在超高性能的背后，Cube是至关重要的核心。一个优化得当的Cube既能满足高速查询的需要，又能节省集群资源。本文将从多个方面入手，介绍如何通过优
大家在使用HBase的过程中，总是面临性能优化的问题，本文从HBase客户端参数设置的角度，研究HBase客户端数据批量插入性能优化的问题。事实胜于雄辩，数据比理论更有说服力，基于此，作者设计了这么一个HBase数据插入性能优化实测实验，希望大家用自己的服务器跑出的结果，给自己一个值得信服的结论。
本文的目的是为读者提供全面了解Apache Hudi的知识。具体而言，读者可以了解到Apache Hudi是什么、它的架构如何工作、常见的使用案例以及与之配合工作的最佳实践。此外，读者还将获得有关如何设置和配置Apache Hudi，以及优化其性能的技巧的见解。通过阅读本文，读者应该对Apache Hudi有扎实的理解，并了解如何在其数据处理流程中利用它的优势。
本文将简述Flink SQL / Table API的内部实现，为大家把 "从SQL语句到具体执行" 这个流程串起来。并且尽量多提供调用栈，这样大家在遇到问题时就知道应该从什么地方设置断点，对整体架构理解也能更加深入。
亲爱的社区小伙伴们，我们很高兴地向大家宣布，Apache Doris 2.0.0 版本已于 2023 年 8 月 11 日正式发布，有超过 275 位贡献者为 Apache Doris 提交了超过 4100 个优化与修复。
好消息！Apache DolphinScheduler 2.0.1 版本今日正式发布！
Web服务器加速之Tomcat7性能如何调优 1. Tomcat是一个运行在Java JVM（虚拟机）环境的的一个应用，使用Java开发的。 2. Tomcat也有自己的web管理功能
作者 ｜ 陈明雨 十年对于数据库意味着什么？ 身处在日新月异的时代，我们见惯了技术的兴起与繁荣、变迁与衰落，甚至是朝荣夕灭。信息技术以前所未有的速度更迭，给周遭事物带来了颠覆性地变化。数据库亦是如此，无数数据库悄然湮没在技术更迭的浪潮里，直到在浩渺如海的代码片段中都找不到些许印记。而有的则历久而弥新，经受了时间的考验，彰显出强大的生命力，并以更加繁茂的姿态扎根生长。 十年对于数据库而言，可能是一段从诞生到消逝的完整软件生命周期，也可能是迈过里程碑之后的全新旅程。 所以从 MySQL 1.0 版本诞生
各位读者朋友，我想死你们了，今天我带着 calcite这个专题的第三篇文章来了，今天我们来说说sql重写，这可能也是大家都有需求的方面，我计划这个专题分为三篇来写：
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以 支持高并发的点查询场景，也能支持高吞吐的复杂分析场景 。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
这种情况也是我经常会遇到的一个场景，之前也有同学拿着sql来问，说这样写会不会影响运行效率：
本文根据肖康在【第十三届中国数据库技术大会（DTCC2022）】线上演讲内容整理而成。
某天临时被当成壮丁拉去参加一个非常牛逼的应用监控平台（后续会开源），然后大佬就给我派了一个任务，要将项目中的查询性能优化 50 倍以上，大佬对我如此地寄予厚望，我怎么能让大佬失望呢（虽然我内心瑟瑟发抖）？于是我就开始了这段性能优化之旅。
Apache Hive 2.1已于几个月前发布，它引入了内存计算，这使得Hive计算性能得到极大提升，这将会影响SQL On Hadoop目前的竞争局面。据测试，其性能提高约26倍。 Apache Hive 2.1新引入了6大性能，包括： （1）LLAP。Apache Hive 2.0引入了LLAP（Live Long And Process），而2.1则对其进行了极大的优化，相比于Apache Hive 1，其性能提升约25倍； （2）更鲁邦的SQL ACID支持； （3）2X ETL性能提升。引入更智能
Apache Spark是Apache的开源大数据框架，具有与SQL，流，图处理和机器学习有关的内置模块。它于2010年开源，从一开始就对大数据和相关技术产生了明显影响，因为它很快吸引了250多个组织和超过1000个参与者的关注。拥有众多Apache Spark书籍，很难找到用于自学的最佳书籍。
打开conf/server.xml文件，修改Connector 标志的protocol属性：
本文介绍了Apache Spark的四个主要版本，包括Spark 1.x、Spark 2.x、Spark 3.x和Spark 4.x，以及每个版本所包含的特性和改进。同时，文章还介绍了Spark在大数据处理、机器学习、图计算和流处理等领域的应用情况。最后，文章展望了Spark未来的发展方向，包括结构化流处理和深度学习的支持等。
Apache IoTDB V0.13.3 已经发布，此版本是 0.13.2 的 bug-fix 版，主要提升了文件合并的稳定性，优化了重启速度。
有赞作为一家商家服务公司，OLAP对有赞非常重要，从商家后台的数据看板，再到最近有赞门罗发布会上的有赞贾维斯，都离不开OLAP。具体到技术栈，有赞的MOLAP采用Apache Kylin（参考文章：有赞出品｜升级 Kylin 4 最强攻略！），ROLAP 采用了ClickHouse（参考文章：ClickHouse 在有赞的实践之路）。
Apache Flink 社区迎来了激动人心的两位数位版本号，Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持（PyFlink）的重大优化。
Apache Spark 以其分布式计算能力彻底改变了大数据处理。然而，Spark 的性能可能会受到称为“shuffle”的常见挑战的影响。在本文中，我们将探讨 shuffle 是什么、它的原因、与之相关的问题以及优化 Apache Spark 性能的有效解决方案。
Apache Calcite是一款开源的动态数据管理框架，它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力，但不包括数据存储、处理数据的算法和存储元数据的存储库。
2020年6月18日，开发了近两年（自2018年10月份至今）的Apache SparkTM 3.0.0正式发布！
关于 Apache InLong 作为业界首个一站式开源海量数据集成框架，Apache InLong（应龙） 提供了自动、安全、可靠和高性能的数据传输能力，方便业务快速构建基于流式的数据分析、建模和应用。目前 InLong 正广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域，服务上千个业务，其中高性能场景数据规模超百万亿条/天，高可靠场景数据规模超十万亿条/天。 InLong 项目定位的核心关键词是“一站式”和“海量数据”。对于“一站式”，我们希望屏蔽技术细节、提供完整数据集成及配套服务，实现开箱即
特别声明：本文来源于掘金，“预留”发表的[Apache Calcite 论文学习笔记](https://juejin.im/post/5d2ed6a96fb9a07eea32a6ff)
作者 | 凌敏 Apache Kyuubi 正式毕业 2022 年 12 月 22 日，Apache 软件基金会（ASF）官方宣布 Apache Kyuubi 正式毕业，成为顶级项目（TLP）。 Apache Kyuubi 是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器 SQL。项目最初由网易数帆开发并于 2018 年开源，2021 年 6 月捐赠 Apache 基金会，经过 1 年多的孵化于 2022 年 11 月通过投票，在 12 月顺利毕业，成为 Apache 基金会顶级开源项目。
世界各地无数的组织，他们使用的数据现在日益庞大而复杂，使用传统的数据处理程序已无法再进行优化分析及获得洞察。而这正是的新一代的大数据应用程序要解决的问题。近期Apache软件基金会（ASF）又将一批有趣的开源大数据项目毕业为的Apache顶级项目。这意味着，这些项目将能够得到积极的发展和社区的大力支持。 大多数人都听过的Apache Spark，一个针对Streaming, SQL，机器学习和图形处理的内置模块的大数据处理架构。 IBM和其他公司正在投入数十亿美金开发资金到Spark项目，NASA和SETI
类比Windows上的tomcat 启动，通过bin目录下startup.sh脚本来启动tomcat
2022 年 12 月 19 日、28 日，经 Apache IoTDB 社区投票，张洪胤、朱海铭成为 Apache IoTDB Committer，而这两位同学都深度参与了 1.0 版本物联网共识协议 IoTConsensus 的开发中。今天将和大家分享他们两位与 Apache IoTDB 的故事。
在大数据环境中,有各种各样的数据格式,每个格式各有优缺点。如何使用它为一个特定的用例和特定的数据管道。数据可以存储为可读的格式如JSON或CSV文件,但这并不意味着实际存储数据的最佳方式。
2020年6月18日，开发了近两年（自2018年10月份至今）的Apache Spark 3.0.0正式发布！
Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源，HDFS上的分析数据集通过两种类型的表提供服务：读优化表（Read Optimized Table）和近实时表（Near-Real-Time Table）。
大家好，这是 Calcite 的第二篇文章了，我一直毫不掩饰对她的喜爱，而且一直在致力于为社区做一些贡献，如果你也喜欢这个项目的话，欢迎评论，转发，如果没看过第一篇的话，也欢迎移步去看看（手把手教你使用Calcite查看SQL执行计划）。如果你还不了解这个项目的话，我也希望能通过我，让你知道这个优秀的项目。
导读：本次分享的主题为Apache Flink新场景——OLAP引擎，主要内容包括：
Apache Doris是一个基于MPP架构的易于使用，高性能和实时的分析数据库，以其极高的速度和易用性而闻名。海量数据下返回查询结果仅需亚秒级响应时间，不仅可以支持高并发点查询场景，还可以支持高通量复杂分析场景。
Apache CarbonData 是一种索引列式数据格式，专为快速分析和实时洞察至关重要的大数据场景而开发。这个强大的数据存储解决方案是 Apache 软件基金会内的顶级项目，提供了一种更结构化、更高效、更快速的方法来处理和分析大型数据集
本文介绍了Apache Spark的四个主要应用场景，包括大数据处理、机器学习、图计算和流处理。Spark可以处理批量数据和流数据，并且提供了简单易用的API。同时，Spark还支持多种编程语言，包括Python、Java和Scala等，使得开发人员可以更加便捷地开发复杂的数据处理应用。
自从 Apache Spark 2009 年在 U.C. Berkeley 的 AMPLab 默默诞生以来，它已经成为这个世界上最重要的分布式大数据框架之一。Spark 可以用多种方式部署，它为 Java、Scala、Python，和 R 编程语言提供了本地绑定，并且支持 SQL、流数据、机器学习，和图处理。你将会发现它被银行、电信公司、游戏公司、政府，和所有如 Apple、Facebook、IBM，和 Microsoft 等主要的科技巨头公司使用。 非常好，Spark 可以运行在一个只需要在你集群中的
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
