本文首先介绍了大数据架构平台的组件架构，让读者了解大数据平台的全貌，然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点，最后是专家眼里大数据平台架构的发展趋势。
在这篇博客中，我们将深入探讨Apache Kylin的工作原理、优势以及如何高效使用它来处理大数据。这篇文章是为了帮助那些对大数据分析、数据立方体、OLAP技术感兴趣的读者，无论是初学者还是行业专家。我们将探讨Kylin的关键特性，如预计算数据立方体、多维分析和海量数据支持，以及如何在实际项目中应用这些特性。
爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等，并且随着各技术框架的版本升级而升级。比如：
作为一名专注于大数据查询与分析技术的博主，我深知Apache Impala作为一款高性能的MPP（Massively Parallel Processing）查询引擎，在大数据实时分析领域所展现的强大实力。本篇博客将结合我个人的面试经历，深入剖析Impala的底层原理与性能调优技巧，分享面试必备知识点，并通过示例进一步加深理解，助您在求职过程中自信应对与Impala相关的技术考察。
在 2016 年正式开源后，ClickHouse 这个大数据计算引擎里的后起之秀开始在一众“前辈”面前崭露头角。近两年来，ClickHouse 的关注度、采用度得到了显著提升，这归功于其强大的性能优势和细粒度的分析能力。 字节跳动是国内最大规模的 ClickHouse 使用者之一：节点总数超过 18000个；最大内部集群 2400 余台；管理数据量超 700 PB。然而正如《人月神话》所言，软件开发没有银弹，开源版的 ClickHouse 也无法解决字节跳动复杂的业务场景所带来的个性化挑战。为了解决实际业务
本项目由PingCAP投递并参与“数据猿年度金猿策划活动——2022大数据产业创新技术突破榜单及奖项”评选。
Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。
为了满足企业大数据对联邦查询、高性能交互式查询、成本优化的需求，DLC团队正式发布数据湖计算DLC2.2.5版本！该版本推出联邦查询增强、网络配置模块、日志信息、原生函数等重磅特性～全方位提升产品能力，助力企业数据资产分析与管理！ 重点特性 重点特性一：联邦查询分析增强，支持更多数据源 联邦查询新增Postgresql， SQLServer， ClickHouse三种数据源支持，支持数据源连通性测试。联邦查询分析覆盖更多用户使用场景，提高用户使用便捷性。 重点特性二：新增网络配置管理模块，规范数据引擎
《Hadoop大数据技术体系：原理、内幕与项目实践》课程体系 课程特色： 本课程以 “互联网日志分析系统”这一大数据应用案例为主线，依次介绍相关的大数据技术，涉及数据收集，存储，数据分析以及数据可视化，最终会形成一个完整的大数据项目。 本课程以目前主流的，最新Hadoop稳定版2.7.x为基础，同时兼介绍3.0版本新增特性及使用，深入浅出地介绍Hadoop大数据技术体系的原理、内幕及案例实践， 内容包括大数据收集、存储、分布式资源管理以及各类主要计算引擎， 具体包括数据收集组件Flume、分布式文件
在大数据时代，SQL作为数据分析的通用语言，其在处理海量数据集时的作用尤为重要。传统的RDBMS在面对TB乃至PB级别的数据时，往往会因性能瓶颈和扩展性限制而显得力不从心。因此，为适应大数据场景，Apache Hive、Presto（现更名为Trino）等专门针对大数据查询优化的工具应运而生，它们不仅保留了SQL的易用性，还引入了诸多创新技术以实现对大规模数据的高效查询。本文将深入剖析Hive、Presto（Trino）的特点、应用场景，并通过丰富的代码示例展示如何在大数据环境中利用这些工具进行高性能SQL查询。
本文介绍了大数据处理框架Apache HAWQ的源起、设计目标、主要特性、系统架构、性能、适用场景以及与其他大数据处理框架的对比。HAWQ适用于需要高性能、低延迟、类似SQL的查询语言来处理大规模数据集的场景。HAWQ基于Apache Hadoop构建，并提供了类似于Hive的SQL查询语言。与Hive、SparkSQL、Impala等大数据处理框架相比，HAWQ在查询性能、运行时延迟、支持的数据类型、内置函数等方面都有显著的优势。
根据数据查询路径查询目标任务数据的数据索引信息，对数据索引信息进行特征提取，得到特征信息集合；将特征信息集合输入聚类模型进行特征聚类，得到目标聚类结果；根据目标聚类结果构建距离数据离散分布图，根据距离数据离散分布图判断数据索引信息是否存在异常，得到数据异常判断结果；根据数据异常判断结果确定对应的异常索引节点；根据数据库组织信息，对异常索引节点进行数据库异常根因分析，生成目标任务数据对应的根因分析结果。
高可用SpringCloud微服务与docker集成实现动态扩容实战
在上一篇文章MySQL（五）｜《千万级大数据查询优化》第二篇：查询性能优化（1）中讲到一条SQL的查询执行路径如下图5-1所示： 图5-1 步骤如下： 客户端发送一条查询给服务器。 服务器先检查查
亲爱的读者朋友，今天我将为您分享一个技术挑战，即如何在处理百万级数据查询时进行优化，尤其是在不能使用分页的情况下。这是一个复杂而令人兴奋的话题，我们将深入探讨各种可能的解决方案，以帮助您更好地理解如何应对这类挑战。
OLAP作为一个我们重度依赖的组件，它的优化也是我们在实际工作和面试中经常遇到的问题。
在数据库操作和SQL查询的开发过程中，有时候我们为了动态生成查询、进行权限控制、进行查询优化或者其他一些与数据库交互相关、数据库监控等的需求，需要从SQL语句中提取表名。本文分别使用正则表达式和使用SQL解析库的方式来获取。当然实际使用中需要进行优化，本次只是做初步的获取操作。
腾讯云数据库TDSQL与中国人民大学最新联合研究成果被SIGMOD 2022接收并将通过长文形式发表。SIGMOD是国际数据管理与数据库领域顶尖的学术会议之一，腾讯云数据库TDSQL论文已连续多年入选VLDB、SIGMOD、ICDE等国际顶级会议。 本次入选论文题目为：CompressDB: Enabling Efficient Compressed Data Direct Processing for Various Databases。论文针对压缩数据的直接操作与处理，提出一项新型数据库处理技术——Co
作为一名专注于大数据处理与实时分析技术的博主，我深知Apache Druid作为一款高性能的实时数据分析系统，在现代数据栈中所发挥的关键作用。本篇博客将结合我个人的面试经历，深入剖析Druid的设计理念、核心功能及其在实际应用中的最佳实践，分享面试必备知识点，并通过示例进一步加深理解，助您在求职过程中自信应对与Druid相关的技术考察。
文|叶蓬 【按：此文是与我的《基于大数据分析的安全管理平台技术研究及应用》同期发表在内刊上的我的同事们的作品，转载于此。这些基础性的研究和测试对比分析，对于我们的BDSA技术路线选定大有帮助。】 引言 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、 Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon D
随着大数据时代的到来，数据库管理系统需要处理越来越多的数据。MySQL作为一种流行的关系型数据库管理系统，被广泛应用于各类业务场景。然而，当数据量达到上亿级别时，查询性能可能会显著下降，严重影响应用的响应速度和用户体验。本文将详细介绍MySQL在处理上亿数据时的查询优化技巧，并通过实践案例展示如何有效提升查询性能。
本文是MySQL（三）｜《千万级大数据查询优化》第一篇：创建高性能的索引的一个补充。 主要包括如下几点：
随着近几年整个产业数字化进程的深入，数据库的应用场景变得更多、更复杂，导致数据库需要应对相比以往急剧增长的数据规模，处理更加多样的数据类型，以及具备更加复杂的场景化能力。
工作1-5年，当我们向老板提出加薪的时候，或者跳槽去“捡”offer的时候，我们底气够吗？
长安汽车智能化研究院是中国长安汽车集团有限责任公司旗下专注于汽车智能化技术研究和创新的研发机构。其愿景是通过持续创新和技术突破，实现汽车智能驾驶、智能网联和智能交通的全面发展，提供更安全、更便捷、更智能的出行体验，并成为中国汽车智能化领域的领军企业。
给大家推荐一个程序员学习交流群：863621962。群里有分享的视频，还有思维导图
在项目中链接数据是直接通过pymysql去做的链接请求关闭，每次操作都要独立重复请求，其实是比较浪费资源，在并发不大的小项目虽然无感知，但如果有频繁请求的项目中，就会有性能问题，那么可以通过使用连接池技术，管理来进行优化
某后台的功能列表，页面底部为通用分页： 总条数: 16209321 页码：1 2 3 4 5 .... 9819 页面默认展示 10 条数据，默认展示条数可选。 页面上部分搜索区域部分有多达 20-30 的筛选条件，筛选条件分别来自于不下 10 张数据表。 拿订单列表查询举例，可以使用用户表里的某个特殊字段进行筛选，如性别等，这些字段肯定不会在订单表存储，所以必然会进行联表。 使用者常常有疑问： 为何页面只有 10 条数据，查询却如此之慢？ 老板会质疑你，做的是什么玩意？查询 10 条数据都要 1 分钟以上的时间？（优化前页面需要转 1 分钟才可显示出数据，页面转圈圈～）
在前面的博文里，我已经介绍了 问：哪个版本开始Hive开始支持视图了？ 答：Hive0.6开始 可以先，从MySQL里的视图概念理解入手 视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口，与基本表不同，它是一个虚表。在数据库中，存放的只是视图的定义，而不存放视图包含的数据项，这些项目仍然存放在原来的基本表结构中。 视图可以被定义为多个表的连接，也可以被定义为只有部分列可见，也可为部分行可见。 Hive视图是一种无关底层存储的逻辑对象。视图中的数据是SELECT查询返回的结果。在视图选定后才会开始执行S
最近因为工作需要对VLDB的一些论文进行了阅读。其中包括谷歌新发表的F1数据库的分析。解读谷歌论文一直都是不太容易的。因为谷歌向来都是说一半藏一半。这篇论文相对来说还是写的比较开放的，还是不能免俗。
Impala是对现有大数据查询工具的补充，不能替代基于Hive的MapReduce批处理任务框架（适用于耗时长的批处理任务，例如ETL等）。
在数据大爆炸时代，随着企业的业务数据体量的不断发展，半结构化以及无结构化数据越来越多，传统的数据仓库面临重大挑战。通过以Hadoop, Spark为代表的大数据技术来构建新型数据仓库，已经成为越来越多的企业应对数据挑战的方式。
MySQL 是一种流行的开源关系数据库管理系统（RDBMS），其性能和可靠性在各种规模的应用中得到了广泛的验证。尽管 MySQL 本身已经非常高效，但在一些高并发、大数据量的场景下，对其内核进行深度优化是提升性能的关键。本文将详细探讨 MySQL 内核深度优化的若干方面，包括存储引擎优化、查询优化、内存管理优化、并发控制优化以及索引优化等。
先来分享一下关于优化数据库设计这块内容，这里从三个方面：规范化与反规范化、合适的数据类型、数据分区。
MySQL是我们非常常用的关系型数据库，非常重要，所以在这里给大家整理下MySQL的高级内容。
中间件分表是不是一个好的主意？通过中间件来对MYSQL的数据进行分表是一个常见的对于大数量的解决的方案，通过中间件将应用的数据在中间层进行路由，通过路由将一张表的数据，映射到不同物理数据库上的表，通过应用设计的分片键将数据根据规则存储在不同的物理服务器上。实际上分布式数据库的基本原理也是这样。
作者介绍 孙垚光：目前是百度分布式计算方向架构师，离线计算技术负责人。2009年加入百度，先后从事内核网络协议栈、Hadoop/Spark大数据等方向的研发和优化工作，对Hadoop大数据生态有较为深入的理解，积累了丰富的大数据实战经验。 本文主要介绍百度基于Spark SQL构建的一体化即席查询平台，包括架构、特点、相关概念，以及其中涉及到的主要关键技术点，并选择其中一两个技术点做深入分析和探讨，接着是即席查询平台在百度内部业务上的应用案例，包括使用场景和业务收益，同时，面向百度开放云的企业客户，我
互联网时代的进程越走越深，使用MySQL的人也越来越多，关于MySQL的数据库优化指南很多，而关于SQL SERVER的T-SQL优化指南看上去比较少，近期有学习SQLSERVER的同学问到SQL SERVER数据库有哪些优化建议？本文列举了部分常见的优化建议，具体内容如下：
年初，从北极光创投获得了1000万美元投资的TalkingData创始人兼CEO崔晓波走入CSDN的视野。《TalkingData CEO崔晓波深度专访：真正懂大数据的公司不说大数据》一文将TalkingData团队构成、创业初衷、商务模式、产品特点描述的非常清楚。而后，伴随移动数据的风潮日渐猛烈，TalkingData发展速度更为惊人：其麾下App Analytics、Game Analytics和 Mobile Ad Tracking三项服务已经分别覆盖约7.2 亿、3.5 亿和2亿独立移动设备。 im
MySQL是一款广泛使用的开源关系型数据库管理系统，它在许多应用程序中扮演着关键角色。然而，随着数据量和访问量的增加，需要采取进一步的措施来优化性能、提高安全性以及实现高可用性。本文将深入探讨如何在MySQL数据库中进行进阶实战，以满足这些需求。
该案例描述了中国农业银行基于中兴通讯GoldenData大数据平台，实现了对海量数据的快速处理，提升了业务应用的性能，并支持了数据分析和决策制定等需求。
数据科学家们早已熟悉的R和Pandas等传统数据分析框架虽然提供了直观易用的API，却局限于单机，无法覆盖分布式大数据场景。在Spark 1.3.0以Spark SQL原有的SchemaRDD为蓝本，引入了Spark DataFrame API，不仅为Scala、Python、Java三种语言环境提供了形如R和Pandas的API，而且自然而然地继承了Spark SQL的分布式处理能力。此外，Spark 1.2.0中引入的外部数据源API也得到了进一步的完善，集成了完整的数据写入支持，从而补全了Spark
从互联网、移动互联网到物联网，数据量之巨大已突破想象边界。与此同时，实时数据分析的需求日益增长，那么，当数据量达到亿级、百亿级甚至万亿级规模，实时数据分析如何来做？尤其在To B/G来说，大多数企业和政府客户区别于互联网企业，自身不具备技术团队，缺乏技术运维能力，因此在搭建本地化万亿级大数据平台时，如何交付更为标准化、透明化设计的产品成为最大挑战。
随着互联网、物联网、5G、人工智能、云计算等技术的不断发展，越来越多的数据在互联网上产生，对互联网的运营也开始进入精细化，因此大数据、数据分析、数字营销开始变成每个互联网企业的重点。在做数据分析时有OLAP、OLTP是我们必定会遇到的技术，在介绍OLAP引擎技术选型之前，我们先看看这两个技术分别是什么意思？
• 1 基础查询 • 2 字符串\数字\日期时间 • 3 聚合数据查询 • 4 子查询 • 5 联接\组合查询 • 6 高级查询 • 7 更新数据
为了方便大家梳理清楚大数据学习路线，本文从以下四个方面来介绍大数据技术： 大数据技术栈 大数据发展史 大数据应用 大数据开发岗位
导语 |为了满足贝壳日益复杂、多样化业务场景下的多维数据分析需求，贝壳 OLAP 平台经历了从早期基 于Hive+MySQL 原始阶段，到基于 Kylin单一引擎的平台化建设，再到支持多种不同OLAP引擎的灵活架构的发展历程。本文是对贝壳找房数据智能中心资深研发工程师——肖赞在云+社区沙龙online的分享整理，希望与大家一同交流。
大数据价值的发现与其所处的应用场景密切相关。概括起来，大数据价值发现可以划分为三大类：数据服务、数据分析和数据探索。数据服务是面向大规模用户，提供高性能的数据查询、检索、预测等服务，通过直接满足用户需求而将数据价值变现的形式;数据分析是分析人员利用经验，通过对大规模数据使用特定的计算模型进行较为复杂的运算，从而发现易于人们理解的数据模式或规律所进行的数据价值变现的一种运算形式;数据探索是一种利用数据分析和人机交互的结合，通过不断揭示数据的规律和数据间的关联，引导分析人员发现并认识其所未知的数据模式或规律，其
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
