- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据成神之路
「硬刚Doris系列」Doris高级用法
Doris会自动尝试进行 Broadcast Join，如果预估小表过大则会自动切换至 Shuffle Join。 10 | +--------------------+ 1 row in set (0.15 sec) 1.3 Colocation Join 1.3.1 名词解释 FE：Frontend，Doris BE：Backend，Doris 的后端节点。负责查询执行和数据存储。 Colocation Group（CG）：一个 CG 中会包含一张及以上的 Table。 1.3.2 原理 doris 除了支持Broadcast/Shuffle Join 之外，Colocation Join更是一大特色。 COUNT(DISTINCT expr) 等价 (仅支持 TINYINT,SMALLINT 和 INT) 1.6 物化视图 物化视图是将预先计算（根据定义好的 SELECT 语句）好的数据集，存储在 Doris
2.4K71编辑于 2022-06-05 - 来自专栏开源心路
doris架构
Doris on ES Doris-On-ES将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案： ES中的多index分布式 ，让Doris可以具有了访问各式数据库的能力，并借助Doris本身的OLAP的能力来解决外部表的数据分析问题： 支持各种数据源接入Doris。 Spark Doris Connector Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据。 当前版本只支持从Doris中读取数据。 Flink Doris Connector Flink Doris Connector 可以支持通过 Flink 读取 Doris 中存储的数据。 Doris output plugin 该插件用于logstash输出数据到Doris，使用 HTTP 协议与 Doris FE Http接口交互，并通过 Doris 的 stream load 的方式进行数据导入
94811编辑于 2023-06-30 - 来自专栏站长运维
小米doris
小米doris apache doris在小米演进架构中的应用，原来的方式是来自各平台的数据，都要有一个数据汇总的平台，但是由于数据量巨大，如果还用传统的mysql来做数据筛选，mysql的查询语句会变得越来越复杂 现在apache doris已经在天星数科、新零食、用户画像、BI广告投放等业务上广泛被使用，大大提高的服务的运算性能。 架构中有缓存，apache doris数据写入缓存，从缓存中读，缓存中读不到的从doris中读，那么，doris优势体现在性能更高吗？ 增量数据100亿/天，导入压力大，可以从接手数据接入doris，然后做数据埋点做切入点？ 它提供了留存、漏斗分析等函数，极大程度简化了开发的成本。 消息队列talos，在Flink中清洗建模后，被下游的Doris和Hive消费。全量数据会存储在Hive中，进行批量ETL或历史数据召回的查询。实时增量被存储在Doris中，用来做热数据的查询操作。
34510编辑于 2023-11-30 - 来自专栏Lansonli技术博客
大数据Doris（二）：Doris原理篇
Doris原理篇一、Doris 特点1、支持标准SQL接口在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris 5、支持物化视图Doris 也支持强一致的物化视图，物化视图的更新和选择都在系统内自动进行，不需要用户手动选择，从而大幅减少了物化视图维护的代价。 Doris 的 Runtime Filter 支持 In/Min/Max/Bloom Filter。 Doris的系统架构如下，Doris主要分为FE和BE两个组件：Doris的架构很简洁，使用MySQL协议，用户可以使用任何MySQL ODBC/JDBC和MySQL客户端直接访问Doris，只设FE( FE：Frontend，即 Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作BE：Backend，即 Doris 的后端节点。
5.6K43编辑于 2024-01-17 - 来自专栏Lansonli技术博客
大数据Doris（二）：Apache Doris 部署介绍
----Apache Doris 部署介绍一、软硬件要求Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境， Apache Doris的性能与节点数量及配置正相关，官方建议生产环境中部署Doris使用10~100台左右的机器来充分发挥Doris性能，其中3台部署FE(HA)，剩余的部署BE。 时钟同步Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。 关闭交换分区（swap ）Linux交换分区会给Doris带来很严重的性能问题，需要在安装之前禁用交换分区。 五、网络需求Doris 各个实例直接通过网络进行通讯。
4.6K00编辑于 2023-04-27 - 来自专栏Lansonli技术博客
大数据Doris（十五）：Doris分区Partition
创建Doris表时也可以仅使用一层分区，使用一层分区时，只支持Bucket分桶划分，这种表叫做单分区表；如果一张表既有分区又有分桶，这张表叫做复合分区表。 从Doris1.2.0版本后也支持通过"FROM(...) TO (...) INTERVAL ..."来批量创建分区。下面分别进行演示。 通过"VALUES [...)" "2017-06-01"); Query OK, 0 rows affected (0.05 sec) 注意：关于操作分区注意项参考官网：ALTER-TABLE-PARTITION - Apache Doris
6.6K100编辑于 2023-05-11 - 来自专栏Lansonli技术博客
大数据Doris（一）：Doris概述篇
Doris概述篇一、前言Doris由百度大数据部研发，之前叫百度Palo，于2017年开源，2018年贡献到 Apache 社区后，更名为Doris。 二、Doris简介Apache Doris是一个现代化的基于MPP（大规模并行处理）技术的分析型数据库产品。 目前Doris最新版本已经支持Bitmap算法，配合预计算可以很好地解决去重应用场景。 总结：数据压缩率Clickhouse好ClickHouse单表查询性能优势巨大Join查询两者各有优劣，数据量小情况下Clickhouse好，数据量大Doris好Doris对SQL支持情况要好六、 使用场景上图是整个Doris的具体使用场景，主要是它的接收数据源，以及它的一个整体的模块，还有最后它的一个可视化的呈现。
36.2K310编辑于 2023-12-28 - 来自专栏大数据学习笔记
Doris分区
当不使用 Partition 建表时，系统会自动生成一个和表名同名的，全值范围的 Partition。该 Partition 对用户不可见，并且不可删改。
1.5K30发布于 2021-09-08 - 来自专栏文渊之博
Doris rollup介绍
前缀索引： Doris和传统数据库不同，Doris这种MPP架构的数据库不支持在任意列上创建索引。 Doris的数据存储在SSTable这种数据结构上，该数据结构以排序列作为条件查询会非常高效。
92430编辑于 2022-10-04 - 来自专栏小晨讲Flink
Doris源码解析
# Doris 副本修复和均衡策略 # 名词解释 Tablet：Doris 表的逻辑分片，一个表有多个分片 Replica：分片的副本，默认一个分片有3个副本 Healthy Replica：健康副本，
1.6K21编辑于 2022-03-10 - 来自专栏CSDN技术博客
Doris集群部署
用户密码： root / Passord123@doris Doris-BE 数据目录： /data{…q}/disk{1…16}/doris Doris-FE安装目录： /opt/doris/ Doris-BE安装目录： /opt/doris/ Broker安装目录： /opt/apache_hdfs_broker/ Doris-FE监听端口：8010,8030,9020,9030 Doris-BE ;/datac/disk2/doris;/datad/disk3/doris;/datae/disk4/doris;/dataf/disk5/doris;/datag/disk6/doris;/datah /disk7/doris;/datai/disk8/doris;/dataj/disk9/doris;/datak/disk10/doris;/datal/disk11/doris;/datam/disk12 /doris;/datan/disk13/doris;/datao/disk14/doris;/datap/disk15/doris;/dataq/disk16/doris #单条查询最多使用的be内存
2K41编辑于 2022-05-10 - 来自专栏大数据学习笔记
Doris动态分区
1、说明 本文主要是测试Doris动态分区相关功能； 关于动态分区相关理论部分请参考官方文档： http://doris.incubator.apache.org/master/zh-CN/administrator-guide
2.5K10发布于 2021-09-08 - 来自专栏大数据学习笔记
Doris之ROLLUP
DUPLICATE ）、聚合表（Aggregate ）、更新表（UNIQUE ） 物化视图（Materialized Views）：简称 MVs，将预先计算（根据定义好的 SELECT 语句）好的数据集，存储在 Doris
2.4K30发布于 2021-09-08 - 来自专栏大数据-BigData
【Doris全面解析】Doris Stream Load原理解析
image.png 1 引言 Doris的导入（Load）功能就是将用户的原始数据导入到 Doris表中。 Doris底层实现了统一的流式导入框架，而在这个框架之上，Doris提供了非常丰富的导入方式以适应不同的数据源和数据导入需求。 Stream Load是Doris用户最常用的数据导入方式之一，它是一种同步的导入方式, 允许用户通过Http访问的方式将CSV格式或JSON格式的数据批量地导入Doris，并返回数据导入的结果。 在Doris的BE中，数据采用分层的方式写入存储层。 原文链接：https://lrting.top/backend/bigdata/doris/doris-advanced/5182/
2.3K21编辑于 2022-05-26 - 来自专栏Lansonli技术博客
大数据Doris（一）：深入了解Apache Doris
深入了解Apache Doris一、Apache Doris介绍Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果 ，由于与国外数据库厂商重名，因此选择用回最初 Doris 名字，这就是 Apache Doris 的由来。 二、Apache Doris使用场景如下图所示，数据源经过各种数据集成和加工处理后，通常会入库到实时数仓Doris 和离线湖仓（Hive, Iceberg, Hudi 中），Apache Doris 被广泛应用在以下场景中 三、Apache Doris架构原理Doris整体架构如下图所示：Doris 架构非常简单，只有两类进程FE和BE，这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。 四、Apache Doris 特点1、支持标准SQL接口在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris，并支持与
4.7K83编辑于 2023-03-25 - 来自专栏大数据学习笔记
Doris：部署Broker
如果机器有多个IP，需要配置priority_networks 1、启动Broker [root@node1 ~]# cd /app/doris-0.14.13/apache_hdfs_broker/ 14153 BrokerBootstrap 12249 Master 14218 Jps [root@node1 apache_hdfs_broker]# [root@node2 ~]# cd /app/doris
1.3K30发布于 2021-09-07 - 来自专栏大数据学习笔记
DBeaver链接Doris
（1）单击添加按钮 （2）选择MySQL类型 （3）录入Doris相关参数，单击测试链接按钮 （4）可视化界面 （5）执行SQL
2.1K20发布于 2021-09-07 - 来自专栏肉眼品世界
Doris源码解析
# Doris 副本修复和均衡策略 # 名词解释 Tablet：Doris 表的逻辑分片，一个表有多个分片 Replica：分片的副本，默认一个分片有3个副本 Healthy Replica：健康副本，
1.5K20发布于 2020-12-17 - 来自专栏大数据学习笔记
Spark Doris Connector试错
1、测试Spark3 （1）官网文档 http://doris.apache.org/master/zh-CN/extending-doris/spark-doris-connector.html#% ("$YOUR_DORIS_DATABASE_NAME. $YOUR_DORIS_TABLE_NAME"), cfg = Some(Map( "doris.fenodes" -> "$YOUR_DORIS_FE_HOSTNAME:$YOUR_DORIS_FE_RESFUL_PORT ", "doris.request.auth.user" -> "$YOUR_DORIS_USERNAME", "doris.request.auth.password" -> "$YOUR_DORIS_PASSWORD -> "node3:8030", | "doris.request.auth.user" -> "test", | "doris.request.auth.password
2K20发布于 2021-08-18 - 来自专栏一臻数据
Doris 也太懒了吧...
把查询切到 Doris 集群，监控一亮，老王能感到自己心跳变稳了。几分钟后，同事再来一句：“这次这么快？” 老王回复：“Doris懒得读那些不该看的。” Doris懒得读的原因 Doris对“少读”的执念，写在了存储布局里。 表会被切成分区；分区再切成很多 Tablet；每个 Tablet 里是一堆 Segment；Segment 里，列分开单独存。 Doris的三把刀，分别对准了 LIMIT、TopK 和 JOIN。 先说 LIMIT。 全量排序是最昂贵的操作之一，Doris把它拆成两段。 Doris做的优化点很简单但有效：在探测真正开始前，先给它一个“门槛”，只让可能匹配的行通过。 这个“门槛”来自 Build 侧的键值域。
14510编辑于 2025-11-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号