腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

Doris on ES Doris-On-ES将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案： ES中的多index分布式，让Doris可以具有了访问各式数据库的能力，并借助Doris本身的OLAP的能力来解决外部表的数据分析问题：支持各种数据源接入Doris。 Spark Doris Connector Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据。当前版本只支持从Doris中读取数据。 Flink Doris Connector Flink Doris Connector 可以支持通过 Flink 读取 Doris 中存储的数据。 Doris output plugin 该插件用于logstash输出数据到Doris，使用 HTTP 协议与 Doris FE Http接口交互，并通过 Doris 的 stream load 的方式进行数据导入

2023-06-30

1.2K0

标签:

小米doris apache doris在小米演进架构中的应用，原来的方式是来自各平台的数据，都要有一个数据汇总的平台，但是由于数据量巨大，如果还用传统的mysql来做数据筛选，mysql的查询语句会变得越来越复杂现在apache doris已经在天星数科、新零食、用户画像、BI广告投放等业务上广泛被使用，大大提高的服务的运算性能。架构中有缓存，apache doris数据写入缓存，从缓存中读，缓存中读不到的从doris中读，那么，doris优势体现在性能更高吗？增量数据100亿/天，导入压力大，可以从接手数据接入doris，然后做数据埋点做切入点？它提供了留存、漏斗分析等函数，极大程度简化了开发的成本。消息队列talos，在Flink中清洗建模后，被下游的Doris和Hive消费。全量数据会存储在Hive中，进行批量ETL或历史数据召回的查询。实时增量被存储在Doris中，用来做热数据的查询操作。

2023-11-30

4580

标签:

「硬刚Doris系列」Doris高级用法

Doris会自动尝试进行 Broadcast Join，如果预估小表过大则会自动切换至 Shuffle Join。 10 | +--------------------+ 1 row in set (0.15 sec) 1.3 Colocation Join 1.3.1 名词解释 FE：Frontend，Doris BE：Backend，Doris 的后端节点。负责查询执行和数据存储。 Colocation Group（CG）：一个 CG 中会包含一张及以上的 Table。 1.3.2 原理 doris 除了支持Broadcast/Shuffle Join 之外，Colocation Join更是一大特色。 COUNT(DISTINCT expr) 等价 (仅支持 TINYINT,SMALLINT 和 INT) 1.6 物化视图物化视图是将预先计算（根据定义好的 SELECT 语句）好的数据集，存储在 Doris

王知无-import_bigdata

2022-06-05

2.7K0

标签:

大数据Doris（二）：Doris原理篇

Doris原理篇一、Doris 特点1、支持标准SQL接口在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris 5、支持物化视图Doris 也支持强一致的物化视图，物化视图的更新和选择都在系统内自动进行，不需要用户手动选择，从而大幅减少了物化视图维护的代价。 Doris 的 Runtime Filter 支持 In/Min/Max/Bloom Filter。 Doris的系统架构如下，Doris主要分为FE和BE两个组件：Doris的架构很简洁，使用MySQL协议，用户可以使用任何MySQL ODBC/JDBC和MySQL客户端直接访问Doris，只设FE( FE：Frontend，即 Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作BE：Backend，即 Doris 的后端节点。

2024-01-17

6K0

标签:

大数据Doris（二）：Apache Doris 部署介绍

----Apache Doris 部署介绍一、软硬件要求Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境， Apache Doris的性能与节点数量及配置正相关，官方建议生产环境中部署Doris使用10~100台左右的机器来充分发挥Doris性能，其中3台部署FE(HA)，剩余的部署BE。时钟同步Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。关闭交换分区（swap ）Linux交换分区会给Doris带来很严重的性能问题，需要在安装之前禁用交换分区。五、网络需求Doris 各个实例直接通过网络进行通讯。

2023-04-28

5.1K0

标签:

腾讯云数据仓库 TCHouse-D

大数据Doris（一）：Doris概述篇

Doris概述篇一、前言Doris由百度大数据部研发，之前叫百度Palo，于2017年开源，2018年贡献到 Apache 社区后，更名为Doris。二、Doris简介Apache Doris是一个现代化的基于MPP（大规模并行处理）技术的分析型数据库产品。目前Doris最新版本已经支持Bitmap算法，配合预计算可以很好地解决去重应用场景。总结：数据压缩率Clickhouse好ClickHouse单表查询性能优势巨大Join查询两者各有优劣，数据量小情况下Clickhouse好，数据量大Doris好Doris对SQL支持情况要好六、使用场景上图是整个Doris的具体使用场景，主要是它的接收数据源，以及它的一个整体的模块，还有最后它的一个可视化的呈现。

2023-12-29

37.9K0

标签:

大数据处理套件 TBDS

大数据Doris（十五）：Doris分区Partition

创建Doris表时也可以仅使用一层分区，使用一层分区时，只支持Bucket分桶划分，这种表叫做单分区表；如果一张表既有分区又有分桶，这张表叫做复合分区表。从Doris1.2.0版本后也支持通过"FROM(...) TO (...) INTERVAL ..."来批量创建分区。下面分别进行演示。通过"VALUES [...)" "2017-06-01"); Query OK, 0 rows affected (0.05 sec) 注意：关于操作分区注意项参考官网：ALTER-TABLE-PARTITION - Apache Doris

2025-08-12

7.2K0

标签:

当不使用 Partition 建表时，系统会自动生成一个和表名同名的，全值范围的 Partition。该 Partition 对用户不可见，并且不可删改。

2021-09-08

1.6K0

标签:

Doris之ROLLUP

DUPLICATE ）、聚合表（Aggregate ）、更新表（UNIQUE ）物化视图（Materialized Views）：简称 MVs，将预先计算（根据定义好的 SELECT 语句）好的数据集，存储在 Doris

2021-09-08

2.5K0

标签:

云推荐引擎

大数据Doris（一）：深入了解Apache Doris

深入了解Apache Doris一、Apache Doris介绍Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，由于与国外数据库厂商重名，因此选择用回最初 Doris 名字，这就是 Apache Doris 的由来。二、Apache Doris使用场景如下图所示，数据源经过各种数据集成和加工处理后，通常会入库到实时数仓Doris 和离线湖仓（Hive, Iceberg, Hudi 中），Apache Doris 被广泛应用在以下场景中三、Apache Doris架构原理Doris整体架构如下图所示：Doris 架构非常简单，只有两类进程FE和BE，这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。四、Apache Doris 特点1、支持标准SQL接口在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris，并支持与

2023-03-25

5.4K0

标签:

腾讯云数据仓库 TCHouse-D