前往小程序,Get更优阅读体验!
立即前往
发布
社区首页 >专栏 >【Apache Doris】周FAQ集锦:第 17 期

【Apache Doris】周FAQ集锦:第 17 期

作者头像
一臻数据
发布2024-12-24 15:39:17
发布2024-12-24 15:39:17
8400
代码可运行
举报
文章被收录于专栏:一臻数据一臻数据
运行总次数:0
代码可运行

引言

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。



SQL问题

Q1 查询时报:

代码语言:javascript
代码运行次数:0
复制
process memory used 48.26 GB exceed limit 50.21 GB or sys available memory 1.54 GB less than low water mark 1.60 GB.

A1 通常是资源不足导致,低于低水位线了,可参考如下几种排查思路:

1. 单个任务跑不出来时,可能是SQL任务较大,导致资源不足。这种场景可以先分析SQL任务能否进行大拆小地拆分下;如果是包含大表计算,分析有没有分区设计,更好地利用分区裁剪能力。

2. 当前查询任务是否较多,如果是并发执行比较多时,分析是否可以错峰对任务进行编排。

3. 分析BE内存的使用情况,即内存是否有正常释放,是否出现内存泄漏,导致资源紧缺的问题,可以结合memtrakcer进行初步分析

https://doris.apache.org/zh-CN/docs/admin-manual/memory-management/memory-tracker

数据操作问题

Q2 doris中update更新和delete删除操作频繁有什么影响?

A2 doris中不推荐小数据量频繁的更新和删除操作。可以理解 update 和 delete 是查找+写入的过程,少量高频的操作本身会导致查找数据耗费性能,同时 compaction的触发会比较频繁,集群整体也有会压力。尽可能使用部分列更新和批量删除的特性去代替此类操作。

Q3 doris进行drop column后多久会清理磁盘数据?

A3 drop column这类schema change的操作不会立即执行删除,需要做完一次base compactoin才会清理对应的磁盘数据。

Q4 使用flink-doris-connector整库同步mysql到doris时报:

代码语言:javascript
代码运行次数:0
复制
Caused by: java.lang.NoSuchMethodError: io.debezium.connector.mysql.MySqlConnection$MySqlConnectionConfiguration.<init>(Lio/debezium/config/Configuration;Ljava/util/Properties;)

A4 mysql-cdc包引入错误导致,如下图所示,需要使用flink-sql-connector-xx胖包。

Q5 doris的倒排索引如何自定义分词?

A5 doris的倒排索引会对词组进行分词,对于某些特定组合如果不想让其进行分词,可以在be/dict/user.dict.utf8中加上这个特定组合,比如加入“欢迎加入doris”这个词组会被视为一个整体,不再对其进行分词。

具体内容可查阅:

https://ask.selectdb.com/questions/D1S71/doris2-0-3-dao-pai-suo-yin-de-match-any-jie-guo-yu-wen-dang-bu-fu/E1291

Q6 doris的ccr跨集群数据同步是否支持多个源端集群到一个目标集群?

A6 特定条件地支持。多源表不能到一个目标表,多源到一个目的集群,表不同或者库不同是可以的。

Q7 doris 数据根部均匀是怎么保证的,例如对于扩容后怎么确保数据是均匀的?

A7 世界最好的算法还是随机,doris扩缩容后首先会做自动数据均衡的,均衡操作后数据就基本均匀了。所有的调度到最后,会发现随机是最均匀最好的。数据每个分片大小可控,查询复杂度不可控,在这两个不可控的前提下,做任何的调度效果都不佳。

运维常见问题

Q8 doris-manager挂了,是否会影响doris服务,后续有没有考虑设计manager高可用?

A8 如下:

1. doris-manager挂了绝不会影响doris服务。这是manager设计的基本要求,所以manager不用高可,也不需要弄这么复杂。

2. manager叫做管控面,doris叫数据面,管控面不能影响到数据面,这些是基本设计原则。

doris-manager内容可查阅:

https://docs.selectdb.com/docs/enterprise/release-notes/enterprisemanager

Q9 doris官方文档的SSB测试中,SSB宽表测试结果和标准SSB测试结果有什么区别?

A9 区别是标准ssb有join场景,ssb flat宽表没有join场景。ssb 主要是测多表join的,clickhouse将其改成宽表后,就没有join了,ssb flat宽表对于ck就擅长了。

其它问题

Q10 doris是否支持存算分离的部署模式?

A10 Apache Doris的3.0大版本已在最近推出,主要新特性也是存算分离架构,当前已经有不少Doris用户在测试环境体验中,欢迎大家多多关注和试用!

存算分离内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/compute-storage-decoupled/overview

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-07-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 一臻数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档