前往小程序,Get更优阅读体验!
立即前往
发布
社区首页 >专栏 >【Apache Doris】周FAQ集锦:第 23 期

【Apache Doris】周FAQ集锦:第 23 期

作者头像
一臻数据
发布2024-12-24 15:41:31
发布2024-12-24 15:41:31
4700
代码可运行
举报
文章被收录于专栏:一臻数据一臻数据
运行总次数:0
代码可运行

引言

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。



SQL问题

Q1 doris支持大模型向量吗?

A1 ann索引在开发中,目前可以基于doris自身强大的引擎进行暴力计算,敬请期待!

Q2 doris建表时,设置compaction方式为time_series是否还会再进行base compaction?

A2 设置compaction方式为time_series后不会再进行base compaction。

time_series compaction 策略是为日志、时序等场景优化的策略。它利用时序数据具有时间局部性的特点,将相邻时间写入的小文件合并成大文件,每个文件只会参与一次 compaction 就合并成比较大的文件,减少反复 compaction 带来的写放大。

Compaction 优化内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/admin-manual/compaction/

Q3 doris中逻辑视图的variant类型的字段是没法展开吗?

A3 视图的variant是没法展开的,需要物理的表才可以;因为需要拿到tablet信息跟be交互。

variant内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-data-types/semi-structured/VARIANT

Q4 variant类型的列数是否有上限

A4 VARIANT 类型会限制列数,默认 2048 列,可以适当调整BE 配置 variant_max_merged_tablet_schema_size , 但是不建议超过 4096。

variant内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-data-types/semi-structured/VARIANT

Q5 doris的unique模型什么版本开始默认mow的?

A5 在 doris 2.1 版本中,mow写时合并将会是主键模型的默认方式。

unique主键模型内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/table-design/data-model/unique

数据操作问题

Q6 doris使用group commit时报:

代码语言:javascript
代码运行次数:0
复制
relay wal with label

A6 通常是group commit任务失败后在回放;

可以去be.INFO搜一下group commit的id看查看具体异常信息。

Q7 routine load的jsonpaths只能解析单层的,还是多层嵌套也可以解析?

A7 可以多层解析,假设有以下 json 数据:

代码语言:javascript
代码运行次数:0
复制
{ 
"book": 
{ "title": "The Great Gatsby", 
"author": "F. Scott Fitzgerald", 
"genres": 
["Fiction", "Classics", "Romance"
], "price": 10.99 } }

1. 要提取书名和价格,可以使用路径表达式 "$.book.title" 和 "$.book.price"。

2. 要提取所有的分类,可以使用路径表达式 "$.book.genres"。

3. 要提取第一个分类,可以使用路径表达式 "$.book.genres[0]"。

routine load内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/data-operate/import/import-way/routine-load-manual/

运维常见问题

Q8 服务器磁盘是ssd的,但安装doris时存储目录命名没有命名为doris.SSD,创建表的storage_medium属性也是默认配置的hdd,对写性能是否有影响?

A8 对性能是没有影响的,storage_medium只是冷热标志;如果没有数据冷热分层的需求,不需要在stroage_root_path里指定SSD或者HDD。

Q9 多块盘组的raid 0,对于doris而言是一块盘还得多块?

A9 多块盘组的raid 0,对于doris而言是一块盘。

其它问题

Q10 如何通过Oracle GoldenGate(ogg)将oracle的数据导入至doris

A10 当前的行业标准流程是:

ogg将数据吐到kafka里面,然后走routine load的方式导入到doris中,不建议直接从ogg里面拿数据。近期doris社区也发现,ogg 用户越来越多了;

后续社区也会考虑在kafka-connector中进行延展支持,敬请期待!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-11-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 一臻数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档