引言
欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。
SQL问题
Q1 doris支持大模型向量吗?
A1 ann索引在开发中,目前可以基于doris自身强大的引擎进行暴力计算,敬请期待!
Q2 doris建表时,设置compaction方式为time_series是否还会再进行base compaction?
A2 设置compaction方式为time_series后不会再进行base compaction。
time_series compaction 策略是为日志、时序等场景优化的策略。它利用时序数据具有时间局部性的特点,将相邻时间写入的小文件合并成大文件,每个文件只会参与一次 compaction 就合并成比较大的文件,减少反复 compaction 带来的写放大。
Compaction 优化内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/admin-manual/compaction/
Q3 doris中逻辑视图的variant类型的字段是没法展开吗?
A3 视图的variant是没法展开的,需要物理的表才可以;因为需要拿到tablet信息跟be交互。
variant内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-data-types/semi-structured/VARIANT
Q4 variant类型的列数是否有上限
A4 VARIANT 类型会限制列数,默认 2048 列,可以适当调整BE 配置 variant_max_merged_tablet_schema_size , 但是不建议超过 4096。
variant内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-data-types/semi-structured/VARIANT
Q5 doris的unique模型什么版本开始默认mow的?
A5 在 doris 2.1 版本中,mow写时合并将会是主键模型的默认方式。
unique主键模型内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/table-design/data-model/unique
数据操作问题
Q6 doris使用group commit时报:
relay wal with label
A6 通常是group commit任务失败后在回放;
可以去be.INFO搜一下group commit的id看查看具体异常信息。
Q7 routine load的jsonpaths只能解析单层的,还是多层嵌套也可以解析?
A7 可以多层解析,假设有以下 json 数据:
{
"book":
{ "title": "The Great Gatsby",
"author": "F. Scott Fitzgerald",
"genres":
["Fiction", "Classics", "Romance"
], "price": 10.99 } }
1. 要提取书名和价格,可以使用路径表达式 "$.book.title" 和 "$.book.price"。
2. 要提取所有的分类,可以使用路径表达式 "$.book.genres"。
3. 要提取第一个分类,可以使用路径表达式 "$.book.genres[0]"。
routine load内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/data-operate/import/import-way/routine-load-manual/
运维常见问题
Q8 服务器磁盘是ssd的,但安装doris时存储目录命名没有命名为doris.SSD,创建表的storage_medium属性也是默认配置的hdd,对写性能是否有影响?
A8 对性能是没有影响的,storage_medium只是冷热标志;如果没有数据冷热分层的需求,不需要在stroage_root_path里指定SSD或者HDD。
Q9 多块盘组的raid 0,对于doris而言是一块盘还得多块?
A9 多块盘组的raid 0,对于doris而言是一块盘。
其它问题
Q10 如何通过Oracle GoldenGate(ogg)将oracle的数据导入至doris
A10 当前的行业标准流程是:
ogg将数据吐到kafka里面,然后走routine load的方式导入到doris中,不建议直接从ogg里面拿数据。近期doris社区也发现,ogg 用户越来越多了;
后续社区也会考虑在kafka-connector中进行延展支持,敬请期待!