首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    kylin简单优化cube

    如果你的cube指定了一个高基数的列,比如”USER_ID”,作为”分片”维度(在cube的“高级设置”页面),Kylin会让Hive根据该列的值重新分发数据,那么在该列有着相同值的行将被分发到同一个文件...2)”分片”对cube的存储同样有好处,不过这超出了本文的范围。...因此,当设计cube的rowkey顺序的时候,请记住,将低基数的维度列放在尾部。...这不仅对cube的构建过程有好处,而且对cube查询也有好处,因为后聚合(应该是指在HBase查找对应cuboid的过程)也遵循这个规则。...,对表中的文件格式更改,使用orc,parquet等高性能的文件格式 遇到cube构建时间过长,查看cube设计是否合理,维度的组合关系是否可以再减少,构建引擎是否可以优化 分享一个其他得cube优化设计的推荐

    72720

    Apache Kylin Cube优化方式

    在Kylin高性能的背后,Cube是至关重要的核心,上篇有说到cube是所有dimession的组合,每一种dimession的组合称之为cuboid。...有n个dimession的cube会有2^n个cuboid,一个优化得当的Cube既能满足高速查询的需要,又能节省集群资源,本文将会从Kylin Cube的设计方面来了解一下Cube的优化方案。...1.会使得build出来的cube size 很大,从而占用大量的磁盘空间 2.cube build的时间会很长 3.会占用集群的计算资源 所以如果使用kylin做数据分析,那么cube优化将是必做的一项工作...size 在kylin web gui 的model界面选择一个READY状态的cube,将光标移到Cube Size上面,会显示出Cube的源数据的大小,以及当前Cube的大小除以源数据大小的比例,...如图: 一般,cube的膨胀率应该在0%-1000%之间,如果Cube的膨胀率超过了1000%,那么就需要查询其中的原因了,导致膨胀率高的原因一般为以下几点: 1):Cube的维度数量较多,没有进行很好的剪枝

    49920

    Kylin Cube构建过程优化

    如果Cube中确定了一个“shard by”维度列(在Cube的“Advanced setting”界面进行设置),该维度列是一个基数很大的维度列(例如“USER_ID”),那么Kylin会要求Hive...如果你发现mapper任务执行非常慢,通过就意味着cube设计的太复杂,可以参考:Cube设计优化,对cube进行优化,使cube更加精简。...这不仅对cube的构建过程有好处,而且对cube查询也有好处,因为后聚合(应该是指在HBase查找对应cuboid的过程)也遵循这个规则。...Build Cube 这一步骤使用了一种新的算法来构建cube:逐块算法(也称作“in-mem”算法)。该算法只使用一轮MR任务来构建所有的cuboid,但它比逐层算法需要更多占用更多的内存。...统计信息获取)自动地选择合适的cube构建算法。

    24610

    STM32Cube-01 | 初识 STM32 Cube 生态系统

    STM32Cube Ecosystem STM32Cube是ST公司开发的一套生态系统,致力于使STM32的开发变的更简单,并且100%开源免费。...STM32 Embedded Software STM32 Embedded Softwares是STM32Cube提供的软件包,包括两大部分: STM32Cube MCU Packages STM32Cube...Expansion STM32Cube MCU Packages STM32Cube MCU Packages是STM32Cube提供的对于每个MCU产品的软件包,其中包括: 底层库代码 中间件代码...STM32Cube Expansion STM32Cube扩展包补充了STM32Cube MCU Packages的功能,目前已有的软件扩展包有: 用于云连接的即用型扩展包(Amazon AWS,Microsoft...至此,对STM32Cube生态系统的介绍完毕,下一节讲述如何获取STM32Cube生态系统中的PC tools和Embeded Software,敬请期待。

    99430

    快速学习-Kylin Cube构建优化

    因此,在构建维度数量较多的Cube时,尤其要注意Cube的剪枝优化(即减少Cuboid的生成)。...5.1.2 检查Cube大小 还有一种更为简单的方法可以帮助我们判断Cube是否已经足够优化。...在Web GUI的Model页面选择一个READY状态的Cube,当我们把光标移到该CubeCube Size列时,Web GUI会提示Cube的源数据大小,以及当前Cube的大小除以源数据大小的比例...一般来说,Cube的膨胀率应该在0%~1000%之间,如果一个Cube的膨胀率超过1000%,那么Cube管理员应当开始挖掘其中的原因。通常,膨胀率高有以下几个方面的原因。...累积造成整体Cube体积变大; 因此,对于Cube膨胀率居高不下的情况,管理员需要结合实际数据进行分析,可灵活地运用接下来介绍的优化方法对Cube进行优化。

    61110
    领券