首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ATB概念之:算子tiling

    1 什么是算子tiling在计算机科学和深度学习领域,算子 tiling(有时也被称作操作符 tiling 或者循环 tiling)是一种优化技术,主要用于提高计算效率,尤其是在处理大规模张量运算时。...在ATB中,存在三种不同的tiling data搬移策略:tiling整体搬移、多stream搬移、tiling随kernel下发搬移,当前默认使用的是tiling随kernel下发搬移这一方式。...3 ATB中的Tiling data搬移策略3.1 整体搬移tiling整体搬移方式会把每次计算出的tiling data存放到一片连续的host内存中,待所有kernel的tiling data计算完成后...注意:多stream搬移方式下的tiling data还是多个kernel的tiling data,不是单kernel的tiling data。...如下图所示,相较于多stream搬移方式,在tiling data搬移速度过快时会导致的device缓存区不足,从而导致tiling data被覆盖,tiling随kernel下发搬移的方式不受两者(tiling

    16910

    ATB算子实现原理解读

    4、tiling data计算与搬移tiling data的计算通常放到host侧,tiling data在host侧计算完毕后,ATB再将其拷贝到device侧,作为kernel的输入提供给kernel...4.1 Tiling CacheTiling Cache的作用是缓存kernel的tiling data(参考:ascend 算子tiling - 知乎 (zhihu.com))。...根据transfomer结构模型的特点,推理过程中大量kernel的tiling data实际可以进行复用,因此ATB会对已计算的tiling data进行缓存,当检测到可复用tiling data时,...如下图所示,ATB内包含两种Tiling Cache,本地Tiling Cache与全局Tiling Cache(以下简称为本地Cache与全局Cache)。...tiling data内存是三部分内存中占用相对较少的部分。ATB对tiling data内存采取的策略是一次性分配所有kernel的tiling data总和的内存空间。

    9810

    Unity Shader Graph 制作车流效果(UV滚动)

    模型用到的是一个简单的管线: 用到的贴图: 首先创建一个新的PBR Graph,在Blackboard面板处创建以下属性: Speed(Vector1 类型):用于控制UV滚动的速度 Texture Tiling...(Vector2 类型):用于控制Tiling属性 Main Texture(Texture2D 类型):用于滚动的贴图 Main Color(HDR类型Color):用于控制颜色 Direction(...Vector2 类型):用于控制滚动方向 让UV动起来首先需要Time时间节点,为了使用创建的Speed属性来控制滚动速度,使用Multiply节点将两者相乘 创建Tiling And...Offset节点,将其Tiling属性与我们创建的Texture Tiling属性相连,为了使用创建的Direction属性控制滚动方向,将Speed与Time相乘后的输出与Direction相乘,连接至...Tiling And Offset中的Offset节点。

    1.3K20

    Unity Shader Graph 制作Grid网格效果

    Rectangle矩形节点、Fraction 关于Rectangle矩形节点的官方文档介绍: 大概含义指根据输入的UV生成一个矩形形状,大小由输入的宽度和高度指定,生成的形状可以通过连接一个Tiling...Vector1 类型):用于控制Rectangle节点宽度,即网格分割线的宽度 Height(Vector1 类型):用于控制Rectangle节点高度,即网格分割线的高度 Tiling...(Vector2 类型):用于控制Tiling And Offset节点的平铺属性,即网格的规模 Main Color、Second Color(HDR类型 Color):用于发光效果,...实现两种颜色间的插值变换 创建Rectangle节点,输入Width、Height属性: 创建Fraction节点,输出至Rectangle节点UV: 创建Tiling And Offset节点,...输出至Fraction节点,并输入Tiling属性值: 通过One Minus节点调整Rectangle节点的输出值,再输出至PBR Master主节点中的Albede和Emission

    1.1K30

    Unity Shader Graph 制作Hologram全息效果

    效果图: 用到网上找的一张线条贴图: 创建一个新的PBR Graph,创建以下属性: Hologram Texture(Texture 2D 类型):即上面的线条贴图 Tiling(Vector2...Master中Alpha节点: 这时在场景中看不出任何效果,因为还要将Surface Mode改为Transparent模式,在PBR Master主节点的右上角打开设置: 创建Tiling...And Offset节点,Tiling属性我们已经在Blackboard中创建,Offset便宜则用时间节点与Scroll Speed相乘后的输出值,最终将输出连接到Sample Texture 2D...中UV节点: 可以发现全息线条已经滚动起来了,但是方向不是我们想要的,所以创建Screen Position节点输出到Tiling And Offset中的UV节点: 接下来先来加一个边缘发光的效果

    79220
    领券