文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    PyTorch v2.8.0 正式发布：量化推理、编译优化与分布式检查点等多项重大更新

    Python 前端 • 当调用算子（op）时，输入的 dtype 不被支持 将抛出 NotImplementedError，而不是 RuntimeError。 请更新异常处理逻辑以反映此变化。...torch.compile • 修正了 mark_dynamic 张量在特定情况下被错误地形状特化的问题 以前，如果在关闭 guard 的情况下测试符号形状，则 guard 可能被遗漏。...• 支持通过 C++ 扩展运行 SYCL 内核。...C++ 前端（C++ Frontend） • 为 torch::nn::functional::grid_sample 添加了 Bicubic 模式 CUDA • 为自定义 CUDA 扩展的 load_inline...+ 标准 组合性（Composability） • 修复自定义算子返回 1 元素 tuple 时的支持问题 • 避免在标量输入的 torch.norm 中发生溢出 CPU (x86) • 修复 log_softmax

    38610

    【从零开始学深度学习编译器】十三，如何在MLIR里面写Pass？

    of a c++ rewrite pattern for the TransposeOp....接下来，需要在归范化框架（Canonicalization Framework）中注册刚刚创建的匹配重写模式，使得框架可以调用它。...所以我们希望在执行Reshape相关的Pass之前可以知道每个Tensor的形状，所以这里会介绍一个Shape推断Pass的实现。另外，还介绍了一个内联Pass，来降低函数调用的开销。...handleTerminator函数只是处理toy.return，将返回操作的操作数it.index()直接用返回值it.value()代替（这里没太懂QAQ）。...第三步：定义对应Operation的形状推导函数 需要进行形状推导的每个Operation，都需要定义对应的inferShapes()函数，比如Mul Operation，结果的形状就是输入的形状（因为是

    2.3K30

    Automatic differentiation package - torch.autograd

    在底层，它只记录在c++中执行的函数的事件，并将这些事件公开给Python。您可以将任何代码封装到其中，它将只报告PyTorch函数的运行时。...请注意，形状记录可能会扭曲您的分析数据。建议使用带和不带形状记录的单独运行来验证计时。对于大多数底层事件(在嵌套函数调用的情况下)，这种偏差很可能可以忽略不计。...但是对于更高级别的函数，由于形状收集，可能会人为地增加总自cpu时间。...参数将按照后端op.接收到的顺序列出。请注意，此顺序可能与在Python端传递这些参数的顺序不匹配。还要注意，形状记录可能会增加nvtx范围创建的开销。...因此,seq = 注释与每个向前关联函数范围告诉你,如果一个向前向后创建函数对象的函数,落后的对象将会收到序列号N在向后传递,顶级包装向后每个c++函数的应用范围()调用装饰着藏seq = <

    1.8K10

    tf.convert_to_tensor

    tf.convert_to_tensor( value, dtype=None, dtype_hint=None, name=None)该函数将各种类型的Python对象转换为张量对象...my_func([[1.0, 2.0], [3.0, 4.0]])value_3 = my_func(np.array([[1.0, 2.0], [3.0, 4.0]], dtype=np.float32))这个函数在用...所有标准的Python op构造函数都将此函数应用于它们的每个张量值输入，这使得这些ops除了接受张量对象外，还可以接受numpy数组、Python列表和标量。...参数：value:类型具有注册张量转换函数的对象。dtype:返回张量的可选元素类型。如果缺少，则从值的类型推断类型。dtype_hint:返回张量的可选元素类型，当dtype为None时使用。...可能产生的异常：TypeError: If no conversion function is registered for value to dtype.RuntimeError: If a registered

    1.1K40

    tf.convert_to_tensor()

    tf.convert_to_tensor( value, dtype=None, name=None, preferred_dtype=None, dtype_hint=None)该函数将各种类型的...my_func([[1.0, 2.0], [3.0, 4.0]])value_3 = my_func(np.array([[1.0, 2.0], [3.0, 4.0]], dtype=np.float32))这个函数在用...所有标准的Python op构造函数都将此函数应用于它们的每个张量值输入，这使得这些ops除了接受张量对象外，还可以接受numpy数组、Python列表和标量。...注意:当Python列表或标量中不存在浮点数和字符串类型时，此函数与默认Numpy行为不同。将抛出一个错误，而不是静静地转换None值。参数：value:类型具有注册张量转换函数的对象。...可能产生的异常：TypeError: If no conversion function is registered for value to dtype.RuntimeError: If a registered

    4.5K20

    TVM 学习指南（个人版）

    TVM没有为每个Relay OP注册compute和schedule，而是为其注册fcompute和fschedule，然后根据输入和属性参数，输出类型等生成对应的compute和schedul，这种compute...值得注意的是，call_tir 内嵌函数的 output_shape 参数可以是不透明的形状值、符号整数元组或常量形状（支持动态Shape）。...PackedFunc可以将C++的函数打包成统一的函数接口并导出到Python端供用户使用，同时也支持从Python中注册一个函数，并伪装成PackedFunc在C++和Python中调用。...然后tvm.build会根据target参数找已经注册的build函数，在TVM中使用TVM_REGISTER_GLOBAL宏注册build函数。...这个工具的作用就是支持tvm项目中从c++和python之间的函数调用跳转以及类型object定义的跳转。

    4.6K51

    MLIR入门教程4-dialect和operation接口

    幸运的是，我们可以简单地在计算过程中传播形状，直到它们都知道为止。问题是如何处理对用户定义的泛型函数的调用：每个调用点可以推导出不同的形状。...另一种方法是函数专门化，每个具有新参数形状的调用点都复制被调用的函数并专门化它。我们对Toy采取的方法是内联所有函数调用，然后执行过程内形状传播。...程序内形状推断 现在我们已经内联了所有函数，剩下的主函数包含静态和动态成形操作的混合。现在，我们可以编写一个简单的形状推断过程来在程序内(在单个函数内)传播形状。...接口方法包括：描述；字符串形式的C++返回类型；字符串形式的方法名称；以及一些可选组件，具体取决于需要。有关详细信息，请参阅ODS documentation]。...例如，对于mul op，结果形状被推断为输入的形状。

    1.6K10

    PyTorch代码调试利器: 自动print每行代码的Tensor信息

    再或者，你可能脑子里想象着将一个 tensor 进行什么样子的操作，就会得到什么样子的结果，但是 PyTorch 中途报错说 tensor 的形状不匹配，或者压根没报错但是最终出来的形状不是我们想要的。...TorchSnooper 的安装非常简单，只需要执行标准的 Python 包安装指令就好： pip install torchsnooper 安装完了以后，只需要用 @torchsnooper.snoop...() 装饰一下要调试的函数，这个函数在执行的时候，就会自动 print 出来每一行的执行结果的 tensor 的形状、数据类型、设备、是否需要梯度的信息。...这个例子中，我们没有自定义函数，但是我们可以使用 with 语句来激活 TorchSnooper。...，我们不难发现，y 的形状是 (4,)，而 pred 的形状却是 (4, 1)，他们俩相减，由于广播的存在，我们得到的 squared_diff 的形状就变成了 (4, 4)。

    1.2K10

    节省大量时间的 Deep Learning 效率神器

    TensorSensor 通过增加消息和可视化 Python 代码来展示张量变量的形状，让异常更清晰（见下图）。...调试过程通常是在有问题的行前面添加一个 print 语句，以打出每个张量的形状。这需要编辑代码添加调试语句并重新运行训练过程。或者，我们可以使用交互式调试器手动单击或键入命令来请求所有张量形状。...以下是默认异常消息的关键部分（注意对 C++ 代码的不太有用的引用） : ---> 10 h_ = torch.tanh(Whh_ @ (r*h) + Uxh_ @ X.T + bh_) RuntimeError...例如，让我们使用标准的 PyTorch nn.Linear 线性层，但输入一个 X 矩阵维度是 n x n，而不是正确的 n x d: L = torch.nn.Linear(d, n_neurons)...在库函数中触发的异常会产生消息，消息标示了函数和任何张量参数的维数。 更多的功能比如不抛异常的情况下解释张量代码，可视化3D及更高维度张量，以及可视化子表达式张量形状等请浏览官方Blog。

    2.1K31

    PyTorch代码调试利器: 自动print每行代码的Tensor信息

    再或者，你可能脑子里想象着将一个 tensor 进行什么样子的操作，就会得到什么样子的结果，但是 PyTorch 中途报错说 tensor 的形状不匹配，或者压根没报错但是最终出来的形状不是我们想要的。...TorchSnooper 的安装非常简单，只需要执行标准的 Python 包安装指令就好： pip install torchsnooper 安装完了以后，只需要用 @torchsnooper.snoop...() 装饰一下要调试的函数，这个函数在执行的时候，就会自动 print 出来每一行的执行结果的 tensor 的形状、数据类型、设备、是否需要梯度的信息。...这个例子中，我们没有自定义函数，但是我们可以使用 with 语句来激活 TorchSnooper。...，我们不难发现，y 的形状是 (4,)，而 pred 的形状却是 (4, 1)，他们俩相减，由于广播的存在，我们得到的 squared_diff 的形状就变成了 (4, 4)。

    1.3K20

    【从零开始学深度学习编译器】十六，MLIR ODS要点总结上篇

    使用C++直接定义要求我们继承基类Op的一些构造方法并重写，对于每一个Op都要写一段C++代码。可以想到这样做整个系统的Op定义部分会非常冗余，产生大量可重复代码并且可读性也会比较差。...OpTrait类及其子类：它们用于指定Operation的特殊属性和约束，包括Operation是否具有副作用、Op的输出是否与输入具有相同的形状等。...当类型与名字转换为C++代码时，它们应该是有效的C++结构，一个类型(在Op的命名空间中)与一个标识符(例如，class不是一个有效标识符)。...有许多Operations具有在Operations上注册为已知类型相等特征的约束；例如，select Operation的真、假和结果值通常具有相同的类型。...extraClassDeclaration 中的代码将逐字复制到生成的 C++ op 类。

    2.3K30

    ONNX 自定义算子实战，扫除 PyTorch 模型部署障碍

    的第一个参数是目标 ATen 算子名，第二个是要注册的符号函数，这两个参数很好理解。...第四个参数表示向哪个算子集版本注册。我们遵照 ONNX 标准，向第 9 号算子集注册。值得注意的是，这里向第 9 号算子集注册，不代表较新的算子集（第 10 号、第 11 号……）都得到了注册。...有了符号函数后，我们通过如下的方式注册符号函数： register_custom_op_symbolic("torchvision::deform_conv2d", symbolic, 9) 和前面的...register_op 类似，注册符号函数时，我们要输入算子名、符号函数、算子集版本。...· 用 register_op 可以为 ATen 算子补充注册符号函数。 · 用 register_custom_op_symbolic 可以为 TorchScript 算子补充注册符号函数。

    10.3K22

    「C++ 篇」答应我，别再ifelse走天下了可以吗

    看到有留言中有小伙伴想看 C++ 版本的，特此写下了此文（已经过羊哥的同意）。不过由于 C++ 没有枚举类，所以本文不涉及此方式，但本文会带大家一步一步的优化工厂模式和策略模式。...首先，定义一个公用接口RoleOperation，类里有一个纯虚函数Op，供派生类（子类）具体实现： // 基类 class RoleOperation { public: virtual std...::string Op() = 0; // 纯虚函数 virtual ~RoleOperation() {} // 虚析构函数 }; 接下来针对不同的角色类，继承基类，并实现 Op 函数： /...指定的是派生类（如本例 RootAdminRole、OrderAdminRole 和 NormalRole） 我们使用新的注册（聚合）方式，对InitializeRole初始化角色函数改进下，参见下面：...const ProductContext &operator=(const ProductContext &); ProductType_t* m_pOperation; }; 使用方式，没太大差别

    94020

    「C++ 篇」答应我，别再ifelse走天下了可以吗

    看到有留言中有小伙伴想看 C++ 版本的，特此写下了此文（已经过羊哥的同意）。不过由于 C++ 没有枚举类，所以本文不涉及此方式，但本文会带大家一步一步的优化工厂模式和策略模式。...首先，定义一个公用接口RoleOperation，类里有一个纯虚函数Op，供派生类（子类）具体实现： // 基类 class RoleOperation { public: virtual std...::string Op() = 0; // 纯虚函数 virtual ~RoleOperation() {} // 虚析构函数 }; 接下来针对不同的角色类，继承基类，并实现 Op 函数： /...指定的是派生类（如本例 RootAdminRole、OrderAdminRole 和 NormalRole） 我们使用新的注册（聚合）方式，对InitializeRole初始化角色函数改进下，参见下面：...const ProductContext &operator=(const ProductContext &); ProductType_t* m_pOperation; }; 使用方式，没太大差别

    1.7K10

    tf.lite

    本质上，这个伪op中的任何“输入”都被输入到一个标识中，并且属性被添加到该输入中，然后由构成伪op的组成ops使用。...参数：function_name:函数名(tflite中的自定义op名)level:OpHint水平。Children _inputs_mappings:子OpHint输入/输出映射。...这更紧密地反映了c++解释器类接口的张量()成员，因此得名。注意不要通过调用allocate_tenators()和invoke()来保存这些输出引用。此函数不能用于读取中间结果。...interpreter.invoke() # this will throw RuntimeError since input,output参数：张量指标:要得到的张量的张量指标。...(默认TFLITE)quantized_input_stats:表示输入张量名称的字符串的Dict，映射到表示训练数据的平均值和标准偏差的浮点数元组(例如，{"foo":(0。1)})。

    7.2K60
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券