如何知道程序调用了哪些CUDA API？而不看源代码？ - 腾讯云开发者社区

文章/答案/技术大牛

发布

用 TornadoVM 让 Java 性能更上一个台阶

在顶层，TornadoVM 暴露了一个 API，这是因为虽然它要利用并行化，但不检测。因此，它需要一种方法来识别应用程序源代码中哪些地方使用了并行化。...我们要做的第一件事是在 Java 方法中给代码添加注解，让 TornadoVM 知道如何并行化它们。因为每一个像素的计算可以并行进行，所以我们将 @Parallel 注解添加到最外层的两个循环中。...我们使用了一个包含三个任务的 TaskSchedule 对象。此外，我们还需要定义哪些数据将从 Java 内存堆传输到设备（例如 GPU）上。这是因为 GPU 和 FPGA 通常不共享内存。...Parallel Loop API 适合非专业用户，他们不需要知道 GPU 的计算细节，也不需要知道应该使用哪种硬件。另一方面，Parallel Loop API 可以使用的模式数量有限。...10 TornadoVM 的优势但是，如果 Parallel Kernel API 更接近于底层的编程模型，为什么要使用 Java 而不是 OpenCL 和 PTX 或 CUDA 和 PTX，尤其是在有现有代码的情况下

1.9K1 0

DAY28：阅读如何计算Occupancy

而这些是手册不说的，本表格是直接的一手信息来源（NV），使用该表格需要知道一些信息，例如kernel使用了多少寄存器，这个信息可以在编译的时候通过ptxas的详细输出得到，手册的后面会提到如何得到这个信息...本章节还提供了另外一种方式，叫做通过CUDA提供的API。这种方式比表格更加方便。主要有2个。（1）可以让程序知道自己的信息。...程序通过1个或者多个API调用，可以在运行的时刻（例如在用户的机器上，显卡是K80的时候）知道目前的卡上面情况。而你却不能让用户随身带着一本电子表格。自己去调。...程序知道了自己在这个卡上的情况后，可以自己实验不同的occupancy组合（例如在启动热身阶段，或者一次性的在安装程序阶段），从而达到程序中目标用户机器上的性能最优化。（2）只需要少量的信息。...此时你会知道此时无法使用L1。目前尚未知道此特性在这些卡上（还不清楚6.2如何。不能知道TX2如何。TX1是有这个问题的），这是一个特性，还是一个BUG？

1.7K4 0

您找到你想要的搜索结果了吗？

是的

没有找到

CUB单次调用API：简化GPU并行算法开发

而CUB则提供了一套“设备端”基础算法，使开发者能够将高度优化的算法直接集成到自己的自定义内核中。...的一个显著缺点是，在估算和执行步骤之间，哪些参数必须保持一致并不清晰。...以下是来自pytorch/pytorch GitHub仓库的源代码：// 处理临时存储和CUB API的"两次"调用#define CUB_WRAPPER(func, ...) do {...未来，环境参数将成为所有执行相关配置的中心，包括确定性要求、保证、用户自定义调优等。通过引入单次调用API，CUB解锁了大量执行配置特性。面对众多新特性，如何最佳地组合它们成为一个问题。...通过利用cuda::std::execution，CUB提供了一个中心端点，作为算法的灵活“控制面板”。env参数使您能够创建所需任何特性的组合，而不是使用固定定义的函数参数。

991 0

【吐血推荐五】想提升自己？来看看这些书籍

面对飞速发展的技术，程序员怎能不看书呢。秉承活到老学到老的信念，给大家推荐一些程序员必看的书籍。代码整洁之道英文书名《Clean Code》，作者: [美]Robert C. Martin。...、同步机制，并展示如何在实际开发中使用它们。...此外，本书还介绍了设计并发应用程序的方法论、设计模式、实现良好并发应用程序的提示和技巧、测试并发应用程序的工具和方法，以及如何使用面向Java 虚拟机的其他编程语言实现并发应用程序。...Redis 深度历险：核心原理与应用实践作者: 钱文品这本书深入分析了Redis底层原理，介绍了Redis为了性能能做了哪些优化。看完这后相信会多Redis有更深的认识。...如果你还只知道用Redis做缓存，那可以看看这本书。

5603 0

深度学习框架机器学习的开源库TensorFlow

从源代码构建 TensorFlow 在 Ubuntu 和 macOS 上，官方构建流程使用 Bazel 构建系统从源代码构建 TensorFlow。...TensorFlow 如何使用硬件加速？...在使用此方法时，开发人员需要移植、剖析和调优获得的代码。 GPU TensorFlow 支持一些特定的 NVIDIA GPU，这些 GPU 兼容满足特定性能标准的相关 CUDA 工具包版本。...Google TPU 是矩阵处理器而不是矢量处理器，而且它利用了神经网络不需要高精度算法而需要大规模并行、低精度整数算法的事实。...TensorFlow 支持哪些编程语言？尽管 Google 使用 C++ 实现了 TensorFlow 核心，但它的主要编程语言是 Python，而且该 API 最完整、最可靠且最易于使用。

1.6K1 0

CUDA-MODE 课程笔记第一课: 如何在 PyTorch 中 profile CUDA kernels

这里是说Lecture 1的目标是如何把一个 CUDA kernel 嵌入到 PyTorch 里面，以及如何对它进行 Profile 。...Mark 还提到说这个课程相比于以前的纯教程更加关注的是我们可以利用 CUDA 做什么事情，而不是让读者陷入到 CUDA 专业术语的细节中，那会非常痛苦。...我们可以看到每次计算 Triton 使用了8个寄存器来对输入做平方运算，另外使用了8个寄存器来存输出。...这页Slides还展示了使用CUDA和Triton分别可以操作哪些优化，可以看到手写Kernel可以操作任何优化，而Triton只能操作跨SM的调度。...下面一页Slides是Nsight Compute的source pages，它会展示源代码，CUDA PTX代码，代码对应的的寄存器占用情况比如全局内存读取操作。

1.2K1 1

AI 技术讲座精选：技术前沿——CUDAnative.jl 支持 GPU 原生编程

如果你知道（或者想了解）如何编写像 GPU 这样的并行加速程序，那么你一定会对本篇感兴趣的，不过你需要处理棘手的运行特性和通信语义。...幸运的是，从源代码处安装的 Julia 程序被完好的保存在了主知识库的 README 文件中。...通过用户容易使用的 CUDA 的驱动 API 包装器，使得该程序安装包与 CUDA 硬件的相互作用成为可能。...在 CUDArt.jl 运行环境下，我们可以使用版本稍微高一点的 Julia，而不是建立在 CUDA 运行的驱动 API 上，但是目前仍未与 CUDArt.jl 进行集成。...但是，我们没有记录哪些部分的 API 是被覆盖的，或者说，我们没有记录抽象的表现过程，所以你需要参考 CUDAnative 和 CUDAdrv 库中的示例和测试结果。

1.8K10 0

入行算法领域时，认真读过的两本书

偶尔，也会承担一些建模调参的工作。现在的算法框架无论是TensorFlow还是PyTorch，或多或少都有性能问题。...如果你比较抵触一般CUDA的学习资料，那么我强烈推荐这本书，读起来一点都不难。 ? 在Deep Learning这个领域中，CUDA是不可能不看的，所以请不要停留在“调库”这个阶段。...虽然CUDA更新了好几个版本，本书还在讲CUDA 5的东西。但是直到目前为止，CUDA编程的基本范式没有太大的变化，只有增加了新的特性。要压榨昂贵硬件的性能，就一定要对硬件的体系结构足够了解。...类似深度学习实战之类的教程我也不太推荐，因为它们或多或少都与某种具体的深度学习框架耦合，容易变成“学习”某种框架的API。与其这样，我们不如去看GitHub或者网上的实例。...关于如何切入到框架源码的阅读中，快速梳理调用栈，我会另写一篇文章详细介绍我的方法。讲技术，也谈风月，更关注程序员的生活状况，欢迎联系二少投稿你感兴趣的话题。

7273 0

宋宝华：一个简单的python脚本看透Linux程序对库的依赖

在下今天写了一个小小的python程序，可以在完全不看源代码的情况下，分析a如果调用b.so的时候，会引用b.so的哪些函数，它的用法如下： ....它的原理如下：用nm -D --undefined-only命令可以列出一个程序依赖的需要动态链接的库函数，譬如： ?...我们只要把a依赖的函数，与b.so供给的函数中，求一个交集，即可在完全没有源代码的情况下，知道a会call到b.so的哪些函数。核心源代码如下(部分用了省略号方便阅读)： #!...symbol in exportedsymbols: print(symbol) if __name__ == "__main__": main(sys.argv[1:]) 完整源代码高亮后如下...范例中a.out对应的源代码如下： ? so easy。

9792 0

寻找成套的 App SDK 服务

前言：对于开发者来说，三方SDK这个词已经是一个不需要任何解释的词语了，然而我想面对琳琅满目的SDK产品，大家都会纠结如何选择。那么选择一个SDK需要注意哪些问题呢？...极光Share 说到极光社交，大家可能会说，我使用了友盟社交，也很不错。的确如此，不过这不符合我们对套装的要求，既然极光提供社交分享，为何不用呢？...); } }]; 在三方登录方面，相同的，极光也提供了一个总体的回调函数，不管什么平台登录都会回调这个函数，在里面拿到平台用户的名称头像等信息。...极光短信提供文本短信语音短信单条模板群发模板等发送场景来看下极光短信提供给服务端调用短信的API ? image.png ?...而极光在这些服务方面做的都是不错的，当然，除却推送的高知名度外，其他的服务似乎不那么被人所知。就像如果你不看这篇博客，可能你并不知道极光有自己的GitHub开源代码。

1.2K5 0

DAY36：阅读”执行空间&扩展修饰符

而CUDA C默认的Runtime API风格的编译, 允许这个函数依然保留在普通的源代码文件中, 只需要加上一点点处理, 就可以在GPU上运行了。...这是基于CUDA Runtime API应用程序开发的特有现象(Driver API是另外一回事. 但现在不说)。...现在你已经知道如何开始了。...(而如果直接inline了, 就没有这些过程---但可能会生成较大的代码) 请注意使用了inline"可能"会生成较好的代码(因为取消了函数间的流程转移, 参数传递, 结果返回之类的开销)，但也可能会造成性能下降...我们又不是在教学, 不用太较真，用鲁迅的一句话说, 知道它们的意思即可(起到特定的修饰作用, 如同本章节说的)，而不需要"知道茴香豆的茴有几个写法".

6733 0

DAY86：阅读Kernel Execution

因为历史的原因，如何设定kernel的参数有2个版本，其中今天的driver api用户，可以通过一个简化的方式来指定参数：每个kernel的参数，被提前保存在某个缓冲区中。...，都是连续排列的，这种方式是以前的唯一的一种方式，比较复杂，但是可能有更好的性能（微乎其微）如果你采用了第一种的简化版本，driver api实际上是会采用第二种方式自动为你打包形成一个统一的整体的...实际上，这个函数版本已经简化了很多了，这是当年的CUDA 3.2 (v2 api)所引入的新功能之一：之前的3.2之前的版本，存在两个重要的问题：一个是这种手工准备参数缓冲区的方式，必须需要用户知道设备上和...；和CUDA Driver API的详细对比，描述了它们的异同。...类似的，CUDA也不建议每次只更改那些变化的参数，而总是完全的指定。这样也是会提升代码可读性很多。

1.2K1 0

这回让CUDA代码直接编译运行于AMD GPU

GPUS开发者，赞119AMD开发了开源的HIP，这是一种C++运行时API和内核语言，使开发人员能够从单个源代码为AMD和Nvidia GPU创建可移植的应用程序。）...HIPIFY是一个源代码到源代码的编译器(（https://github.com/ROCm/HIPIFY），它提供HIP等效的API调用来代替CUDA API调用。...SCALE GPGPU（通用GPU）编译器允许CUDA应用程序在AMD GPU上本地编译，而无需CUDA软件，可在现有的CUDA开发路径中运行。对更多GPU供应商和CUDA API的支持正在开发中。...SCALE在RDNA2和RDNA3 GPU上进行了测试，在RDNA1上进行了基本测试，而Vega支持仍在进行中。...由于英伟达控制着CUDA API且没有标准委员会，因此英伟达生态系统以外的工具将需要跟踪未来的API更改。

1.1K1 0

NVIDIA希望有更多支持CUDA的编程语言

Larkin 没有提供有关正在考虑哪些编程语言的具体信息。 “我的团队肯定在监控这些语言，并试图寻找参与这些语言的机会。...我知道一些技术，我无法在这里提及，这些技术也将进一步支持更多语言，”Larkin 说。 Larkin给出了某些编程语言如何利用其 GPU 的一些示例，并提到了 Judia 和 Rust。...x86 架构是老大，而 GPU 则被降级为游戏和图形。快进到今天，AI 已成为 GPU 的现实。...NVIDIA 认为，CPU 在处理 AI 交易方面效率低下，而功耗更高的 GPU 将提供更多成本节约。...“这是自 CUDA 诞生以来一直存在的、基本的工具，即线性代数 API，”CUDA 架构师 Stephen Jones 在 GTC 的演讲中说道。cuBLAS 提供了利用 GPU 性能的最简单方法。

4651 0

讲解darknet: .srccuda.c:36: check_error: Assertion `0 failed.

/src/cuda.c:36: check_error: Assertion `0' failed.本文将讲解上述错误的原因，以及如何解决该问题。错误原因这个错误通常是由于CUDA相关的问题引起的。...CUDA是一种用于在GPU上进行并行计算的平台和编程模型。而darknet是一个流行的深度学习框架，基于C语言编写，用于目标检测和图像分类等计算机视觉任务。...如果CUDA未安装或版本不匹配，您需要按照官方文档的指示重新安装CUDA。2. 检查GPU驱动程序确保您的计算机上安装了适当的GPU驱动程序，并且驱动程序与CUDA版本兼容。...确保您的CUDA版本与您所使用的GPU兼容。以下是一个简单的示例代码，展示了如何使用darknet进行目标检测任务，并处理可能出现的异常情况。...通过确认CUDA安装、GPU驱动程序、CUDA环境变量的正确性，并重新编译darknet，您应该能够解决这个问题。如果问题仍然存在，您可能需要进行更深入的故障排除，例如检查源代码或硬件相关问题。

6011 0

英伟达终于开源GPU内核模块代码，网友：难以置信

与此同时，已发布的这部分源代码也可作为参考，帮助改进 Nouveau 驱动程序。...英伟达是否会开放其他用户模式驱动程序（例如 CUDA）？此次变更主要针对内核模块，用户模式组件将保持不变。用户模式继续保持闭源形式，并将与驱动程序和 CUDA 工具包内的预构建二进制文件一同发布。...开放 GPU 内核模块支持哪些 GPU？开放内核模块支持所有英伟达 Ampere 及 Turing 架构 GPU。...如何上报 bug？...的文章表示，这次开源意味着英伟达已经发布了一个能够使用 Linux 内核中 GPL-only API 的内核驱动程序，尽管这个初始版本不使用旧驱动程序未使用的任何 API。

1.5K2 0

如何成为一名异构并行计算工程师

而严格按照顺序一次执行一条指令，只有前一条执行完才开始执行后一条指令的处理器，称为“按序处理器”。而即使是在按序执行处理器上，编译器也可以对源代码进行类似的优化，以提高程序性能。...主流处理器的处理速度远快于内存读写速度，为了减小访问数据时的延迟，现代主流处理器主要采用了两种方式：利用程序访问数据的局部性特点：采用了一系列小而快的缓存保存正在访问和将要被访问的数据，如果数据会被多次访问且数据能够被缓存容纳...GPU的编程能力还不够强，因此必须要对GPU特点有详细了解，知道哪些能做，哪些不能做，才不会出现项目开发途中发觉有一个功能无法实现或实现后性能很差而导致项目中止的情况。...作为一种架构，它包括硬件的体系结构（G80、GT200、Fermi、Kepler）、硬件的CUDA计算能力及CUDA程序是如何映射到GPU上执行；作为一种语言，CUDA提供了能够利用GPU计算能力的方方面面的功能...CUDA的架构包括其编程模型、存储器模型和执行模型。CUDA C语言主要说明了如何定义计算内核（kernel）。

3.2K4 0

训练提速60%！只需5行代码，PyTorch 1.6即将原生支持自动混合精度训练。

来看看性能如何，相比Nvidia Apex 有哪些优势？...我们将: 深入研究混合精度训练技术介绍张量核: 它们是什么以及是如何工作的介绍新的 PyTorch amp API Benchmark用amp训练的三个不同的网络讨论哪些网络原型从amp中受益最多...只需要学习几个新的 API 基本类型: torch.cuda.amp.GradScalar 和 torch.cuda.amp.autocast。...最佳乘数也很可能随着时间的推移而改变，因为通常在训练开始时的梯度要比训练结束时大得多。如何在不给用户另一个需要调整的超参数的情况下找到最佳的损失乘数？...我分别使用了 AWS EC2实例、 p3.2xlarge 和 g4dn.xlarge，最近的 PyTorch 1.6 nightly 和 CUDA 10.0。

1.5K1 0

NVIDIA Blackwell RTX GPU与CUDA 12.8框架更新指南

如果您尚未从8.x升级到10.x，请确保了解潜在的API更改。部署引擎 TensorRT引擎的行为类似于CUDA内核。...正常的TensorRT引擎仅包含cubin代码，而前向兼容的硬件可以考虑PTX代码。...构建设备上的引擎 TensorRT使用自动调优来确定给定GPU上最快的执行路径。由于这些优化因GPU SKU而异，直接在最终用户设备上构建引擎可确保最佳性能和兼容性。...ONNX Runtime CUDA执行提供程序 CUDA执行提供程序不包含PTX，建议从源代码针对CUDA 12.8编译库，并更新所有数学库（cuDNN、cuBLAS等）到CUDA 12.8版本。...如果从源代码编译，建议直接针对10.8编译。 llama.cpp llama.cpp与最新的Blackwell GPU兼容。

4.2K1 0

程序员都喜欢抄袭“代码”，而且还拿着高薪？难道这么无法无天

Ctrl+c和Ctrl+v 你们知道程序员最熟悉，最熟练，最常用的两个快捷键是哪两个吗？没错，估计你现在心中所想的就是：ctrl+c 和 ctrl+v ，俗名为：复制和粘贴。...对于大部分程序员来说：复制和粘贴就是他敲代码，写程序员创造伟大产品的左膀和右臂，而复制和粘贴更是形影不离的好兄弟。...开源代码的价值对于学生来说：如果做项目不借鉴别人的基本不可能，因为很多原理毕竟不看别人的代码是很难懂得，而开源的出现，最大的好处就是降低了学习编程的门槛，让这种学校里面的小白能更早的接触许多不错的代码...开源库的正确用法我们应该得感觉和意识到一些开源许可证的使用，应该正确使用开源库以及开源代码才可以。不知道有多少开发者意识到了开源库的正确使用方法？...我相信现在几乎每个程序员开发的项目中都使用了 GitHub 上的开源库，但是你们尊重开源和版权了吗？一般在应用中应该声明一下使用了哪些开源库，以开源许可证等信息。

1.2K7 0

点击加载更多

用 TornadoVM 让 Java 性能更上一个台阶

DAY28：阅读如何计算Occupancy

CUB单次调用API：简化GPU并行算法开发

【吐血推荐五】想提升自己？来看看这些书籍

深度学习框架机器学习的开源库TensorFlow

CUDA-MODE 课程笔记第一课: 如何在 PyTorch 中 profile CUDA kernels

AI 技术讲座精选：技术前沿——CUDAnative.jl 支持 GPU 原生编程

入行算法领域时，认真读过的两本书

宋宝华：一个简单的python脚本看透Linux程序对库的依赖

寻找成套的 App SDK 服务

DAY36：阅读”执行空间&扩展修饰符

DAY86：阅读Kernel Execution

这回让CUDA代码直接编译运行于AMD GPU

NVIDIA希望有更多支持CUDA的编程语言

讲解darknet: .srccuda.c:36: check_error: Assertion `0 failed.

英伟达终于开源GPU内核模块代码，网友：难以置信

如何成为一名异构并行计算工程师

训练提速60%！只需5行代码，PyTorch 1.6即将原生支持自动混合精度训练。

NVIDIA Blackwell RTX GPU与CUDA 12.8框架更新指南

程序员都喜欢抄袭“代码”，而且还拿着高薪？难道这么无法无天

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐