在很久以前，有一个老爷爷，种下了一棵葫芦，变成了七个各有绝学的葫芦娃。可惜葫芦变成的七个葫芦娃为了保卫和平，救出爷爷，逐一被蛇精和蝎子精抓到了。蛇精和蝎子精想把七个葫芦娃炼成七心丹，没想到七个葫芦娃合体成为了葫芦小金刚，踢碎了炼丹炉，经过艰苦的战斗，最后打败了各路妖魔鬼怪，让山谷恢复了往日的和平。
没有GPU，深度学习就无法进行。但当你没有优化任何东西时，如何让所有的teraflops都被充分利用？ 最近比特币价格一路飙升，您可以考虑利用这些闲置的资源来获取利润。这并不难，你需要做的就是设置一个
在 2018 年底，vivo AI 研究院为了解决统一的高性能训练环境、大规模的分布式训练、计算资源的高效利用调度等痛点，着手建设 AI 计算平台。白驹过隙，将近两年时间过去了，平台的建设和落地取得了很大的进展，成为了 vivo AI 领域的核心基础平台。平台现在已经有超过 500 多个用户，来自人工智能、影像、互联网等多个部门。平台的容器集群有 1000 多台服务器，拥有 50000 多 CPU 核，1000 多张 GPU 卡，GPU 算力将近 100 PFLOPS。每天运行 1000 多个的算法训练任务，部署了 100 多个的模型推理服务和 AI 应用。这些训练任务和应用都是以容器的方式运行。平台从当初服务深度学习训练为主，到现在演进成包含 VTraining、VServing、VContainer 三大模块，对外提供模型训练、模型推理和容器化的能力。
看完昨晚微软Build大会，虽然开发者不能亲自到现场，但看到WSL更新，就不忍惊呼：Amazing！
在 Linux 5.2 发布一周后，第一个修订版本 5.2.1 也已经发布了，用来处理各种错误/回归。需要注意的是5.2并非长期支持（LTS）分支，推荐注重稳定的用户还是使用当前的LTS内核。
不久之前，PyTorch 官方博客发布 1.8 版本，此版本由 1.7 发布以来的 3000 多个 commit 组成，重要更新内容包括在编译、代码优化和科学计算前端 API 方面的优化和改进，以及通过 pytorch.org 提供的二进制文件来支持 AMD ROCm。
为什么需要GPU虚拟化 根据平台收集的GPU使用率的历史，我们发现独占卡的模式会对GPU这种宝贵计算资源存在浪费现象，即不同用户对模型的理解深度不同，导致申请了独立的卡却没有把资源用满的情况。针对这种情况，虚拟化GPU技术可以更好的解决这种痛点，让机器的计算资源得到充分利用。 现有技术情况 目前来看，绝大多数公司使用的是英伟达（NVIDIA）的公司的计算卡，所以下面主要介绍NVIDIA的技术现状。 NVIDIA在前几年释放出来一个NVIDIA vGPU的一个硬件虚拟化的技术，该技术的介绍是 NVIDIA
理解英伟达CUDA架构涉及几个核心概念，这些概念共同构成了CUDA并行计算平台的基础。 1. SIMT（Single Instruction Multiple Thread）架构 CUDA架构基于SIMT模型，这意味着单个指令可以被多个线程并行执行。每个线程代表了最小的执行单位，而线程被组织成线程块(Thread Block)，进一步被组织成网格(Grid)。这种层级结构允许程序员设计高度并行的算法，充分利用GPU的并行计算核心。 2. 层级结构 - 线程（Threads）: 执行具体计算任务的最小单位。 - 线程块（Thread Blocks）: 一组线程，它们共享一些资源，如共享内存，并作为一个单元被调度。 - 网格（Grid）: 包含多个线程块，形成执行任务的整体结构。 3. 内存模型 - 全局内存: 所有线程均可访问，但访问速度相对较慢。 - 共享内存: 位于同一线程块内的线程共享，访问速度快，常用于减少内存访问延迟。 - 常量内存和纹理内存: 优化特定类型数据访问的内存类型。 - 寄存器: 最快速的存储，每个线程独有，但数量有限。 4. 同步机制 屏蔽同步（Barrier Synchronization） 通过同步点确保线程块内或网格内的所有线程达到某个执行点后再继续，保证数据一致性。 5. CUDA指令集架构（ISA） CUDA提供了专门的指令集，允许GPU执行并行计算任务。这些指令针对SIMT架构优化，支持高效的数据并行操作。 6. 编程模型 CUDA编程模型允许开发者使用C/C++等高级语言编写程序，通过扩展如`__global__`, `__device__`等关键字定义GPU执行的函数（核函数，kernel functions）。核函数会在GPU上并行执行，而CPU代码负责调度这些核函数并在CPU与GPU之间管理数据传输。 7. 软件栈 CUDA包含一系列工具和库，如nvcc编译器、CUDA runtime、性能分析工具、数学库（如cuFFT, cuBLAS）、深度学习库（如cuDNN）等，为开发者提供了完整的开发环境。
机器之心报道 编辑：陈萍 PyTorch 团队发布了 PyTorch 1.9 版本。该版本整合了 1.8 版本发布以来的 3,400 多次 commit，398 名贡献者参与更新。提供了包括支持科学计算、前端 API、大规模分布式训练等主要改进和新特性。 近年来，深度学习框架 PyTorch 凭借着其对初学者的友好性和灵活性，发展迅猛。不久之前，PyTorch 官方博客发布 1.8 版本，此版本由 1.7 发布以来的 3000 多个 commit 组成，重要更新内容包括在编译、代码优化和科学计算前端 API
在使用CUDA加速库时，特别是在使用CUBLAS库进行GPU加速的线性代数运算时，有时我们可能会遇到CUBLAS_STATUS_NOT_INITIALIZED错误。这个错误通常表示CUBLAS库未正确初始化导致的问题。在本篇文章中，我们将深入探讨这个错误的原因，并给出解决方法。
高策，腾讯高级工程师，Kubeflow 训练和自动机器学习工作组 Tech Lead，负责腾讯云 TKE 在 AI 场景的产品研发和支持工作。 Jupyter Notebooks 在 Kubernetes 上部署往往需要绑定一张 GPU，而大多数时候 GPU 并没有被使用，因此利用率低下。为了解决这一问题，我们开源了 elastic-jupyter-operator[1]，将占用 GPU 的 Kernel 组件单独部署，在长期空闲的情况下自动回收，释放占用的 GPU。这篇文章主要介绍了这一开源项目的使用方式
| 导语 听说你的小游戏内存超标？进来了解一下吧。 本文主要跟大家一起来探讨一下Cocos Creator小游戏开发过程中内存优化、性能优化和包体优化。 一、内存优化 因为 iOS小游戏和微信共用同一个进程，而微信在连续两次收到系统内存警告的时候会关闭小游戏并释放小游戏占用的内存。如果你的小游戏有外网用户反馈“闪退”，或者你自己测试的时候频繁出现“该小程序可能导致微信响应变慢被终止”等提示，那么就应该是时候优化你的小游戏内存了！ 1、优化双份纹理（必做！） 在你的项目中添加如下代码，就可以减少大
中文文档：https://docs.slurm.cn/users/shou-ce-ye
现有一个古诗自动生成的训练接口，该接口通过Pytorch来生训练模型（即生成古诗）为了加速使用到了GPU，但是训练完成之后GPU未能释放。故此需要进行优化，即在古诗生成完成之后释放GPU。 该项目是一个通过Flask搭建的web服务，在服务器上为了实现并发采用的是gunicorn来启动应用。通过pythorch来进行古诗训练。项目部署在一个CentOS的服务器上。
相关文章： 有了这个办法，跑AI任务再也不用在机器上插GPU卡了 随着科技进步和产业变革的加速演进，人工智能（AI）已经成为兵家必争之地。在政府、学术机构、企业等各个层面，AI都受到高度重视，其在学术研究、技术创新、人才教育等方面的发展都呈现全新发展态势。作为AI市场中的重要组成，以 GPU 技术为主的 AI 加速市场也得到了快速的发展，与此同时，由于 GPU 硬件价格昂贵，传统使用 GPU 算力的独占式使用方式缺乏灵活性和经济性，同时随着云原生技术的发展，细粒度，快速交付切分 GPU 算力需求，急需经济
但是，在QQ群里无意间看到大佬们聊起来bindless, 然后去查了查资料，发现bindless性能又好，抽象又好做，于是果断入bindless的坑。
做了一段时间的 GPU 固件和驱动开发，加上平时学习的一些零散的知识，最近打算整理，将这些做成一页文章。 主线任务：梳理 GPU 的知识大纲 =====> 对标 GPU入门工程师 支线任务：了解 GPU 硬件工作机理 支线任务：掌握 GPU 固件工作机理 =====> 对标 GPU固件工程师 支线任务：了解 GPU 驱动 和 GPU 固件的交互接口 支线任务：掌握 GPU 驱动工作机理 =====> 对标 GPU驱动工程师 支线任务：了解 GPU 驱动 和 LIBDRM 的交互接口
我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第97天，我们正在讲解Unified Memory Programming，希望您可以学习到原汁原味的CUDA，同时能养成英文阅读的习惯。
近期使用了 cocos creator 来开发一些游戏化的课中互动。Cocos 是一个优秀的国产游戏引擎，可以通过 Javascript 写出跨平台的游戏。看完文档，吭哧吭哧搞完，看似完美运行，然而体验会上，大家却提出加载时黑屏时间长、手机发烫严重、闪退、卡顿等问题。头疼，只能想办法优化。 经过几天的优化，性能才渐渐达标，其间踩了不少坑，所以打算将一些性能问题排查和优化的手段记录起来，分享给有需要的同学。 虽然 Cocos 属于游戏开发范畴，但与前端开发中遇到的性能问题还是有很多共通之处，无非是加载速度、C
华北电力大学是教育部直属全国重点大学，是国家“211 工程”和“985 工程优势学科创新平台”重点建设大学。2017 年，学校进入国家“双一流”建设高校行列，重点建设能源电力科学与工程学科群，全面开启了建设世界一流学科和高水平研究型大学的新征程。
虽然GPU对深度学习计算有普遍明显的加速作用，但其显存也是有限的（如V100的最大显存值也仅有32G），而深度学习模型的训练和推理往往需要大量的显存，用来支持更大的模型和更大的batch size。如何更高效地利用GPU显存，在一张卡或一台机器上同时承载更多的训练和预测任务，让有限的显存支持多个开发者同时进行实验，执行各自的任务呢？
相关信息： VMware招聘机器学习和云原生开发工程师 VMware招聘内源开发工程师 VMware招聘应届生开发工程师 《Harbor权威指南》新书发布 1. 背景 ---- GPU作为一种加速器芯片，在机器学习，特别是深度学习中得到广泛的应用。但是，无论是企业、学校、医院或者政府单位，决定在人工智能领域进行投入时，领导却发现： 投入了100万，光买设备就花了80万，工程师还经常抱怨GPU资源不够用 当工程师雄心勃勃打算开始干活，却发现花了一个多星期，IT环境还没有搞好 究其原因，大致有以下三个：
PaddleNLP Pipelines 是一个端到端智能文本产线框架，面向 NLP 全场景为用户提供低门槛构建强大产品级系统的能力。本项目将通过一种简单高效的方式搭建一套语义检索系统，使用自然语言文本通过语义进行智能文档查询，而不是关键字匹配。
温故而知新 目录 一. GCD和OperationQueue 二. CADisplayLink、NSTimer使用注意 三. 内存布局 四. Tagged Pointer 五. copy和mutableCopy 六. OC对象的内存管理 七. AutoreleasePool自动释放池 八. 图片的解压缩到渲染过程 九. 应用卡顿的原因以及优化 十. APP的启动 一. GCD和NSOperationQueue GCD 可用于多核的并行运算； GCD 会自动利用更多的 CPU
现在让我们深入了解我们的Jetson平台。这些是我们的Jetson Orin模块，我们有七种不同的模块，涵盖了从入门级到高性能的整个系列。最棒的是，与以往不同的是，我们在整个产品系列上首次采用了一种SOC（片上系统）架构。从入门级到高性能，全部都是基于同一架构，这也使得产品更加可扩展和易于从一个模块转移到另一个模块。
今天的内容比较特殊，因为这个部分并没有出现在NVIDIA 在线版的《CUDA C Programming Guide》，但是如果你下载了CUDA，里面会带一份PDF电子档的版本，你会发现这个版本确实有这个章节。这个章节蛮重要的，虽然我们不明白为啥没有出现在在线版里，我们还是决定讲一讲。
QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。
随着最近一两年生成式大模型的迭代出新，尤其是以 ChartGPT 为代表的大语言模型，几乎一夜间让所有人都看到了人工智能改变世界的潜力。而作为持续发力 GPU 通用计算（CUDA）的 AI 专业显卡提供商，Nvidia 公司成为了当之无愧的技术赢家，从其屡创新高的市值中就可见一瞥。
在开始使用 Kubernetes 时，社区教给我们的第一件事就是始终为我们 pod 中的每个容器设置 CPU 和内存的请求和限制。
云容器实例（Cloud Container Instance， CCI）服务提供 Serverless Container（无服务器容器）引擎，让您无需创建和管理服务器集群即可直接运行容器。
微软Windows团队的AI已经公布了˚F IRST DirectML的预览作为后端PyTorch训练ML车型。此版本允许在任何 DirectX12 GPU 和 WSL 上加速 PyTorch 的机器学习训练，释放混合现实计算的新潜力。
导读 在处理某些规模庞大和复杂的数据与计算时，量子计算独有的叠加和纠缠特性在算力方面相比于经典计算表现出强大优势。现阶段，由于量子计算机的研发受限于有效的量子比特数、相干时间长度、量子门操作精度等，对量子计算机的研究焦点进而转向量子模拟器，量子模拟器也因此成为发挥量子优越性和研究量子算法的有效途径。
经常有软件的同学会问到一个尖锐的问题：在超异构软硬件融合的时代，操作系统等软件是不是需要重构，是不是要打破现有的整个软件体系。我赶紧解释：“超异构软硬件融合不改变现有的软件体系，所有的软件该是什么样还是什么样。”
tensorflow的第一个词tensor表明了它的数据结构，那么flow则体现了它的计算模型。flow翻译成中文就是“流”，它直观地表达了张量之间通过计算相互转化的过程。tensorflow这一个通过计算图的形式来表述计算的编程系统。tensorflow中的每一个计算都是计算图上的一个节点，而节点之间的边描述了计算之间的依赖关系。
云游戏具有极大的想象空间，从20年前，就吸引众多的前辈们尝试。由于技术条件不够成熟，而纷纷成为了前浪。
默认情况下，用户在 TKE 添加 GPU 节点时，会自动预装特定版本 GPU 驱动，但是目前默认安装 GPU 驱动版本是固定的，用户还不能选择要安装的 GPU 驱动版本，当用户有其他版本的 GPU 驱动使用需求时，就需要在节点上重新安装，下面将介绍在 TKE 节点中如何重新安装 GPU 驱动程序。
在AI领域，获取高性能计算资源常常成为小型开发者和初创企业的一大难题。为了解决这一问题，机器学习领域的领军企业Hugging Face最近推出了名为ZeroGPU的新技术，旨在通过其平台Spaces提供免费且更加灵活的GPU访问服务，支持更多开发者和研究人员推进AI技术的创新和应用。
边缘计算包括跨越广泛位置和条件的系统组合，并支持各种用例。某个用例可能需要高功率GPU来实现人工智能（AI），而另一个用例则可能需要低功耗来延长电池寿命。设备的位置，例如微型边缘数据中心或壁挂式工业机柜，对硬件施加了不同的限制。
Hadoop 3.x版本是Hadoop版本中的下一个重要里程碑。关于Hadoop 3.x在Hadoop 2.x基础上增强了哪些功能，很多人都在考虑这个问题。因此，在本文中，我们将介绍Hadoop3中的新增功能以及它与旧版本的区别。
一直以来，如何用最低的成本来使人工智能（AI）、机器学习（ML）和深度学习（DL）应用程序以最高的性能运行都是一个难题。有很多基于云端的方法看起来是可行的，但是对于配置有内部基础设施或混合结构体系的负载任务它们又无能为力，就算是大型企业的许多数据科学家和专业的IT人员在开始他们的AI、ML、DL计划时，这个难题也让他们感到困惑不已。
翻译自https://github.com/CyberAgentGameEntertainment/UnityPerformanceTuningBible/
目前大多数游戏使用的都是Unity引擎，所以对游戏Unity性能分析就显得十分重要，而Unity性能主要针对影响内存、CPU和GPU的不同参数进行分析。
徐蓓，腾讯云容器技术专家，腾讯云异构计算容器负责人，多年云计算一线架构设计与研发经验，长期深耕 Kubernetes、在离线混部与 GPU 容器化领域，Kubernetes KEP Memory QoS 作者，Kubernetes 积极贡献者 摘要 qGPU 是腾讯云推出的 GPU 共享技术，支持在多个容器间共享 GPU 卡资源，提供百分比算力与 MB 级显存细粒度分配和强隔离能力，并且搭配业界独有的 GPU 在离线混部技术，在充分保证业务安全、稳定的前提下，将 GPU 利用率提升到了极致。 qGPU 已服
为了解释这个问题首先需要了解一下屏幕图像的显示原理。首先从 CRT 显示器原理说起，如下图所示。CRT 的电子枪从上到下逐行扫描，扫描完成后显示器就呈现一帧画面。然后电子枪回到初始位置进行下一次扫描。为了同步显示器的显示过程和系统的视频控制器，显示器会用硬件时钟产生一系列的定时信号。当电子枪换行进行扫描时，显示器会发出一个水平同步信号（horizonal synchronization），简称 HSync；而当一帧画面绘制完成后，电子枪回复到原位，准备画下一帧前，显示器会发出一个垂直同步信号（vertical synchronization），简称 VSync。显示器通常以固定频率进行刷新，这个刷新率就是 VSync 信号产生的频率。虽然现在的显示器基本都是液晶显示屏了，但其原理基本一致。
使用PyTorch Profiler进行性能分析已经一段时间了，毕竟是PyTorch提供的原生profile工具，个人感觉做系统性能分析时感觉比Nsys更方便一些，并且画的图也比较直观。这里翻译一下PyTorch Profiler TensorBoard Plugin的教程并分享一些使用经验，我使用的时候也是按照这个教程来来的，有一点不一样的是可以在vscode里面直接安装TensorBoard插件，然后Command+Shift+P打开vscode的命令行窗口输入TensorBoard启用TensorBoard插件并把PyTorch Profiler输出的日志文件所在的文件夹路径传给它就可以直接在vscode里面查看可视化Profile结果了。
如果是深度学习的重度用户，首选的操作系统是Linux，虽然操作门槛高一些（如命令行操作），但Linux的开发环境很友好，可以减少很多依赖包不兼容的问题，可以大大提高效率。Linux的发行版很多，比较常用的的可以安装个包含图形界面及命令行的Ubuntu。
本文介绍了TensorFlow中ConfigProto和GPU的用法，包括如何配置session、使用GPU资源以及设置每个GPU的容量。作者希望通过对这些概念的深入了解，更好地利用TensorFlow进行深度学习任务。
pynvml 是一个 Python 包，用于与 NVIDIA 的管理库 NVML（NVIDIA Management Library）进行交互，以获取和监控 NVIDIA GPU 设备的信息。它提供了一组函数和类，可以查询 GPU 设备的状态、显存使用情况、温度、功耗等信息。
问卷链接（https://www.surveymonkey.com/r/GRMM6Y2）
1 说明背景1.1 近来想法1.2 几个概念2 全局视角2.1 应用场景(了解)2.2 大概原理(了解)2.3 技术图景(了解)3 用户空间3.1 OpenGL 和 libGL(了解)3.2 libXCB 和 XServer(了解)3.3 libGL 和 Mesa(了解)4 用户和内核4.1 软件构图(了解)4.2 驱动视角(待掌握)4.3 源码视角(了解)5 内核和固件5.1 工作流程(掌握)5.2 交互途径(掌握)5.3 寄存器组设计(掌握)5.4 通信协议设计(掌握)6 固件和硬件6.1 固件软件设计(掌握)6.2 软件硬件接口(了解)6.3 体系结构简介(了解)6.4 图形流水线(了解)7 参考资料
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
