如果报错说“Aborting because C++ compiler does not work.”，就安装下编译器：
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。
在之前的博客中我们介绍过concurrent等python多进程任务的方案，而之所以我们又在考虑MPI等方案来实现python并行计算的原因，其实是将python的计算任务与并行计算的任务调度分层实现。在concurrent和multiprocessing等方案中，我们的python计算任务和调度任务是一体化的，而且还有一个比较大的限制是没办法跨节点操作的，这对于任务与环境的定制化程度要求是比较高的。而MPI的方案在设计初期就考虑到了多节点之间通信的问题，而这种分层式的任务调度解决方案其实在架构上看也更加的合理。做计算的人只要考虑单个进程下的任务如何执行就可以了，至于任务如何并行如何调度，那就是上层的MPI该做的事情了。
有的时候MPI需要使用多节点，那么测试哪些进程在哪些机器上就比较重要，如下可以简单测试一下。
nccl-test 工具是 nvidia 开源的一项用于测试 NCCL 集合通信的工具。可以用于检测集合通信是否正常、压测集合通信速率。官方开源地址：https://github.com/NVIDIA/nccl-tests
在使用MPI框架中，需要多机进行通信进行并行计算；现在配置多个主机进行运行mpi程序，并进行通信；涉及到ssh无密码和nfs文件系统配置；
Fatal error in MPI_Send: Unkown error class , error stack。
业界AI应用中，GPU的使用逐渐增加，腾讯云TACO是一种异构计算加速软件服务，搭配腾讯自研的软硬件协同优化组件和硬件厂商特有优化方案，支持物理机、云服务器、容器等产品的计算加速、图形渲染、视频转码各个应用场景，帮助用户实现全方位全场景的降本增效。
分布式和并行计算，在计算机领域是非常重要的概念。对于一些行外人来说，总觉得这是一些很简单的工作，但是如果我们纵观计算机的硬件发展史，从CPU到GPU，再到TPU和华为的昇腾（NPU），乃至当下的热点量子计算机（QPU），其实就是一个分布式与并行计算的发展史。从简单的数据并行，到算法并行，到图的并行，最后是量子叠加所带来的物理并行。因此能否做好分布式与并行的技术，很大程度上决定了一个工具的性能上限，本文我们一起来研究一下MindSpore分布式训练的方法。
近期由于一些原因接触到了并行计算，对于这个陌生的领域我最先接触到的是MPI框架。MPI（Message Passing Interface），可以理解为是一种独立于语言的信息传递标准。目前它有两种具体的实现OpenMPI和MPICH，也就是说如果我们要使用MPI标准进行并行计算，就需要安装OpenMPI或MPICH库。本文以MPICH为例，在ubantu中安装MPI的环境，并对vscode进行配置。
Ubuntu - openmpi 源码安装 sudo apt-get install openmpi # 安装版本比较低 1. Ubuntu 程序源码安装 主要包括三个步骤: 1 - ./configure 2 - make 3 - make install 这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤。 ./configure是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC，并不是需要CC或GCC，它是个shell脚本。 m
CFOUR程序的全称为Coupled-Cluster techniques for Computational Chemistry，是一款专注于高精度量子化学计算的程序。从名字可以看出，其专长为耦合簇方法，支持在CC级别下做单点、几何结构优化（如CCSD(T)级别）、激发态计算（如EOM-CCSDT）、性质计算（如CCSD(T)级别的NMR计算）。其官方网站为
0x00 前言 本篇是MPI的入门教程，主要是为了简单地了解MPI的设计和基本用法，方便和现在的Hadoop、Spark做对比，并尝试理解它们之间在设计上有什么区别。 身处Hadoop、Spark这些优秀的分布式开发框架蓬勃发展的今天，老的分布式编程模型是否没有必要学习？这个很难回答，但是我更倾向于花一个下午的时候来学习和了解它。 关于并发和并行编程系列的文章请参考文章集合 文章结构 举个最简单的例子，通过这个例子让大家对MPI有一个基本的理解。 解释一些和MPI相关的概念。 列举一些MPI的常用函数
MPI(Message Passing Interface) 是一种可以支持点对点和广播的通信协议，具体实现的库有很多，使用比较流行的包括 Open Mpi, Intel MPI 等等，关于这些 MPI 库的介绍和使用，本文就不多赘述了，各位可以看看官方文档。
这种安装运行方法比前面（点击打开链接）的方法简单，这种方法用官方预装好的repast HPC2.0，可以省去自己安装MPI于boost的工作。
IOR是一个并行的IO基准，可用于测试使用各种接口和访问模式的并行存储系统的性能。接口和访问模式的并行存储系统的性能。IOR资源库还包括mdtest基准，专门测试不同目录结构下存储系统的元数据峰值速率。在不同目录结构下存储系统的元数据峰值速率。这两个基准都使用一个共同的并行 I/O抽象后端，并依靠MPI进行同步。本文档由两部分组成。用户文档包括安装说明（Install），初学者教程（IOR的第一步），以及关于IOR的运行时选项的信息。开发者文档包括用Doxygen生成的代码文档和一些关于与Travis的连续整合的说明。IOR/mdtest用户和开发者文档的许多方面都是不完整的，我们鼓励贡献者 鼓励贡献者直接评论代码或在此基础上扩展文档。
TensorFlow 是广泛被用于开发大型深度神经网络 (DNN) 的开放源机器学习 (ML) 库，此类 DNN 需要分布式训练，并且在多个主机上使用多个 GPU。Amazon SageMaker 是一项托管服务，可通过主动学习、超参数优化、模型分布式训练、监控训练进展，部署培训模型作为自动扩展的 RESTful 服务，以及对并发 ML 实验进行集中式管理，从标签数据开始简化 ML 工作流。
Quantum Espresson （以下简称 QE）是一款基于平面波函数的开源第一性原理计算框架，其免费、易安装使用等优点受到了广大第一性原理计算研究人员的喜爱。QE 不仅支持 CPU 的并行高性能计算，还支持 GPU 计算。这看起来有点像是计算机专业里的深度学习框架，有完整的计算加速支持。另外，QE 与 VASP 的使用习惯类似度比较高，不管是输入文件还是赝势文件，都可以类比着使用。对于计算后的输出结果，QE 也有一套完整的工具链辅助用户完成一些常用的分析操作，比如寻找 k 路径、分析能带结构（Band Gap）等等。
运行一个 mpi-operator 的 demo（这个 demo 还是我提交的…），看到如下错误。
OpenMPI- Ubuntu安装与配置 OpenMPI安装 下载OpenMPI v2.0.2 解压文件，并进入文件夹，指定安装路径(默认路径：/usr/local/lib) wget https://www.open-mpi.org/software/ompi/v2.0/downloads/openmpi-2.0.2.tar.gz tar zxvf openmpi-2.0.2.tar.gz cd openmpi-2.0.2 sudo ./configure --prefix=/usr/local
针对目前国内Rosetta中文资源甚少、零散、求助难的问题，我搭建了一个Rosetta中文社区论坛(beta)。
Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题：逻辑回归、SVD、矩阵分解（BFGS，sgd，als，cg），LDA，Lasso...。
图数据库是面向 OLTP 场景，强调增删改查，并且一个查询往往只涉及到全图中的少量数据，而图计算是面向 OLAP 场景，往往是针对全图数据进行分析计算。
FauxPilot 插件原本是对接 FauxPilot[1] Server 的，通过 FauxPilot Server 也可以实现 GitHub Copilot 服务的功能，并支持多显卡加载 CodeGen 模型，可解决单卡显存不足又想加载大模型的问题。
https://blog.csdn.net/liu_feng_zi_/article/details/94286438
选自Uber 作者：Alex Sergeev、Mike Del Balso 机器之心编译 参与：李泽南、路雪 Horovod 是 Uber 开源的又一个深度学习工具，它的发展吸取了 Facebook「一小时训练 ImageNet 论文」与百度 Ring Allreduce 的优点，可为用户实现分布式训练提供帮助。本文将简要介绍这一框架的特性。 近年来，深度学习引领了图像处理、语音识别和预测等方面的巨大进步。在 Uber，我们将深度学习应用到了公司业务中，从自动驾驶搜索路线到防御欺诈，深度学习让我们的数据科
在飞速发展的生成式人工智能（GenAI）领域，大型语言模型（LLM）调优因其高计算、高内存需求而带来了独特的挑战。LoRA 和 QLoRA 等技术为最先进 LLM 模型的调优工作提供了更强大的选项，它们的速度更快，成本更低。我们已经将 QLoRA 集成到了 BigDL LLM 库中。这个库是专门为英特尔的 GPU 而设计的。
Python在处理大的数据集的时候总是速度感人。代码一旦开始运行，剩下的时间只好满心愧疚地刷手机。
思想： （1） 对于一个nxm的数组，使用N个work进行处理. (2) 先按行对数组进行升序和降序排序【由左至右】，一般奇数序列work升序，偶数序号的work进行降序 （3）再按列对数组进行
C:\boost_1_60_0\tools\build\src\tools\mpi.jam，利用文本文件打开mpi.jam文件。做如下修改：
Horovod 是一款基于 AllReduce 的分布式训练框架。凭借其对 TensorFlow、PyTorch 等主流深度学习框架的支持，以及通信优化等特点，Horovod 被广泛应用于数据并行的训练中。
选自GitHub 作者：Ronan Collobert等 机器之心编译 参与：李亚洲、刘晓坤 近日，Facebook AI 研究院开源了端到端语音识别系统 wav2letter，本文是该架构的论文实现，读者可据此做语音转录。 GitHub 地址：https://github.com/facebookresearch/wav2letter wav2letter wav2letter 是 Facebook AI 研究院今天开源的简单高效的端到端自动语音识别（ASR）系统。该实现的原作者包括 Ronan Col
本文由美团 NLP 团队高辰、赵登昌撰写，首发于 Nebula Graph Community 公众号
Amber是一套分子动力学模拟程序，我们今天来说下如何使用云服务器安装部署这套程序。
IB（InfiniBand）和 RDMA（Remote Direct Memory Access）是一种高性能网络技术，通常用于加速数据传输。它们不是基于传统的 TCP/IP 协议栈，而是使用自己的协议栈，以实现低延迟、高带宽的数据传输。
下面给大家讲一讲shell编程在数据处理和模式运行中的妙用。主要有三个方面的内容：
https://www.cnblogs.com/zhbzz2007/p/5827059.html
WPS只是WRF运用实际数据模拟的准备过程，这就好比开车要先上车。讲完前处理过程之后 WRF模式之WPS的配置运行，就要开始模拟了。
2012 年 7 月写这篇文章，我已经有大约一年没有运行 WRF了。或许我在本文中所写的内容已过时，它只包含当 WRF 不运行时可以尝试的方法。我感觉到你的痛苦，但我无法让它消失。对不起，我希望我能知道更多，以便我可以给你提供帮助。
可以说这两个问题一直困扰每一个学习者，为了解决这些问题，谷歌公司开源了AutoML(貌似收费)。此外还有Keras（后期详解），本篇文章介绍一个自动化学习包： DeepHyper
从用户角度看，存储就是一块盘或者一个目录，用户不关心盘或者目录如何实现，用户要求非常“简单”，就是稳定，性能好。为了能够提供稳定可靠的存储产品，各个厂家推出了各种各样的存储技术和概念。为了能够让大家有一个整体认识，本文先介绍存储中的这些概念。
公众号的安装教程里常说的“Intel全家桶”指的是Intel Parallel Studio XE，里面集成了C/C++/Fortran语言的编译器（分别是icc、icpc、ifort）、MKL数学库及各种高效调试工具，甚至还有Intel MPI，可以说是编译量化软件最常用的一套“装备”。然而从2021年开始Intel不再提供旧版Parallel Studio XE下载页面，而是改成了（或称升级成了）oneAPI，又可具体细分为oneAPI Base Toolkit和oneAPI HPC Toolkit等等。
AI 研习社消息，日前， Facebook 人工智能研究院发布 wav2letter 工具包，它是一个简单高效的端到端自动语音识别(ASR)系统，实现了 Wav2Letter: an End-to-End ConvNet-based Speech Recognition System 和 Letter-Based Speech Recognition with Gated ConvNets 这两篇论文中提出的架构。如果大家想现在就开始使用这个工具进行语音识别，Facebook 提供 Librispeech
这个系列是对DeepSpeed的教程做一下翻译工作，在DeepSpeed的Tutorials中提供了34个Tutorials。这些Tutorials不仅包含配置DeepSpeed完成分布式训练的标准流程，还包含一些DeepSpeed支持的一些Feature比如低比特优化器，Zero等等。最近有使用DeepSpeed做一些简单的模型训练实验的需求，所以开一下这个专题，尽量翻译完DeepSpeed的大多数Tutorials，不定期更新。这篇首先翻译一下Getting Started 和 Installation Details，CIFAR-10 Tutorial 这三个Tutorials。基于 PyTorch 2.0 版本运行 CIFAR-10 Tutorial 中碰到一些报错也给出了解决的方法。
其中，就有一项说到Spark 为了支持深度学习而引入的屏障调度器。本文就详细讲讲。
以下内容来自reddit 社区（Distributed computing in Rust, https://www.reddit.com/r/rust/comments/155hxlf/distributed_computing_in_rust/），由小编重新整理后发布，读起来也许会更流畅些，因为在整理过程中，会揉一些小遍的思考进去，感兴趣的小伙伴，可以在读完本文后，去读读原文，链接在上方。因为是边看reddit，边译边写边思考，可能行文会有些乱。见谅！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
