在NUMA上工作的YARN会考虑节点内存的局部性吗？
YARN（Yet Another Resource Negotiator）是Apache Hadoop生态系统中的一个资源管理器，用于调度和管理集群中的任务。NUMA（Non-Uniform Memory Access）是一种计算机体系结构设计，其中每个处理器有自己的本地内存，而访问其他处理器的内存则更慢。在NUMA上工作的YARN会考虑节点内存的局部性。
NUMA架构中，节点的内存分为本地内存和远程内存。本地内存指的是处理器直接访问的内存，而远程内存则需要通过互连网络访问。由于访问本地内存速度更快，因此在任务调度时，YARN会尽量将任务分配到本地内存所属的节点上，以提高性能。
YARN通过以下方式考虑节点内存的局部性：
- 资源请求：当应用程序提交资源请求时，YARN会优先考虑将资源分配给本地内存具有足够可用资源的节点，以最大程度地减少跨节点访问。
- 节点选择：YARN会在选择执行任务的节点时考虑节点内存的局部性。它会根据可用的节点内存情况，选择本地内存资源最充足的节点来执行任务。
- 数据本地性：YARN提供了数据本地性优先级的概念，它可以确保任务在被执行之前，本地节点已经具有任务所需的数据。这样可以避免在任务执行期间进行跨节点的数据传输，提高任务执行的效率。
总之，YARN在NUMA上工作时会考虑节点内存的局部性，以提高任务的执行效率和性能。
关于腾讯云相关产品，推荐了解以下内容：
- YARN管理器：https://cloud.tencent.com/document/product/851/34977
- 弹性MapReduce服务：https://cloud.tencent.com/product/emr
相关·内容
我正在使用基于Giraph的应用程序，该应用程序在NUMA系统中大量使用内存。它频繁地对内存进行读写，并且有多个线程。假设我安排了4个工作者，每个芯片有多少个核心，这是否意味着他们将被固定到特定的CPU上，以便他们只能使用本地NUMA内存？
浏览 10提问于2021-01-26得票数 0
1回答
我目前正在研究优化我的应用程序的NUMA局部性。std::vector::reserve分配新内存--但它也会触摸它吗？如果没有，我如何在调用预订后强制进行操作？关于全国妇联的一般情况：
如果已被触摸<
浏览 5提问于2020-08-26得票数 1
2回答
我还没有完全看过它的规范，但我认为每个处理器都有一个独立的内存块，以ccNUMA的方式连接，因此从另一个处理器的内存块访问相对较慢。我想他们也有不同的L3缓存。现在我的问题是，在两个处理器之间共享数据的最快方法是什么。由于ccNUMA和缓存一致性的原因，简单共享内存将出现此问题。有没有非常快的方法？
浏览 3提问于2011-09-03得票数 3
回答已采纳
1回答
我目前在NUMA机器上工作。我遇到一个问题，当我执行磁盘I/O时，缓存的页面开始堆积在当前节点(节点0)中。当我进一步malloc新内存时，它们转到了另一个节点(节点1)，导致性能低下。我正在考虑两种可能的解决方案，但不知道它们是否有效。
(1)在节点0上使用numa_alloc_onnode()。但我不确定这是否<e
浏览 4提问于2014-07-02得票数 0
我正在开发一个性能至关重要的高端服务器应用程序。考虑到服务器通常采用NUMA体系结构，服务器应用程序也使用NUMA感知的内存分配策略来提高内存访问性能。基准测试表明，当线程和内存位于不同的NUMA节点上时，访问内存的速度比线程和内存位于同一个NUMA节点时慢约30%。我的问题
浏览 0提问于2016-05-31得票数 2
回答已采纳
在最近的linux分布式共享内存系统上运行的多线程应用程序中，有没有一种直接的方法来计算每个线程对远程(非本地) NUMA内存节点的请求数量？
我正在考虑使用PAPI来计算互连流量。这是要走的路吗？在我的应用程序中，线程在其整个生命周期内都绑定到特定的核心或处理器。当应用程序开始时，将按页方式分配内存<
浏览 6提问于2011-08-11得票数 3
1回答
与此类似，我希望在特定的NUMA节点(不一定是本地的)上创建一个命名共享内存段(通过shm_open() + CentOS 7上的mmap()创建)。这篇文章建议使用numa_move_pages()来实现这一目标。我还有几个问题：
如果随后启动另一个进程(运行在另一个NUMA的本地内核上)，并将mmap()转到同一个命名共享内存段，OS<e
浏览 1提问于2018-08-05得票数 12
2回答
高系统中断率
、、
我的服务器有24个CPU核，96G内存，安装了CentOS 7.2 x86_64。在以大数据集启动我的程序之后，我的程序将使用大约50G内存，Linux系统将显示出较高的系统中断率，但上下文切换速率将很低。如果数据集是小的，程序将使用大约5G内存，一切都会很好，CPU使用率100%，大约99%我们，1% sy。这是意料之中的。
这个程序是我自己写的，它是一个多线程程序。它不做任何网络IO，很少磁盘I
浏览 0提问于2016-12-06得票数 6
考虑这个场景:在NUMA机器上运行的用户进程调用mmap在虚拟地址空间中创建一个新的映射。然后，它使用mmap返回的内存进行处理(存储其数据，.)。由于某些原因，用户进程被调度到不同的NUMA节点上。用户进程是否有可能在保存数据的同时告诉操作系统重新定位已经映射的内存(到另一个NUMA
浏览 2提问于2017-11-03得票数 5
回答已采纳
假设我正在运行一个具有以下配置的DPDK进程：我只选择前4个Numa节点的核心I，e前32个核心用于快速路径处理。但是我的两个NIC插入了Numa节点6。
我有尺寸1G的大漏电，没有要求的拥抱是64G (64G/8 NUMA = 8G / NUMA</
浏览 11提问于2020-07-30得票数 0
1回答
Windows提供了CreateFileMappingNuma函数(用于在特定的NUMA节点上创建命名共享内存空间)。
确定当前NUMA节点(使用numa_move_pages(.))将页面移动到目标节点(使用numa_
浏览 2提问于2012-08-14得票数 5
1回答
我需要了解sql server中跨numa节点的内存分发行为。当我检查内存使用情况时，每个numa节点将根据numa节点的最大内存/ no拥有自己的内存：
因此，所有4个numa节点都有总节点内存，每个节点内存为164 GB。但是，当我检查每个<e
浏览 0提问于2018-11-15得票数 1
回答已采纳
1回答
“第一次触摸”(用于指示NUMA系统中虚拟内存映射的特殊术语)写操作导致将内存页映射到与首先写入它们的线程相关联的NUMA节点。根据我的理解，阅读了页面(对于新手来说相当难理解)，在使用默认内存映射策略时是这样的。根据可能使用的不同策略，我们可以期望这不再是真的。请随时纠正我对这件事的理解。我现在的问题是:如果我的</e
浏览 10提问于2022-03-22得票数 0
回答已采纳
1回答
您好，我正在学习linux内核的内存管理。 我的机器有多个NUMA节点，我想知道是否可以将页表的位置从NUMA0更改为NUMA。我研究了一下，在页表初始化时，CR3寄存器有指向页表初始化位置的指针。位置在NUMA 0(第一个NUMA节点)的内存(内核空间)上。 那么在初始化时
浏览 19提问于2020-10-29得票数 0
1回答
numactl -成员d
、、、
当在Linux中使用numactl时，我们假设我是这样做的：是否会在所有NUMA节点0、1和2上分配./prog的内存？或者，如果NUMA节点0的内存不够，那么仅在NUMA节点1和2上分配内存吗？谢谢。
浏览 12提问于2013-02-03得票数 2
我有一个工作站，其操作系统是64位windows服务器2012 R2。我正在使用德尔菲XE7更新1。工作站有72个核心，包括超线程。我希望在每次运行应用程序时，我的所有应用程序都在可用的所有核心上运行。我希望以编程的方式这样做，而不是在任务母版中使用set关联(一次只适用于一个组，我想同时使用两个由36个cpus组成的组)或从msconfig预先设置启动选项。我意识到这个问题类似于或包含了已经在Stackoverflow上提出
浏览 3提问于2015-07-18得票数 4
1回答
NUMA节点- MAXDOP
、、、、
在启用超线程的情况下，我们有一个跨两个NUMAs的带有8个CPUS的服务器。目前Maxdop设置为8，但实际上应该按照本文的Maxdop部分设置为4：所以我们需要把它改为4。然而，我的问题是，将maxdop设置为8会产生什么影响？所以平行地穿过两个努马？我之所以问这个问题，是因为我们遇到了一个奇怪的</
浏览 0提问于2015-06-03得票数 4
回答已采纳
1回答
我有一个ETL的工作，占用了大量的CPU和内存，并运行了很长时间。我在调试过程中观察到的第一件事是(从资源管理器GUI上的作业)
如何识别这些“关闭开关”容器以及它们运行在哪个节点<em
浏览 0提问于2018-11-23得票数 2
回答已采纳
我已经确认NUMA已启用，并且我可以通过运行以下命令来确认我的NUNA节点计数为4：因此，在ESXTOP上，NUMA/MB再次指示4个NUMA节点，分配给它们的内存数量不均衡。用红色方格突出显示的是一个12 vCPU (2 vSockets上有6 vCores )和42 of内存</e
浏览 0提问于2020-04-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
