首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >如何使用GNU优化子目录的并行构建?

如何使用GNU优化子目录的并行构建?
EN

Stack Overflow用户
提问于 2015-03-21 05:48:38
回答 1查看 992关注 0票数 2

我在一个大型项目中工作,在那里我们有几个子目录,我们从这些子目录中构建库/档案。大多数子目录不具有相互依赖的关系,但也有一些子目录相互依赖。

例如,这是一般的形式:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
TARG1=targ1/
TARG2=targ2/
TARG3=targ3/

SUBDIRS= lib1\
         lib2\
         lib3\
         ...

.PHONY: $(TARG1) $(TARG2) $(TARG3)

构建顺序必须如下: TARG1 -> TARG1 2 -> TARG3 -> SUBDIRS

我们制定了这样的目标:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
build_libs:
      $(MAKE) subdirs

subdirs: $(SUBDIRS)

$(SUBDIRS): $(TARG3)
      $(MAKE) -C $@

$(TARG3): $(TARG2)
      $(MAKE) -C $@

$(TARG2): $(TARG1)
      $(MAKE) -C $@

$(TARG1):
      $(MAKE) -C $@

现在,在我看来,这将允许最大程度的并行化,因为当构建了目标(TARG1 -> TARG3)时,Make可以在SUBDIRS中同时构建所有的库。但也许有更好的方法来优化这一点吗?这种方法的缺点是,我们得到了一个更大的Makefile,因为我们必须为每个目标指定一个配方,每个目标都依赖于另一个目标。是否有什么方法可以避免这种情况,并且仍然允许完全并行化?

另一种方法是建立这样的目标:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
SUBDIRS = targ1 targ2 targ3 lib1 lib2 lib3

subdirs:
        for dir in $(SUBDIRS); do \
          $(MAKE) -C $$dir; \
        done

现在,这种方法的好处是,只要按照正确的顺序编写目标,就可以很容易地指定依赖项。但是,Make无法充分利用并行化,因为它必须在进入下一个子目录之前完成每个子目录。

也许我的假设是错误的,因此我问这个问题,如何最好地组织目标,以允许最佳并行化?作为一个侧面的问题,如何组织目标,以避免代码重复?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-03-21 05:53:07

你不必重复食谱,如果它们都一样的话。如果您不想的话,不需要同时定义菜谱和先决条件。您可以将第一个示例重写为:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
build_libs:
        $(MAKE) subdirs

$(SUBDIRS) $(TARG1) $(TARG2) $(TARG3):
        $(MAKE) -C $@

subdirs: $(SUBDIRS)
$(SUBDIRS): $(TARG3)
$(TARG3): $(TARG2)
$(TARG2): $(TARG1)

我真的不知道为什么要使用build_libs递归;为什么不只使用build_libs: subdirs

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/29183454

复制
相关文章
生信技巧 | GNU 并行操作
有些分析需要很长时间,因为它在单个处理器上运行并且有大量数据需要处理。如果数据可以分成块并单独处理,那么问题就被认为是可并行化的。
数据科学工厂
2023/09/20
2630
生信技巧 | GNU 并行操作
如何使用Spark大规模并行构建索引
使用Spark构建索引非常简单,因为spark提供了更高级的抽象rdd分布式弹性数据集,相比以前的使用Hadoop的MapReduce来构建大规模索引,Spark具有更灵活的api操作,性能更高,语法
我是攻城师
2018/05/14
1.5K0
jenkins并行构建
如果需要分别在Chrome、Firefox、IE等浏览器的各个不同版本中对同一个web应用进行UI测试,怎么做呢?
陈不成i
2021/06/01
1.7K0
使用 GNU Screen 的小技巧
对于一般用户而言,命令行终端窗口可能是令人困惑和神秘的。但随着你对 Linux 终端的进一步了解,你很快就会意识到它的高效和强大。不过,也不需要很长时间,你就会想让终端变得更加高效,除了将更多的终端放到你的终端,还有什么高好的方法能够提升你的终端效率呢?
用户1880875
2021/09/06
8220
如何构建用户体验优化体系?
在前几期的直播中,我们为大家介绍了监控和日志相关的一些内容。监控分为三个阶段,基础监控、应用监控、业务监控。前面我们已经分享了基础监控的部分,今天主要为大家带来用户体验优化的一些分享。
嘉为蓝鲸
2023/03/29
1.4K0
如何构建用户体验优化体系?
技术|使用 MinGW 在 Windows 上使用 GNU
在Windows上安装GNU编译器集合(gcc)和其他GNU组件来启用GNUAutotools。
知忆
2021/07/06
1.7K0
如何在庞大代码库上构建并行计算能力?
一、引言 对于商业数据库 [5] [6] [7]、开源数据库[8]、云原生数据库[9] [10] ,或者大数据系统[32],并行计算[33]都是多核处理环境下提高性能的基本技术手段。本文分析如何通过关键抽象来划分层次和管理复杂性,在庞大的 MySQL 代码库上构建并行计算能力,并通过基准测试数据来体现加速效果。 二、摘要 腾讯云托管数据库 TencentDB for MySQL [1] (本机存储,Binlog 复制集群) 和云原生数据库 TDSQL-C for MySQL [2] (共享存储, Red
腾讯云数据库 TencentDB
2023/03/30
5750
如何在庞大代码库上构建并行计算能力?
GreatSQL重磅特性,InnoDB并行并行查询优化测试
GreatSQL马上正式开源了,这次又新增了两个重磅特性:InnoDB事务锁优化 以及 InnoDB引擎的并行查询优化,这两个特性是由华为鲲鹏计算团队贡献的Patch合并而来。
老叶茶馆
2021/08/26
1.1K0
微服务模式下如何实现多模块并行构建发布
在微服务项目中具有很多个服务模块,为了便于管理需要将项目规范化,使用GitLabGroup管理整个项目,每个project对应一个微服务,每个微服务对应一个Jenkins job。开始发布的时候需要我们在手动选择各个服务然后发布。模块很多的时候就不太方便了。
DevOps云学堂
2020/04/22
1.1K0
微服务模式下如何实现多模块并行构建发布
GNU系统概览
GNU系统是一套向上兼容Unix的完全自由的操作系统。GNU代表“GNU's Not Unix”。它的发音是带有g音的单音节。Richard Stallman在1983年9月做出了GNU工程的初始声明。接着在1985年3月又发表了更长的版本,叫做GNU宣言。它被翻译成多种其他语言。
狼啸风云
2019/11/28
1.2K0
使用 CI/CD 优化前端构建的五种策略
如今使用 CI/CD 工具是网页应用程序开发的一个必要条件。作为关键开发路径的一部分,加快构建系统的速度对于提高开发人员的生产效率是至关重要的。
coder_koala
2021/09/22
1.1K0
使用 CI/CD 优化前端构建的五种策略
使用 CI/CD 优化前端构建的五种策略
如今使用 CI/CD 工具是网页应用程序开发的一个必要条件。作为关键开发路径的一部分,加快构建系统的速度对于提高开发人员的生产效率是至关重要的。
用户4456933
2021/07/12
1K0
使用 CI/CD 优化前端构建的五种策略
使用GNU Screen管理持久终端会话
GNU Screen是一种与终端会话配合使用的工具,允许用户在断开连接后恢复会话。Screen可防止会话“超时”或断开SSH连接或本地终端仿真器。单个Screen会话具有托管多个会话或“窗口”的能力。Screen可用于各种任务,例如在终端环境中维护持久性IRC会话和多任务。
苏子晨
2018/08/17
2.1K0
子目录下的html如何访问servlet?
4)子目录下的html如何访问servlet?web.xml和servlet都一样。只有html有变化。
马克java社区
2021/07/07
9110
使用python遍历子目录中的文件
这话真不是随便说的。在做的一个项目中,需要遍历子目录,并将文件保存到列表中,通过Python,几行代码就能实现。
fanzhh
2019/08/20
5.3K0
大分区表的手工并行优化
这段时间饱受大分区表的性能之苦,碰到最大的一个分区表有1个t左右,操作起来每个细节都需要格外小心,我这次和大家分享的案例应用的分区表不是很大,有80G左右。但是这个分区主要分区比较多,有将近2000个左右的分区。 举一个案例来说明一下。 现在要做以下下几件事,要保证要宕机时间尽可能短。 为了方便起见,我暂定现在有4个DB instance,叫par01,par02,par03,par04. 1.需要对par01的数据运行Update语句,根据条件更新(update操作可能会移动分区), 2.然后把par01
jeanron100
2018/03/13
7690
Oracle优化08-并行执行
在讨论Oracle的性能问题时,通常要假设一个前提,那就是这个系统是OLTP还是OLAP(或者说数据仓库系统)。 只有在这个前提下,讨论一些性能问题才有意义,因为这两类系统太不一样了,甚至很多技术是相悖的。
小小工匠
2021/08/16
3780
点击加载更多

相似问题

使用gnu并行的npm安装子目录

114

GNU :如何默认为并行构建?

18

如何使用GNU并行

33

为GNU并行优化我的脚本代码

12

如何强制gnu make不并行构建菜谱?

73
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文