有没有办法调试GNU并行？
GNU并行是一个用于并行计算的软件工具集，它提供了一系列用于编写并行程序的库和工具。调试并行程序是一个复杂的任务，但是GNU并行提供了一些方法来帮助调试并行程序。
一种常用的调试方法是使用调试器来跟踪程序的执行过程。GNU并行提供了一个名为"parallel"的命令行工具，可以用于在并行环境中运行程序。可以使用调试器（如GDB）来调试并行程序。具体步骤如下：
- 编译并行程序时，使用调试选项来生成调试信息。例如，在使用GCC编译C程序时，可以使用"-g"选项。
- 使用"parallel"命令行工具来运行并行程序。例如，可以使用以下命令来运行一个并行程序：
- 使用"parallel"命令行工具来运行并行程序。例如，可以使用以下命令来运行一个并行程序：
- 其中，"<num_jobs>"是指定并行任务数的参数，"<program>"是要运行的并行程序。
- 在运行并行程序时，可以使用调试器来附加到每个并行任务的进程上。例如，可以使用以下命令来使用GDB调试并行程序：
- 在运行并行程序时，可以使用调试器来附加到每个并行任务的进程上。例如，可以使用以下命令来使用GDB调试并行程序：
- 这将在每个并行任务的进程上启动GDB，并将其附加到调试器中。
- 使用调试器的常规调试技术来跟踪和调试并行程序。例如，可以设置断点、单步执行、查看变量值等。
需要注意的是，调试并行程序可能会面临一些挑战，例如并行任务的交互和同步问题。因此，在调试并行程序时，需要仔细分析程序的逻辑和并行任务之间的交互关系。
关于GNU并行的更多信息和使用方法，可以参考腾讯云的GNU并行产品介绍页面：GNU并行产品介绍。
相关·内容
我对使用shell还是个新手。我在子目录中有许多gnuplot脚本。其中包括输入文件的相对路径。因此，为了以正确的方式执行它们，我必须转到脚本的父目录，然后执行它。有没有办法通过find | xargs组合来做到这一点呢？
find . -name "*gpf" | xargs -i{} dirname {}
是我到目前为止发现的。但我不知道如何转到父目录，然后在那里执行gnuplot。有没有办法做到这一点？
非常感谢。
编辑:其他人有什么想法可以帮助我解决这个问题吗？对我真的有很大帮助！提前谢谢。
浏览 0提问于2013-06-14得票数 1
1回答
我正在尝试修改存储在变量中的json，如下所示：
PS：(这个错误也被覆盖了，但我尝试了同样的过程，使终端退出)。
#The variable has some information about a json file (around 10 keys).
infos = [{"id":512,"hostName":"PC-1","pcModel":"Dell","diskType":"Samsung:...}]
#I want to modify the key where "Wi
浏览 25提问于2021-06-11得票数 1
我喜欢这个特征
parallel -q --retries 5 ./myprogram
但是，GNU并行似乎不起作用，除非我传递给它一组args。所以我做了这样的事
seq 1 | parallel -q --retries 5 ./myprogram
有没有办法告诉GNU并行，我不想传递它的args，而只是想用它作为一个包装重试？
有没有一种不执行bash循环测试退出代码的bash方法来执行重试5？
浏览 1提问于2017-06-18得票数 1
回答已采纳
我正在运行带有-j标志的大型GNU Make文件。在某一点上，使进程溢出所有的RAM，并由于“分段错误”而失败。在没有-j标志的情况下，进程会成功完成。如何知道GNU Make在开始消耗内存时在做什么？调试标志(-d)对此问题没有帮助。
浏览 6提问于2013-04-03得票数 2
我有一个深度嵌入GNU Scientific ( GSL )矩阵算法的代码，这个代码的主要计算是求解一个大型的线性方程组，这需要很长时间的串行和GSL和BLAS函数，有没有办法将这种计算并行化或转换为在已经并行的库中使用，如ScaLAPACK？
浏览 2提问于2012-02-22得票数 2
回答已采纳
4回答
工具链ARM Cortex M4
、、、、
有没有办法为基于ARM Cortex M3/M4的micros (Stellaris，Kinetis)设置Eclipse + gnu gcc +调试器？
致以最好的问候，彼得
浏览 2提问于2011-11-23得票数 4
回答已采纳
3回答
我正在使用ndk-build运行一个Android NDK make文件，这只是一个普通的gnu make，与google makefile模板一起运行。我正在使用ndk-build -j8运行它，并且我可以确认make命令行确实可以使用-j8运行
但是，编译过程会逐个编译我的源文件，而不是一次运行一次clang++。这并不总是这样的。就在几天前，我使用了相同的脚本，它使用了全部8个内核，而且速度要快得多。
是什么让gnu一下子不尊重-j8？
有没有办法让gnu make产生一些关于这方面的解释信息？各种--debug选项似乎并没有涉及到这一点。
从OSX 10.10.5运行，gnu make
浏览 0提问于2015-10-13得票数 2
1回答
我使用对文件的每一行并行执行一个命令。尽管GNU并行不会导致任何结果问题，但它会发出大量以下类型的警告，从而使输出乱七八糟：
parallel: Warning: A full record was not matched in a block. Increasing to --blocksize 1363150
我假设这只是意味着我选择使用的块大小在输入边界上不太匹配，所以并行地增加了块大小，所以它也是这样做的。正如我所说的，我不认为这会对输出结果造成任何问题，这不是一个警告，我需要一遍又一遍地重复，甚至一次。有没有办法特别压制这些警告呢？我不想完全重定向stderr，也不想错过任何重要的信
浏览 3提问于2014-03-05得票数 4
1回答
我有下面的shell脚本
#for i in {0..10}
do
run my command that takes about 10 seconds with parameter $i
done
我如何才能使它并行运行命令，而不使用GNU并行，因为我无法将它安装在我的linux机器上。
有没有办法创建10个不同的shell脚本，并调用它们，例如script_1.sh、script_2.sh、script_3.sh等，然后从这个脚本逐个启动它们？
浏览 4提问于2016-02-08得票数 0
回答已采纳
9回答
如何从崩溃中提取调试信息
、、、、
如果我的C++应用程序在Windows上崩溃，我想向我们的服务器发送有用的调试信息。
在Linux上，我会使用GNU backtrace()函数-- Windows上有没有类似的函数？
有没有办法在程序崩溃后提取有用的调试信息？还是仅从流程内部进行？
(类似于“测试你的应用程序，这样它就不会崩溃”的建议是没有帮助的！--所有非琐碎的程序都会有bug)
浏览 4提问于2009-05-12得票数 11
回答已采纳
我正在为一个解析调试信息的工具编写一个测试，我想省略调试目标中单个编译单元(源文件)的调试信息。有没有办法用cmake来实现这一点呢？ 显然，我可以只硬编码编译器标志，但我想让我的构建在不同的OSes和工具链(比如gnu和msvc)之间保持可移植性。 即时更改CMAKE_BUILD_TYPE似乎不起作用。
浏览 14提问于2018-12-20得票数 1
1回答
我正在我的4核PC上使用GNU Octave 4.0.0计算蒙特卡罗模拟.模拟大约需要4个小时来计算脚本50,000次(特定于我的问题)，这是一个很长的计算时间。我想知道是否有办法同时在多个核上运行Octave，以减少计算时间。
提前谢谢。
浏览 0提问于2016-05-18得票数 3
回答已采纳
我想知道是否有任何方法可以跳过文件，如果它已经优化。
我使用以下命令来运行PNG映像的优化：
find '*.png' -print0 | xargs optipng -nc -nb -o5 -quiet -preserve -dir ~/images/output -log ~/optpng.log
处理图像目录需要花费很长时间，因为图像目录中有数千个图像。
请给我一个解决办法。
浏览 4提问于2016-08-08得票数 2
回答已采纳
1回答
在VS2010中，有没有办法强制Concurrency::parallel_for()循环(或parallel_for_each)串行运行？这样会更容易调试。
如果是这样的话，是怎么做的？
谢谢
浏览 0提问于2011-01-18得票数 3
回答已采纳
我正在寻找一种优雅的方式在GNU make中实现作业的并行化。这是我到目前为止所做的一个示例。Make以串行方式处理目录dir-1、dir-2和dir-3，这符合逻辑，但不是我的意图：
SUBDIRS=dir-1 dir-2 dir-3
default: all
all:
@for dir in $(SUBDIRS); do (cd $$dir; $(MAKE)); done
.PHONY: clean
clean:
@for dir in $(SUBDIRS); do (cd $$dir; $(MAKE) clean); done
有没有办法在不为每个目录指定特定目标的情况下
浏览 0提问于2009-11-05得票数 15
回答已采纳
我试图使用GNU并行来帮助我处理一些我不想在本地保存的远程文件。
我的命令看起来有点像：
python list_files.py | \
parallel -j5 'aws s3 cp s3://s3-bucket/{} -' | \
parallel -j5 --round --pipe -l 5000 "python process_and_print.py"
process_and_print.py输出一些输入行的输出，但是输出并没有像我预期的那样立即输出，而是只在进程完成后才看到输出。如果我删除了--round参数，则所有操作都按预期的方式
浏览 1提问于2017-06-17得票数 2
回答已采纳
1回答
我正在并行化一些具有彩色输出的0-args命令(脚本/任何东西)，但是当并行打印输出时，它是无色的(除非我使用-u选项，否则它是无序的)。
有没有办法改变这一点？
我使用的这行代码(插图)：
echo "script1 script2 script3" | tr " " "\n" | parallel -j3 'echo {}":\n\n"; eval {}'
顺便说一句，我使用的是GNU parallel的本地版本，但它应该大致相同。
谢谢
浏览 0提问于2015-12-15得票数 5
1回答
我有以下GNU并行命令。
parallel --gnu --jobs 4 \
normalize-by-median.py \
-k 20 -C 20 --paired -N 4 -x 6e9 \
--out pdom-{}-diginorm.fq \
pdom-{}.fq.gz \
::: 200bp 500bp 1kb 3kb 8kb
我想在写入磁盘之前压缩输出。通常，我只需将其输送到gzip -c，但不幸的是，这个特定的Python没有将输出发送到stdout的选项。然后我想我可以用进程替换代替。我试过以下几种方法。
par
浏览 1提问于2015-03-26得票数 3
回答已采纳
1回答
我有一个非常大的文件夹，我想把它们分成几个，以便存档：
#!/bin/bash
dir=$1
name=$2
size=32000m
tar -czf /dev/stdout ${dir} | split -a 5 -d -b $size - ${name}
有办法用gnu并行来加速这个过程吗？谢谢。
浏览 8提问于2013-09-01得票数 3
回答已采纳
1回答
是否有可能从由gnu并行生成的脚本的多个运行中调用gnu并行？
我有一个用于运行序列迭代的python脚本，在每次迭代的某个地方，有4个值是并行计算的(使用gnu并行)。现在我想同时生成多个这样的脚本，再次使用gnu并行。这个是可能的吗？gnu并行是否能很好地利用可用的核心？
例如，如果在内循环中，在4个值中，2个已经完成，2个正在运行，因此在计算所有4个值之前，单个脚本无法继续下一个迭代。这两个自由内核会被用来自动计算不同脚本运行的结果吗？如何指定可用内核的总数？在内部调用并行调用还是外部调用？
问题表明嵌套并行调用是可能的，但我不确定当我从脚本中调用嵌套并行时，这种情况是否会改变。
‘.’
浏览 0提问于2014-07-31得票数 11
回答已采纳
1回答
我希望在GNU并行执行中用等效的getchar()替换定时暂停：
parallel -j2 --halt 2 ::: 'sleep 5m; return 1' './runMe'
但是，以下操作不起作用(它将立即完成第一个作业的执行)：
parallel -j2 --halt 2 ::: 'read -n1 kbd; return 1' '/runMe'
除了等待还有别的办法吗？注:/runMe包含无限循环。
浏览 0提问于2017-09-04得票数 2
回答已采纳
有没有办法将scrapy作为bash脚本的一部分运行，并且只运行一定的时间？也许可以在X小时后模拟Ctrl-C + Ctrl-C？
浏览 0提问于2016-11-25得票数 1
4回答
使用GNU parallel：
我有一个接受两个参数的程序，例如
$ ./prog file1 file2
$ ./prog file2 file3
...
$ ./prog file23456 file23457
我使用的是一个生成文件名对的脚本，但是这带来了一个问题，因为脚本的结果是一个单一的字符串，而不是一个对。像这样：
$ ./prog "file1 file2"
GNU parallel似乎有一系列的技巧，我想知道是否有一个分隔符拆分文本：
$ generate_file_pairs | parallel ./prog ?
# where ? is text
浏览 2提问于2011-06-07得票数 45
回答已采纳
我有一个目录，其文件如下所示：
id1_1.txt
id1_2.txt
id2_1.txt
id2_2.txt
我需要将这些文件作为一对(例如id1_1.txt和id1_2.txt)传递给my_script。
以下是我认为有用的东西
parallel -j +0 -X python my_script.py -1 {} -2 {= s/_1/_2/ =} -o /output/dir/good /output/dir/bad ::: /my/dir/*_1.txt
其中-1将是以_1.txt结尾的文件，而-2将是其终止_2.txt的合作伙伴。
my_script识别选项-1的输入，但不识别选项
浏览 0提问于2018-07-22得票数 1
回答已采纳
我在bash中有一个可并行的for循环，并且想要限制并行运行的作业的数量。脚本如下所示：
#!/usr/bin/env bash
num_cores=25
num_jobs=100
for ((i = 0; i < num_jobs; i++)); do
while read -r -a curr_jobs < <(jobs -p -r) \
&& ((${#curr_jobs[@]} >= num_cores)); do
wait -n
done
NAME=job_$i
screen
浏览 0提问于2018-03-31得票数 2
1回答
当使用gdb调试某些代码时，有时会在使用next命令时多次重复一些代码片段，在此重复之后，使用n命令，它通常会在程序行上按顺序继续。这种奇怪行为的原因是什么？或者以前有没有人遇到过这个问题？有什么办法可以解决这个问题呢？我有GNU gdb (GDB) 7.2-ubuntu。
浏览 3提问于2011-06-09得票数 1
有没有办法从单元测试中捕获GPU？这对于我们调试计算内核(特别是它们如何修改纹理)很有用。对于分析和优化也很有用。
我尝试使用MTLCaptureManager，但它似乎不能在单元测试中做任何事情。
浏览 1提问于2017-10-07得票数 2
我使用gnu并行在一个高性能(HPC)计算集群上启动代码，该集群每个节点有2个CPU。集群使用扭矩便携式批处理系统(PBS)。我的问题是澄清GNU并行的--作业选项在这个场景中是如何工作的。
当我运行一个调用GNU并行的PBS脚本时，没有--作业选项，如下所示：
#PBS -lnodes=2:ppn=2
...
parallel --env $PBS_O_WORKDIR --sshloginfile $PBS_NODEFILE \
matlab -nodiplay -r "\"cd $PBS_O_WORKDIR,primes1({})\"" ::: 10 2
浏览 6提问于2014-03-06得票数 9
回答已采纳
3回答
调试MobileSubstrate扩展的最好方法是什么，比如设置断点等？在Xcode中有办法做到这一点吗？GNU调试器？
浏览 7提问于2011-07-20得票数 4
回答已采纳
有没有一种方法可以调试(特别是分步执行)已经部署到云上的Google应用程序引擎应用程序。我问这个问题的原因是，有些东西要么不能在本地调试，要么需要解决办法才能在本地测试(例如：CRON Jobs)。
具体地说，我希望使用Eclipse来实现这一点。
浏览 4提问于2012-08-21得票数 4
回答已采纳
1回答
我的函数如下： int ConfigConvTensors(LayerType layer_type, bool batch_processing = false) {
/* Construct the convolution problem */
2=> std::list<std::string> input_coupled_vars;
std::list<std::string> weight_coupled_vars;
std::list<std::string> outpu
浏览 18提问于2020-12-03得票数 0
1回答
我试图安装一个由Yocto构建的应用程序的调试包。
安装后，可执行文件位于.debug目录下。
然而，当我尝试执行这些命令时，我得到了以下错误
-sh: /etc/.debug/app: cannot execute binary file: Exec format error
file命令显示：
file /etc/.debug/app
/etc/.debug/app: ELF 32-bit LSB executable, ARM, EABI5 version 1 (SYSV), dynamically linked, interpreter *empty*, for GNU/Linux 2
浏览 3提问于2018-10-05得票数 2
这是一个基本的问题。我很好奇，在并行化代码时，xargs和gnu并行有什么不同？
有没有这样的用例，你会使用其中一种而不是另一种？
我之所以这样问，是因为我已经看到了并行化问题的答案，在这些问题中，使用这两种工具都被社区认为是可以接受的。
浏览 0提问于2020-06-22得票数 4
有没有人能够在Windows 10上成功地使用GNU并行？是否可能？-如果是，如何使用？
背景：--我在安装GNU并行并使用它时遇到了困难，这让我想到--也许是git-bash --阻碍了我？我确信，如果我通过WSL安装了Ubuntu，我在运行GNU并行时不会遇到任何问题。但我想知道我能不能先做这个。
浏览 0提问于2018-09-18得票数 5
回答已采纳
根据的说法，我已经在sklearn中构建了一个自定义估计器。在fit方法中，我有一个print语句，用于调试。当我创建这个模型的一个实例并调用fit方法时，一切都如期而至。但是，在调用cross_val_score时，语句不再打印，尽管据我所知，cross_val_score在每次折叠时都调用fit方法。有没有办法强迫打印语句在交叉验证内？
浏览 2提问于2020-05-26得票数 1
回答已采纳
1回答
有没有办法为gdb中的进程获取信号信息(哪些信号被启用，哪些信号被阻塞，有哪些处理程序/选项)？有info signals，但它给了我gdb的信号处理信息，我需要这些信息来调试进程-例如，看看它是否阻塞了某些信号，或者看看它为那个信号安装了哪个处理程序。
如果相关的话，我的gdb是GNU gdb 6.3.50-20050815 (Apple version gdb-1515) (Sat Jan 15 08:33:48 UTC 2011)。
浏览 0提问于2011-08-01得票数 6
回答已采纳
1回答
像GNU那样的并行化？
、、、
我需要执行多个蚂蚁任务。它们不需要在同一个JVM中运行，一个类似于gnu的fork()-ed执行这次是完美的(*)。
但是，我需要的是一个带有-j标志的gnu make的功能:我需要能够限制并行运行的任务的最大数量。这是主要的问题，在我目前的尝试(子任务)，我没有找到任何选项。
那么，有解决问题的办法吗？我真的不会用exec任务调用gnu make .
(*)是的，我知道这是无效的，请不要为此担心。在正常情况下，我也更喜欢多线程解决方案，但现在有一些特殊的情况。
浏览 1提问于2015-01-28得票数 1
回答已采纳
cat ips.txt | xargs -I% curl -s http://ipinfo.io/%/geo > temp.txt
这里，ips.txt是一个包含IP地址列表的文件，每行一个。示例：
103.240.8.0
116.236.230.0
这在Mac的终端上运行得非常好：
{
"ip": "103.240.8.0",
"city": "Nagpur",
"region": "Maharashtra",
"country": "IN",
"l
浏览 0提问于2017-04-20得票数 -1
在VS代码中，我必须首先运行构建任务，然后开始调试，而在CLion中，我只需单击调试，然后它会在必要时自动构建并开始调试。有没有办法在VS Code中实现自动化？
浏览 5提问于2019-09-11得票数 20
回答已采纳
4回答
有没有一个版本的GNU Make或GNU Make兼容的应用程序，支持在Win32上的分布式构建？
我们目前有一个使用gnu makefiles的大型项目。我们使用GMake的Win32版本来构建。我们的构建环境支持没有问题的并行构建，如果可能，我们希望尝试并执行分布式构建。
有什么想法吗？
浏览 1提问于2009-10-09得票数 0
回答已采纳
2回答
如果我知道内存位置，有没有办法查看GDB中的内存内容？
也就是说，我正在调试我为操作系统课程编写的x86汇编程序。现在，我正在尝试用C和gas (GNU assembler)为x86上的Linux编写一个用户级线程库。我分配了自己的堆栈，并使esp寄存器指向该内存位置。现在，我想要读取内存，以查看我分配的堆栈中有什么。
浏览 0提问于2013-03-30得票数 4
回答已采纳
当我尝试在本地机器上调试我的WinRT应用程序时，我经常会遇到这个错误：
Error : DEP0500 : The folder "C:\Users\akku\VS2012Projects\ProjectName\bin\x86\Debug\AppX" could not be deleted.
Access to the path 'resources.pri' is denied.
唯一修复它的方法是重新启动Windows 8。谷歌搜索了一下，想知道没有找到解决方案。
经过更多的测试后，我意识到只有在运行或调试解决方案时才会发生这种情况。问题似乎总是无法
浏览 17提问于2012-11-22得票数 6
回答已采纳
1回答
我有一个python脚本，它使用函数从桶中临时下载文件，将它们转换为ndarray，最后将其保存到另一个桶中(最终大小为10 it )。
我需要运行这个脚本200次，所以我创建了一个sh文件run_reshape.sh，以并行执行以下布局的运行：
#!/bin/sh
python3 reshape.py 'group_1'
python3 reshape.py 'group_2'
...
我一直试图以以下方式使用GNU Parallel并行处理这些运行：
parallel --jobs 6 --tmpdir scratch/tmp --cleanup <
浏览 1提问于2021-11-08得票数 0
回答已采纳
我非常确定其他的集成开发环境也是这样做的，例如在windows eclipse上使用来自MinGW ( GNU工具链的窗口端口)的gdb的输出来映射执行在源代码中的位置以及变量保存的值等等。一旦脚本开始移动，输出就是所有gdb。有没有办法将emacs配置为使用gdb的输出，并允许一种可与eclipse或ms visual studio相媲美的图形调试器？
浏览 4提问于2012-03-28得票数 3
我有一个脚本run_md.py，它从名为test.pdb的输入文件中生成文件test.dcd。我希望使用GNU并行方式对远程服务器上的多个输入文件(test*.pdb)执行相同的命令，并将结果传输回本地计算机。因此，我使用以下命令：
parallel --trc {.}.dcd -j 2 -S $SERVER1 './run_md.py {} 1000' ::: test*.pdb
该命令按照预期的方式在服务器上运行，使用两个插槽。但是，文件没有被传回，我得到以下错误：
rsync: link_stat "/home/bougui/{.}.dcd" failed
浏览 8提问于2016-06-27得票数 0
回答已采纳
2回答
有没有办法让GNU make打印出导致命令在失败时被执行的目标的“回溯”？我经常处理严重混淆的makefile，同时解决在新系统上构建软件的可移植性问题，对于make来说，这似乎是一件非常简单的事情，这将极大地帮助调试，但我找不到任何方法来请求它。我希望看到的是：
gcc: error: ...
make[2]: error: gcc ...
make[2]: error building target bar
make[2]: error building dependency bar for target foo
make[1]: error: make -C subdir
make[1]
浏览 0提问于2011-02-18得票数 6
find /home/folder1/folder2/folder3/my\ Raw\ Data/"$1"/"$2"/"$3"/"$4" -type f -name "*.tif" -exec bash -c 'tiff2pdf "$1" -o "${1%.tif}".pdf' - '{}' \;
这是我的bash脚本，将/home/folder1/folder2/folder3/my\ Raw\ Data/"$1"/"$2&#
浏览 6提问于2020-04-06得票数 1
回答已采纳
我正在尝试实现NetCDF-4文件的并行读写。 为此，我安装了netcdf-fortran和mpi。我还安装了pnetcdf (我不知道是否需要它)。所有的安装都是通过包管理器完成的(我使用的是Debian 10)。 当我尝试正常读取(没有并行化) NetCDF文件时，一切都进行得很顺利。但是，当我尝试使用mpi时，我收到以下消息："NetCDF: Parallel operation on file opened for non-parallel access“我尝试运行以下示例(因为我的程序可能是错误的)。https://github.com/Unidata/netcdf-for
浏览 314提问于2019-12-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
