加入如下命令:
-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat \
-jobconf suffix.multiple.outputformat.filesuffix=file_path_1,file_path_2 \
-jobconf suffix.multiple.outputformat.separator="#" \
注:
\t
分隔符只要在 map
reduce
脚本中print
字符串中加上#file_path
比如要将aaa
写入file_path_1
将bbb
写入file_path_2
使用Python如下:
使用#
进行分割
if line == "aaa":
print line + "#file_path_1"
elif line == "bbb":
print line + "#file_path_2"