首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Hadoop+Maven项目打包异常

先简单说下业务:有一个单独的模块,可以在远程下载Hadoop上的索引,然后合并压缩,最后推送到solr服务器上 原来使用的是Ant打包,外部的jar是在执行主体的jar时cp进环境变量的,所以没有出现今天要说的这个问题...打包也很顺利,但是,当到Linux上,执行远程下载Hadoop上的 数据时,总是报如下的异常: ?...然后检查了下项目依赖的包,发现不缺依赖的jar,经过找资料,发现原来是maven-assembly 这个插件在打包时,覆盖了hadoop的两个关键属性: Java代码 ? ? ?..."fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName()); conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName...()); conf.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName()); 如何解决?

96770
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    pycharm将python程序打包_python 程序打包

    关于windows使用Pycharm 对python文件进行打包 首先建立python项目的时候要按照标准来建设 我使用的python配置的解释器,没有使用python的虚拟环境,因为虚拟环境建设出来的项目不是我想要的项目结构...配置完成后 点击创建 创建完成后可以自己创建合适包结构 创建完合适的包结构后,就可以编写python代码了,但要python代码运行开,需要配置运行环境 9....环境配置调试好就可以运行调试python代码,代码没有问题,需要打包运行测试 我只是在windows环境运行验证 我使用的是pyinstaller 进行的打包测试 首先需要先安装pyinstaller...下面进行打包 -F, –onefile 打包一个单个文件,如果你的代码都写在一个.py文件的话,可以用这个,如果是多个.py文件就别用 -D, –onedir 打包多个文件,在dist中生成很多依赖文件...打包完成运行时,可能会出现找不到python模块的问题,这时候就需要查看到底什么模块包找不到 可以先看上面的图片有没有 ,没有的话 点击上面图片偏左下角的加号 18.

    2.1K20

    Eclipse下Hadoop的MapReduce开发之mapreduce打包

    测试:     1、打开安装hadoop的机器,将刚才打包的文件复制上去。然后找到hadoop的文件夹,在根路径下建立一个文件名称为mylib,然后将刚才复制的jar拷贝进去。     ...2、打开命令行,切换到hadoop目录下,输入一下命令(如果test2-out已存在请先删除) bin/hadoop jar mylib/loglevecount.jar mapreducetest.MapReduceTest...Path(arg0[1])); //设置结果输出路径(hdfs路径) FileOutputFormat.setOutputPath(job, new Path(arg0[2])); 下面是运行效果: [hadoop...@h1 hadoop-2.6.0]$ bin/hadoop jar mylib/loglevecount.jar mapreducetest.MapReduceTest /test1-in/singlemaptest.log...Counters          Bytes Read=827505     File Output Format Counters          Bytes Written=18 查看生成的内容 bin/hadoop

    74130

    python打包exe

    目录 官网地址 安装命令 打包效果 代码建议 py2exe的优点 py2exe的缺点 ---- python打包的方式比较多。我这里使用py2exe来打包,其实挺方便的。...我这里使用的工具是【PyCharm Community Edition 2021.3.1】 操作起来挺方便的,首先你得下载完环境,并且要保证程序能在项目里面跑起来,所有的包都正常使用,然后通过python...打包效果 可以看到各种打包测试的文件名称。 代码建议 如果是控制台项目,建议最后添加上 os.system("pause") 跑完可以暂停一下,看最后的输出结果啥的。...在大的应用程序大小,使用py2exe打包的最简单的脚本大小将达到几兆字节。...在如果应用程序依赖于某些第三方python模块,则可能无法工作。

    96920

    hadoop:将WordCount打包成独立运行的jar包

    hadoop示例中的WordCount程序,很多教程上都是推荐以下二种运行方式: 1.将生成的jar包,复制到hadoop集群中的节点,然后运行 $HADOOP_HOME/bin/hadoop xxx.jar...,更多的情况是:没有ide环境,且各应用最终生成的jar包部署在应用服务器上(应用服务器并非hadoop集群中的服务器节点),所以需要jar能独立运行并能连接到hadoop环境,以下是关键点: 1. pom.xml...参考maven: 打包可运行的jar包(java application)及依赖项处理 一文将依赖的jar包导出,且通过maven插件自动修改MANIFEST.MF中的Main-Class信息 3. core-site.xml...要复制到maven项目的resources目录下(这样打包后,xml会复制到classpath下,运行时,根据这个配置文件,WordCount就能知道去连哪里的hadoop) 4....nt-jobclient-2.6.0.jar lib/hadoop-mapreduce-client-common-2.6.0.jar l ib/hadoop-yarn-common-2.6.0.

    2.1K70

    python项目打包部署

    在生产环境把代码拉下来,或者通过部署系统,这里的部署系统一般是一个web页面, 能够将svn/git 上的代码打包后执行某一个脚本,来完成相应的部署, 也有可能是直接在机器上执行: nohup python...一个起码看起来合格的Python项目,大体上代码构建的目录应该是下面这样的,请参考《以正确的方式开源Python项目》 http://www.oschina.net/translate/open-sourcing-a-python-project-the-right-way...virtualenv 环境了, 还有打包deb的脚本 Makefile 文件包含了很多命令,比如: make test // 执行单元测试和静态检查 make lint // 执行 pylint...让我们看下打包代码: #!/bin/sh set -e ... // 省略了变量部分 if [ !...一目了然,我们会把依赖打到 wheelhouse 里面,然后把 wheelhouse 一同打包到 deb 包,这里使用了 fpm 这个打包工具,需要安装ruby gem 来安装。

    13.8K22

    pyinstaller打包python项目

    一、引言在日常工作中,基本都是直接执行python脚本,但最近有个项目,需要提供给外部使用,而使用者又完全没有编程基础,不太可能自己安装python,安装各种依赖,所以将python项目打包为exe程序就显得尤为必要...二、打包工具选型在Python项目中,常见的打包工具有以下几种:1....否则会将真实环境中很多不需要的依赖也打包进去,造成打包后的程序过大2. 定位到你的Python源代码文件使用cd命令切换到包含主Python脚本(例如:main.py)的目录。3....执行打包指令PyInstaller打包Python应用时,可以使用一系列参数来控制打包过程。以下是一些常用的PyInstaller命令行参数说明:1....这通常是由于以下原因导致:Python环境不匹配: 打包时使用的Python版本与目标机器上的Python版本不一致,或者目标机器上根本未安装该版本的Python

    38710

    Python打包为exe

    打包的完整方法】 【步骤01】 【在命令行中用pip工具安装Pyinstaller模块】 pip install Pyinstaller 【步骤02】 【切换命令行的路径到你要打包Python...源文件的文件夹路径下】 【下面是我要打包Python源文件(散点坐标图.py)及其文件夹路径】 【切换命令行路径】(不是文件路径) cd 文件夹路径 【步骤03】 【执行Pyinstaller...但是这样打包Python程序一般会很大,因为它会把一些不必要的东西也打包进去了,(通常可能会达到几百MB的大小)这里我们采用创建虚拟环境的方式进行压缩,也就是下面的升级版 【升级版步骤01】 【...的虚拟环境) conda activate 虚拟环境名称 【前面的(base)变成了(program)】 【这个虚拟环境就相当于一个虚拟的Python,它包含的模块没有那么完整(比较少),这样就不会打包不必要的模块...Python程序的打包中不是很明显,对于GUI界面化程序十分明显)】 原文链接

    80510

    Python打包指南2021

    写这篇文章是因为过去的两年关于pip和 Python 包管理有几个重要的 PEP 发布,然而网上(中文世界)的打包发布教程很少有针对此的更新。...setup.py 真难写 似乎从有 Python 打包以来就有了setuptools这个库,你能搜到的教程,涉及打包发布的,都会让你编写那个可怕的setup.py。...第一步,打包成可分发的文件: $ python setup.py sdist bdist_wheel --universal 这条命令会同时生成源代码包(Source Distribution),和二进制包...其中bdist_wheel生成的二进制包是 wheel 格式(需要安装wheel才能打包),--universal的意思是这个二进制包对所有 支持的 Python 版本和 ABI 都适用,「 一处打包,...upload打包上传一步到位,这个方式已经过时了不推荐使用。

    36230

    python打包教程

    py打包成exe如何打的足够小 Python脚本不能在没有安装Python的机器上运行,如果我们想把自己的脚本分享给没有python环境的小伙伴使用,这个时候就需要将脚本打包成exe文件,即使使用方电脑没有安装...python解释器,这个exe也能在上面运行。...1、Python打包为什么大? 在压缩打包之前,先简单说一下为什么Python打包过大? Python打包exe,不但体积大而且运行慢。解释型语言相对较慢。...还有知乎大佬说是因为“Anaconda里内置了很多库,打包的时候打包了很多不必要的模块进去,要用纯净的Python打包。” 所以我们可以模拟一个新环境,其中只安装我们本次打包所必要的工具包即可。...4、Pyinstaller打包步骤 操作同上面常规打包 小结如下 虚拟环境+打包的全过程(3步) #创建虚拟环境 conda create -n env_name python=3.6 #激活虚拟环境

    1K20

    python 打包exe文件

    上一篇说了我自己做了一个定时截屏的工具,我想如果我可以打包成exe文件,那我就可以单独放在桌面运行,不用进入程序启动运行就可以完成截屏工作了。...,安装一次缺一个模块,然后补一个,然后又少一个,命令行安装就没这个问题了 pip install pyinstaller 2、pyQt5 我不知道你们只安装pyinstaller能不能行,反正我是在打包过程中失败了...这里也建议使用命令行安装(管理员模式) pip install pyQt5 打包 1、命令介绍 默认打包:默认是 -D,意思是打成一个文件夹。...-F -w **.py 修改程序默认图标:-i 可以设置图标路径,将图标放在根目录 pyinstaller -F -w -i **.ico **.py 2、开始打包 pyinstaller -F -w...-i panda.ico screenCapure.py 3、打包后 在dist文件夹下 运行 点击启动,通过进程可以看到程序运行起来了,并且也有一个png文件夹创建了,同时里面也有截屏的图片了

    1.1K10

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券