首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    spark-submit提交任务及参数说明

    python脚本 spark2-submit 提交 python(pyspark)项目 local yarn spark-submit 可以提交任务到 spark 集群执行,也可以提交到 hadoop...在yarn或者standalone下使用 ---- 当’–master’参数设置为Standalone,‘–deploy-mode’参数设置为cluster时,如下选项可以设置: –driver-cores...NUM:driver使用的内核数,默认为1 当’–master’参数设置为Standalone或者Mesos,‘–deploy-mode’参数设置为cluster时,如下选项可以设置: –supervise...:如果设置了该参数,driver失败是会重启 –kill SUBMISSION_ID:如果设置了该参数,则会杀死指定SUBMISSION_ID的driver进程 –status SUBMISSION_ID...:如果设置了该参数,则请求返回指定SUBMISSION_ID的driver的状态 当’–master’参数设置为Standalone或者Mesos时,如下选项可以设置: –total-executor-cores

    10.3K21

    关于检查客户端提交的请求参数

    关于检查客户端提交的请求参数 首先,客户端的提交请求参数都应该有相应的数据规则,并且,需要通过正则表达式或其它判断方式,以保证最终被处理的数据都是符合数据规则的,例如用户名的组成元素、密码的长度、电子邮箱的格式等...在客户端中,在提交请求之前,就应该对所有需要被提交的数据进行检查,避免将格式有误的数据提交到服务器。...在服务器端中,是通过控制器接收请求参数的,在控制器接收到请求参数时,也应该第一时间就对这些参数进行检查,如果存在格式有误的数据,就应该直接响应“错误”,不予处理!...在服务器端的开发人员眼里,所有由客户端提交的数据,都应该视为“不可靠”的数据!...在某些软件中,可能在业务层中,还会对业务方法的参数再次进行检查!其实,如果控制器已经完成了检查,且由控制器调用业务方法,这样的业务方法是不需要检查参数的!

    1.4K20

    提交Spark作业 | 科学设定spark-submit参数

    这个参数比executor-cores更为重要,因为Spark作业的本质就是内存计算,内存的大小直接影响性能,并且与磁盘溢写、OOM等都相关。...spark.default.parallelism 含义:对于shuffle算子,如reduceByKey()或者join(),这个参数用来指定父RDD中最大分区数。...这个参数同样非常重要,因为如果不设定的话,分区数就会由RDD本身的分区来决定,这样往往会使得计算效率低下。...如果设置,常见的情景是使用-Xmn加大年轻代内存的大小,或者手动指定垃圾收集器(最上面的例子中使用了G1,也有用CMS的时候)及其相关参数。...一句话总结 spark-submit参数的设定有一定的准则可循,但更多地是根据实际业务逻辑和资源余量进行权衡。

    2.4K20
    领券