首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如果使用spring boot,我应该使用spark-submit吗?

如果使用Spring Boot,你不应该使用spark-submit。

Spring Boot是一个用于快速构建独立的、生产级别的Spring应用程序的框架。它提供了自动配置和约定优于配置的原则,使得开发者可以更加专注于业务逻辑的实现而不必过多关注底层的配置细节。

而spark-submit是Apache Spark提供的一个命令行工具,用于提交Spark应用程序到集群中执行。Spark是一个用于大规模数据处理的开源分布式计算框架,它提供了丰富的API和工具,支持在分布式环境中进行数据处理、机器学习、图计算等任务。

由于Spring Boot和Spark是两个不同的框架,它们的设计目标和应用场景也不同。Spring Boot主要用于构建Web应用程序和微服务,而Spark主要用于大数据处理和分析。因此,在使用Spring Boot时,通常不需要使用spark-submit来提交Spark应用程序。

相反,如果你需要在Spring Boot应用程序中进行大数据处理,你可以考虑使用Spring提供的其他相关模块,如Spring Batch或Spring Data等。这些模块可以与Spring Boot无缝集成,帮助你更好地处理和管理大数据任务。

总结起来,如果你使用Spring Boot,不需要使用spark-submit。相反,你可以考虑使用Spring提供的其他相关模块来处理大数据任务。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

应该使用 PyCharm 在 Python 中编程

此外,它可以在多种平台上使用,包括Windows,Linux和macOS。...此外,它对于使用流行的Web应用程序框架(如Django和Flask)进行Web开发特别有用。此外,程序员还可以使用各种API创建他们的Python插件。...此外,它拥有一个用户友好的界面,可以使用特定应用程序的插件进行自定义。 集成工具 PyCharm是用于Python开发的集成开发环境(IDE),它提供了广泛的集成工具,允许您使用各种其他技术和工具。...总体而言,PyCharm的集成工具允许您使用各种技术和工具,并使开发,测试和部署Python应用程序变得容易。...但是,您是否应该使用它取决于您的特定需求和偏好。如果您不熟悉编程或更喜欢简单的文本编辑器,则可能需要从更基本的工具开始。但是,如果您正在处理大型项目或需要高级功能,PyCharm可能是您的最佳选择。

4.5K30

Spring Boot(五):Spring Boot Jpa 的使用

在上篇文章《Spring Boot(二):Web 综合开发》中简单介绍了一下 Spring Boot Jpa 的基础性使用,这篇文章将更加全面的介绍 Spring Boot Jpa 常见用法以及注意事项...使用 Spring Boot Jpa 开发时,发现国内对 Spring Boot Jpa 全面介绍的文章比较少案例也比较零碎,因此写文章总结一下。...本人也正在翻译Spring Data JPA 参考指南,有兴趣的同学欢迎联系,一起加入翻译中! Spring Boot Jpa 介绍 首先了解 Jpa 是什么?...,常常需要在一个项目中使用多个数据源,因此需要配置 Spring Boot Jpa 对多数据源的使用,一般分一下为三步: 1 配置多数据源 2 不同源的实体类放入不同包路径 3 声明不同的包路径下使用不同的数据源.../spring-boot-examples/tree/master/spring-boot-jpa 文章内容已经升级到 Spring Boot 2.x 点击阅读原文,查看 Spring Boot 系列文章

2.7K10

Spring Boot(十六):使用 Jenkins 部署 Spring Boot

Jenkins 是 Devops 神器,本篇文章介绍如何安装和使用 Jenkins 部署 Spring Boot 项目 Jenkins 搭建、部署分为四个步骤; 第一步,Jenkins 安装 第二步...使用密钥方式登录目标发布服务器 ssh 的配置可使用密钥,也可以使用密码,这里我们使用密钥来配置,在配置之前先配置好jenkins服务器和应用服务器的密钥认证Jenkins服务器上生成密钥对,使用ssh-keygen...使用 root 账户执行 ssh-copy-id -i ~/.ssh/id_rsa.pub 这个指令的时候如果需要输入密码则要配置sshd_config vi /etc/ssh/sshd_config...#内容 PermitRootLogin no 修改完后要重启 sshd 服务 service sshd restart 最后,如果可以 SSH IP 免密登录成功说明 SSH 公钥认证成功。...这里选择备份最近的10个 ? 源码管理,选择 SVN,配置 SVN 相关信息,点击 add 可以输入 SVN 的账户和密码 ?

77830

使用 Spring Boot Operator 部署 Spring Boot 到 Kubernetes

使用 Spring Boot Operator 进行发布时候,Operator 会设置 Kubernetes 的 ShareProcessNamespace 参数为 true(v1.10+版本都可使用...下面就来演示一下通过 https://start.spring.io 生成一个标准的 Spring Boot 项目 operator-demo,然后使用 Jib 插件进行镜像打包。...   0          2m15s 如果您正在学习Spring Boot,推荐您关注这个连载多年,并且还在继续更新的免费教程:http://blog.didispace.com/spring-boot-learning...另外,如果你最近想跳槽的话,年前花了2周时间收集了一波大厂面经,节后准备跳槽的可以点击这里领取!...如果你看好一个事情,一定是坚持了才能看到希望,而不是看到希望才去坚持。相信我,只要坚持下来,你一定比现在更好!如果你还没什么方向,可以先关注,这里会经常分享一些前沿资讯,帮你积累弯道超车的资本。

1.3K10

Spring Boot 2.0(四):使用 Docker 部署 Spring Boot

Docker 技术发展为微服务落地提供了更加便利的环境,使用 Docker 部署 Spring Boot 其实非常简单,这篇文章我们就来简单学习下。...一个简单 Spring Boot 项目 在 pom.xml 中 ,使用 Spring Boot 2.0 相关依赖 org.springframework.boot</...Jdk8 环境 为基础镜像,如果镜像不是本地的会从 DockerHub 进行下载 VOLUME ,VOLUME 指向了一个 /tmp的目录,由于 Spring Boot 使用内置的Tomcat容器,Tomcat...构建打包环境 我们需要有一个 Docker 环境来打包 Spring Boot 项目,在 Windows 搭建 Docker 环境很麻烦,因此这里以 Centos 7 为例。...使用 Docker 部署 Spring Boot 项目 将项目 spring-boot-docker 拷贝服务器中,进入项目路径下进行打包测试。

1.6K40

Spring Boot (十九):使用 Spring Boot Actuator 监控应用

Actuator 监控 Spring Boot 使用“习惯优于配置的理念”,采用包扫描和自动化配置的机制来加载依赖 Jar 中的 Spring bean,不需要任何 Xml 配置,就可以实现 Spring...比如内存用量和 HTTP 请求计数 GET /metrics/{name} 报告指定名称的应用程序度量值 GET /scheduledtasks 展示应用中的定时任务信息 GET /sessions 如果我们使用了...3 如果无任何状态码,整个 Spring Boot 应用的状态是 UNKNOWN。 4 将所有收集到的状态码按照 1 中的顺序排序。...举个例子,如果你的应用使用 Redis,RedisHealthindicator 将被当作检查的一部分;如果使用 MongoDB,那么MongoHealthIndicator 将被当作检查的一部分。...shutdown 开启接口优雅关闭 Spring Boot 应用,要使用这个功能首先需要在配置文件中开启: management.endpoint.shutdown.enabled=true 配置完成之后

69010

Spring Boot devtool的使用

Spring Boot devtool的使用 Spring Boot为我们提供了一个便捷的开发Spring Boot应用程序的环境,同时为了方便我们的开发Spring Boot应用程序,Spring Boot... spring-boot-devtools 这样就添加好了,我们可以开始使用Spring boot...,这时候我们就需要配置: spring.thymeleaf.cache=false 如果添加了spring-boot-devtools, 上述的配置就不需要手动添加,devtool会自动帮我们添加好。...自动重启 在开发过程中,如果我们修改了某些java文件,我们可能需要重启下项目来观看修改后的结果,如果使用spring-boot-devtools,当classpath中有文件变动时候,devtools...注意,这里的重启的条件是classpath的文件要有变化,如果你在使用IDEA开发的话,请勾选“Build project automatically” 选项,如下图示所示,否则你需要重新build项目来使重启生效

93020

使用Spring Boot发送邮件

pom包配置    org.springframework.boot     spring-boot-starter-mail...=UTF-8 1、这里的password不是登录密码,是开启POP3之后设置的客户端授权码 2、 默认端口25,使用465端口时,需要添加配置,如果465不能发送成功,试试587端口: spring.mail.port...res = new FileSystemResource(file);     helper.addInline(rscId, res);     mailSender.send(message); } 如果需要发送多张图片...刚开始收到的邮件都是破图,查看源码发现src也没有没有图片地址,回去看了一波代码,好久之后终于发现破图的原因了:qq邮箱默认把的图片屏蔽掉了,然后在收件人下方、正文上方有一行黄色的警告,点击信任此邮箱...,的天,终于看见图片了。

49410
领券