spark历史服务器中没有spark SQL作业的sql选项卡
Spark历史服务器是Spark提供的一个Web界面，用于监控和管理Spark应用程序的执行情况。它提供了各种选项卡，用于查看Spark应用程序的不同方面。
在Spark历史服务器中，如果没有看到Spark SQL作业的SQL选项卡，可能是由于以下原因：
- Spark版本不支持：某些较早的Spark版本可能没有提供SQL选项卡。在这种情况下，您可以尝试升级到较新的Spark版本，以获得更完整的功能。
- 配置问题：可能是由于Spark配置文件中的某些设置导致SQL选项卡未显示。您可以检查Spark配置文件中与Spark SQL相关的配置项，确保它们被正确设置。
- 权限限制：如果您使用的是受限制的Spark历史服务器，可能是由于您的用户角色没有访问SQL选项卡的权限。您可以联系系统管理员或具有更高权限的用户，以获取有关权限设置的帮助。
无论出现上述哪种情况，您可以尝试以下解决方法：
- 升级Spark版本：如果您的Spark版本较旧，请考虑升级到最新版本，以获得更完整的功能和选项。
- 检查配置：仔细检查Spark配置文件中与Spark SQL相关的配置项，确保它们被正确设置。您可以参考Spark官方文档或相关文档来获取正确的配置设置。
- 联系管理员：如果您无法解决问题，请联系系统管理员或具有更高权限的用户，以获取帮助。他们可能需要检查您的权限设置或进行其他配置更改。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark计算引擎：https://cloud.tencent.com/product/spark
- 腾讯云云服务器CVM：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库CDB：https://cloud.tencent.com/product/cdb
- 腾讯云云原生容器服务TKE：https://cloud.tencent.com/product/tke
- 腾讯云人工智能AI：https://cloud.tencent.com/product/ai
- 腾讯云物联网IoT Hub：https://cloud.tencent.com/product/iothub
- 腾讯云移动开发：https://cloud.tencent.com/product/mobile
- 腾讯云对象存储COS：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙：https://cloud.tencent.com/product/metaverse
相关·内容
我正在运行一个spark作业，从oracle获取数据并将其加载到mongo DB。在运行作业时，如果我转到spark UI并打开SQL选项卡，它不会显示任何数据。但是，作业、执行器等其他选项卡显示作业详细信息。有人能建议一下为什么SQL选项卡没有显示任何内容吗？ 我使用的是spark 2.2.1和在chrome和safari中打
浏览 89提问于2019-06-08得票数 0
我使用的是Cloudera 5.8.3发行版，它是用spark 1.6.0构建的。我通过oozie提交了一个Spark作业(它是作为一个java操作提交的)
我可以看到作业成功完成，也可以在Spark历史服务器上找到它(该服务器也在为Spark 1.6.0运行)。我还可以看到所有的执行器/应用程序/作业/阶段/任务级别的详细
浏览 0提问于2017-02-07得票数 1
回答已采纳
1回答
在本地模式下运行spark作业时，我的Spark有一个sql选项卡。当在AWS EMR上运行相同的作业时，Spark的SQL作业不再存在？
在亚马逊的EMR版本
浏览 3提问于2016-03-03得票数 0
回答已采纳
1回答
有没有办法获得Hadoop集群中不同用户执行的Spark SQL查询的列表？例如，有没有Spark应用程序以字符串格式存储查询的日志文件？
浏览 8提问于2018-08-21得票数 0
回答已采纳
我在Windows中运行Spark独立作业。我想使用Spark历史服务器监控我的spark作业。我已经用下面的命令启动了spark历史服务器，历史服务器启动成功。C:\Users\Documents\Prev_D_Folder\Softwares\Softwares\spark-2.2.0-bin-hadoop2.7\s
浏览 2提问于2019-05-02得票数 1
较小的表的大小将根据参数的不同而不同，但较大的表的大小接近2TB。我注意到的是，如果我不将spark.sql.autoBroadcastJoinThreshold设置为10G，其中一些操作将执行SortMergeJoin而不是广播加入。但是小桌子的大小根本不应该这么大。我将较小的表写到s3文件夹中，它只占用12.6MB的空间。我在较小的表上做了一些操作，因此混洗大
浏览 3提问于2018-10-16得票数 0
3回答
这可能是一个非常简单的问题。但是，有没有什么简单的方法来测量spark作业(使用spark-submit提交)的执行时间呢？
它将帮助我们根据输入数据的大小来分析spark作业。编辑:我使用http://[driver]:4040来监视我的作业，但是这个Web在我的作业完成时立即关闭。
浏览 5提问于2016-04-30得票数 8
回答已采纳
我使用spark作业服务器，并使用spark sql从cassandra表中获取数据，如下所示 sq.setKeyspace("rptavlview");
DataFrame vadevent = sq.sql&qu
浏览 5提问于2017-03-27得票数 0
我有以下代码片段，可以使用Spark 1.5.1中相同的HiveContext运行10个sql。//initialize sparkcontext and hivecontextval sqlsArray("insert overwrite x select a join b on c","foo", "ba
浏览 0提问于2016-11-16得票数 1
我们正在尝试使用spark历史服务器来进一步改进我们的spark工作。spark作业正确地将事件日志写入HDFS，并且spark历史服务器也可以访问此事件日志:我们确实在spark历史服务器作业列表中看到了该作业，但除了环境变量和执行器之外，所有内容都是空的……关于如何让spark历史
浏览 2提问于2015-11-23得票数 0
如果我的理解是正确的，火花申请可能包含一个或多个工作。作业可以分为阶段，阶段可以划分为任务。我或多或少可以在星火用户界面中遵循这一点(或者至少我认为是这样)。但我对SQL选项卡的含义感到困惑。特别是：
SQL查询与作业和查询的关系是什么? SQL选项卡中的spark.sql() 还会看到dataframe操作还
浏览 3提问于2021-07-28得票数 1
4回答
火花提交输出结果
、、、
我是火花和scala编程的初学者，我试着在本地模式下运行spark submit示例，它运行完整，没有任何错误或其他消息，但我看不到任何输出结果在领事或星火历史网络用户界面.Where，我如何才能看到我的程序的结果在火花这是我运行的命令
spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp /spark-
浏览 0提问于2018-04-26得票数 1
回答已采纳
1回答
在服务器上以独立集群模式运行星火作业时，我遇到了一个错误。，其中x可以类似于：一些建议的解决方案：我的火花工作的目标是：
我的服务器规范：My配置：(伪代码)
spark.sql
浏览 6提问于2021-06-01得票数 0
我需要访问Spark History Server，这样我就可以调整一个缓慢的spark作业的性能。我正在寻找DSX中的链接，但找不到，所以我在Bluemix控制台中打开了spark服务，并直接从那里导航到spark历史服务器(Job history链接)。有没有办法直接从DSX访问spark历史服务器？
浏览 13提问于2017-03-07得票数 1
回答已采纳
看一下星星之火UI，我发现有一些作业的描述是“运行在ThreadPoolExecutor.java:1142”我想知道为什么有些火花工作会得到这样的描述？
浏览 3提问于2016-11-28得票数 24
回答已采纳
1回答
我使用Spark2.1.0。val path = "/usr/lib/spark/examples/src/main/resources/people.txt"peopleDF.show()
我在检查发生什么<em
浏览 3提问于2017-06-06得票数 2
回答已采纳
当我在Apache Spark上运行作业时，web UI给出了一个类似于以下内容的视图：虽然这对我作为开发人员来说非常有用，但我认为阶段描述中的行号对我的支持团队并不是很有用。为了让他们的工作更轻松，我希望能够为我工作的每个阶段以及工作本身提供一个定制的名称，如下所示：这是可以在Spark中完成的事情吗？如果是这样，我该怎么做呢？
浏览 0提问于2017-01-28得票数 25
回答已采纳
在火花作业运行时，我经常分析它的DAG。但是，当应用程序运行时必须坐着观看应用程序以查看DAG，这是很烦人的。所以，我试着使用这个叫做DAg的东西来查看spark history-server，我知道它可以帮助我查看过去的作业。我可以轻松地访问端口18080，并且可以看到历史服务器UI。但是，它并没有向我展示任何与火花程序的执行有关的信息。我知道我在运行历史<em
浏览 5提问于2017-05-17得票数 10
7回答
我需要测量Apache (Bluemix)上查询的执行时间。我试过的是：df = sqlContext.sql(query)endTimeQuery =相对于我看到桌子的时间来说，我得到的时间看起来太少了。
浏览 3提问于2016-01-06得票数 14
回答已采纳
我尝试了spark.eventlog.dir=false，然后火花历史服务器没有显示与此相关的任何信息。当spark.eventlog.dir设置为false时，作业历史服务器是否有类似于Spark的应用程序相关信息显示的类似方式？
浏览 2提问于2022-09-15得票数 -1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
