pySpark writerStream未将输出显示到Jupyter实验室的控制台
pySpark是一个用于大规模数据处理的Python库，它提供了一种高级API来操作分布式数据集。writerStream是pySpark中用于将流数据写入外部系统的方法。在Jupyter实验室中，默认情况下，writerStream的输出不会直接显示在控制台上，但我们可以通过一些方法来实现。
要将writerStream的输出显示到Jupyter实验室的控制台，可以使用以下步骤：
- 导入必要的库和模块：
from pyspark.sql import SparkSession
from pyspark.streaming import StreamingContext- 创建SparkSession和StreamingContext对象：
spark = SparkSession.builder.appName("StreamingExample").getOrCreate()
ssc = StreamingContext(spark.sparkContext, 1)- 设置日志级别为WARN以减少输出信息：
spark.sparkContext.setLogLevel("WARN")- 定义一个输出函数，用于将流数据写入控制台：
def output_func(rdd):
rdd.foreach(lambda record: print(record))- 创建一个DStream对象，并将其输出到控制台：
lines = ssc.socketTextStream("localhost", 9999)
lines.foreachRDD(output_func)- 启动StreamingContext并等待终止：
ssc.start()
ssc.awaitTermination()通过以上步骤，我们可以将writerStream的输出显示到Jupyter实验室的控制台。
相关·内容
我正在尝试在屏幕上显示一些流数据(twitter源)。这样做是为了更好地跟踪Spark中正在发生的事情(在一定程度上进行调试)，但我没有得到任何输出。对于相同的查询，写入csv文件可以正常工作，但对于控制台，什么都不会输出。我正在使用Jupyter Lab。.select( "tweets.id", "tweets.text", "tweets.createdOnDate", "tweets.lang
浏览 33提问于2021-06-25得票数 0
1回答
docker run -itd -p 8888:8888 -p 4040:4040 --name glue_jupyter amazon/aws-glue-libs:glue_libs_2.0.0_image_01 /home/glue_user/jupyter/jupyter_start.sh我可以打开127.0.0.1:8888，它可以重定向到jupyter实验室，我该如何使用jupyter我是不是应
浏览 5提问于2022-12-03得票数 0
我在redhat 6上运行jupyter lab 4.4.0。我试图在后台启动这个实验室，这样应用程序的输出就不会再出现在我的控制台上了。$ jupyer lab & > /dev/null 2>&1 但控制台仍然显示jupyter应用程序的输出(例如，启动消息和任何保存日志)
浏览 44提问于2019-01-15得票数 2
回答已采纳
我试图安装和运行PySpark在木星笔记本上的AWS ElasticMapReduce (电子病历)。.
b) Contact your Jupyter administrator to make sure the Spark magics library is configured correctly其中172.31.3.115是我的主要内部/私有IP。\nb) Contact your Jupyter administrator to make sure the Spark magics l
浏览 8提问于2020-06-06得票数 1
2回答
我在自己创建的docker镜像上运行Jupyter notebook。它在AWS ELB (有自己的域名系统)后面的反向代理(oauth2_proxy)后面运行。除了Jupyter终端之外，现在一切都运行得很好。当我试图通过ELB和反向代理联系它时，它失败了。我在浏览器控制台上看到的消息是：
WebSocket connection to 'wss://mydomainnam
浏览 5提问于2016-03-31得票数 3
1回答
我想在我的jupyter笔记本中将python测试传递到SparkContext中，并在笔记本中显示输出。为了测试，我简单地执行我的jupyter笔记本，如下所示： sparkConf = SparkConf()print(rdd.sum()) 但是当我在notebook中执
浏览 26提问于2020-08-04得票数 2
要在AWS上安装木星实验室扩展，您需要遵循。然后创建相应的生命周期配置。#!sagemaker控制台中的错误消息。我做了几次尝试，试图在脚本文件和ipywidgets的安装文件中找到有关的bug。在这两种情况下我都找不到错误的痕迹。
我试图将我的实例升级到T2最大的实例，以防超时导致错误。注意，此安装是在T2中介实例(您可以获得的最
浏览 1提问于2019-06-30得票数 4
我是Jupyter笔记本的新手。学了一门金融课程，一开始就遇到了这个问题。test_run(): print(df)
这不会运行任何错误，但不会打印单元格下的任何内容我知道这一定是一件愚蠢的事情，我没有做，但我不能弄明白，任何帮助都非常感谢。
浏览 2提问于2020-05-27得票数 1
12回答
当我尝试运行此时将显示控制台，并显示以下消息________________________c.Application.log_level = 0到$USERHOME/.jupyter/ju
浏览 9提问于2016-09-23得票数 10
1回答
我试着遵循这本书中的说明：
scala> val file = sc.textFile("C:\\war_and_peace.txt")
scala> val warsCount = file.filter
浏览 2提问于2017-04-17得票数 5
回答已采纳
如果我只是保存为脚本并添加代码来测量执行时间，一切都会运行得很好： print(sum_nb())print(timeit(sum_nb))49999999500000000.4120563520118594 现在，我打开ipython控制台/jupyter lab并将第一个代码复制到计算单元。实验室也是如此。它是如何发生<em
浏览 38提问于2021-04-20得票数 0
回答已采纳
当我试图将“链接”包导入到我的jupyter笔记本或jupyter实验室时，我会得到以下错误：----> 4 import uproot我包括了全部的输出注意到--所有安装在pip install
浏览 4提问于2020-11-09得票数 2
回答已采纳
1回答
我安装了适当的分机。(所有方向都遵循： )fig = px.scatter_matrix(df, color="species")控制台或输出单元格中没有出现错误。细胞执行，仅此而已。我做了以下工作：
更新conda：conda
浏览 6提问于2020-01-29得票数 2
我试图在木星笔记本中创建一个Sankey图表，我的代码基于。我最终得到了这样的结果，我可以在没有任何错误的情况下运行它：import pandas as pd0;2;5.2;#262C46;Test 50;2;3.4;#262C46;Test 7
它似乎运行得很好，各种输出乍一看都很好，但是
浏览 1提问于2018-02-01得票数 33
回答已采纳
1回答
木星实验室安装后机身扩展失败
、、、、
之后，我被要求运行jupyter实验室构建，但失败了。我不知道问题出在哪里。
安装信息：--我在运行python3.8.5的pyenv中安装了一个。jupyter -版本jupyter核心: 4.7.1 jupyter -记事本: 6.4.0 qt控制台:未安装ipython : 7.25.0 ipython: 6.0.3 jupyter客户机:6.1.12 jupyter实验室: 3.0.12 jupyte
浏览 1提问于2021-07-22得票数 0
回答已采纳
当我跑的时候 jupyter notebook 在终端中，jupyter似乎可以正确启动，但在chrome中查看localhost:8888页面的任何尝试都会以超时结束。jupyter的输出为： [I 17:32:43.538 NotebookApp] [nb_conda_kernels] enabled, 3 kernels found
[I 17:32:43.799但是，当我导航到localhost:8888时，什么也没有显示，连接最终超时。然后，
浏览 190提问于2017-03-08得票数 12
回答已采纳
在JupyterLab和Jupyter Notebook中，都可以使用ctrl + Enter执行单元print('line 1')print('line 3')
但是你怎么能只运行line 2呢？或者甚至是在不运行整个单元格的情况下选择单元格内的行？当然，你可以只插入一个单元格，或者选择一行，但这很快就会变得非常麻烦和混乱。那么有没有更好的方法来做到这一点呢？
浏览 1878提问于2019-06-05得票数 32
回答已采纳
1回答
不完整的连接执行
、、、
在这段代码中有一些问题，它没有得到执行。但是当我取消评论最后一个块时，它只是打印“完整”而没有打印"holas“，有什么想法吗？import java.util.List;
* @param args public static boolean interruptTask=false;
public void run(){
浏览 0提问于2014-09-05得票数 2
回答已采纳
6回答
木星(IPython)中有像间谍一样的可变探索者吗？每次我在测试代码中运行时，每次都要打印变量列表，这是非常不舒服的。
这个特性已经实现了吗？如果是，如何启用？
浏览 9提问于2016-06-09得票数 102
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
