下面是我的数据帧的样子：/SC/ABC/123/abc 123 david... more rows to follow
我想做的是:拆分CLASS_NAME列并连接它的前两个字符串部分，形成一
浏览 23提问于2021-05-24得票数 1
回答已采纳
1回答
我想将我在本地安装的zeppelin 0.10.0连接到一个也在本地安装的spark 3.2.0 (我尝试了使用spark2.3.0的相同过程，它成功了)。但它看起来像齐柏林飞艇本身有一个内部火花，它使用内部的一个，每次我尝试。我已经经历了火花口译员的设置，没有任何用处。我只想知道是否存在，我可以改变齐柏林飞艇使用</e
浏览 5提问于2021-11-28得票数 2
我正在用齐柏林飞艇和crontab一起运行一些spark作业。jdk8，spark1.6.2，scala2.10，但在过去的几天里，我发现齐柏林飞艇的spark解释器几乎每天都会关闭一次或更多。这是一个很长很长的日志，似乎是一个循环，我像这样调整了环境export MASTER=spark://na
浏览 3提问于2016-08-03得票数 1
我正在读取spark dataframe中的文件。在第一列中，我将获得两个用"_“连接的值。我需要将第一列拆分为两列，并保持其余列不变。我正在使用Scala和Spark 例如： col1 col2 col3
b_1 lmn opq 我需要有新的DF作为： col1_
浏览 32提问于2019-05-01得票数 0
我试着只运行一个简单的理智检查，看看sc是否存在，并得到下面的错误。
我编译了它的火花和火花1.5 (我使用火花1.5)。我将内存增加到5GB，并将端口更改为8091。:74) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:68) at org.apache.zeppelin.spark.PySparkInterpreter.ge
浏览 1提问于2016-01-15得票数 6
我正在尝试使用(0.7.2，在Mac上本地运行的.NET安装)来探索从s3桶加载的数据。[String] = [value: string]看来杰克逊的一个图书馆出了问题。也许我用错了上面的东西来解释齐柏林飞艇？更新:按照下面建议中
浏览 2提问于2017-08-20得票数 4
回答已采纳
我试图设置一个Dockerised版本的星火和齐柏林飞艇，但我似乎不明白如何将齐柏林飞艇版本切换到3.x版本的星火。 image: apache/zeppelin:0.9.0 #depends_on:
# - spark</e
浏览 1提问于2021-06-28得票数 2
回答已采纳
我安装了一个带有Spark2.0和Zeppelin0.6.1的集群。由于TwitterUtils.scala类从星火项目转移到Apache，我再也不能在我的齐柏林飞艇笔记本中使用TwitterUtils了。在这里，我笔记本上的片段：%depz.load("org.apache.bahir:spark-streaming-twitter_2.11:2.0.0")
浏览 7提问于2016-09-12得票数 2
回答已采纳
我按照的第一部分创建了一个外部配置单元表，并将其指向特定的S3 Bucket。在Hue界面中，我可以在成功创建后浏览数据示例。如果我切换到齐柏林飞艇并运行以下命令：%sql show tables，我可以看到我的表列在default数据库旁边。这个错误是有道理的，但是Hive会让你指定一个S3存储桶，而不是一个实际的S3文件，所以我不知道如何让两者都满意！
请注意，此目录中只有<e
浏览 1提问于2017-06-03得票数 0
如果段落从%jdbc整数返回数据，那么以下使用其他解释器的段落是否可以使用这些数据？下面的段落可以运行%sql，其方式与%spark解释器可以创建时态表的方式相同。
浏览 1提问于2016-07-18得票数 9
1回答
我正在尝试将哈希函数应用于PySpark DataFrame (在EMR集群上运行)的列中的短字符串，并获得一个数字值作为新列。例如，CRC3会做这项工作。我知道this question，但它是Scala的，我需要一个python版本。(顺便说一句，我知道pyspark.sql.functions中的sha1和sha2，但我需要一个更快
浏览 15提问于2019-10-16得票数 3
我有一个数据帧"x"，其中有两列"x1“和"x2”kv,true 45mp,true 75bm,null 550我想将此数据帧转换为根据其状态和值过滤数据的格式kv 45 450bm 65 550有没有办法做到这一点，我正在使用p
浏览 0提问于2016-11-18得票数 1
我试图将Spark中的一个视图写到一个CSV文件中，但是它失败了，因为视图中有几个类型为WrappedArray的列。在Zeppelin 2.7上编写文件(修改以避免显示数据的本质)的代码是
spark.table("my_view").repartition(1).write.mode("overwrite").optio
浏览 2提问于2018-03-24得票数 0
我对编程完全是个新手--我知道基础知识，所以我在这个项目上绞尽脑汁。 最后，我尝试将我的Hadoop集群链接到Tableau，我的大部分项目将集中在Tableau上。我正在关注this guy。但是，他没有确切地解释如何将CSV文件链接到集群。经过一些研究后，我发现我需要通过集群导入数据。我已经设法通过CloudXplorer导入了CSV文件。现在我只需要创建表。我没有通过Ambari (创建一个表，错误是获取数据库的错误，它从来没有
浏览 19提问于2019-03-10得票数 0
我是Apache Spark (和Scala)的新手，我想在读取csv文件后立即应用一个简单的sql请求，并将其加载到DF上，而不需要创建额外的数据帧或临时视图或表。这是初始请求： SELECT DISTINCT city from citiesAND year IN ("2017", "2018") 这是我在Sc
浏览 15提问于2018-12-25得票数 0
当我尝试执行示例spark程序(在Zeppelin Tutorial notebook中提供)时，我得到了以下错误 at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) at org.apache.z
浏览 2提问于2017-04-08得票数 17
我是Scala的新手。
我的要求是，我需要逐行读取，在特定的分隔符上拆分它，并提取值以放入不同文件的相应列中。我需要读取'ABC log‘标题下的第一部分，并从每一行提取值，并将其放在相应的值下。几个第一值列名是硬编码的，最后一列我需要通过拆分"=“来提取，即eventId=34 externalId=23
浏览 0提问于2017-09-21得票数 3
我需要在spark中根据给定比率使用scala拆分一个数据帧。这应该通过一个名为ts的特定列在dataframe的排序版本上完成。第一个比率用于训练，最后一个部分将用于验证。
浏览 1提问于2017-05-02得票数 0
3回答
我有一个特定的问题，需要使用Scala/SPARK来解决。我在Dataframe中有一列，如下所示Tag2 Tag1 Tag3 Tag2 现在，我想在dataframe中包含一个新列，如下所示，格式如下所示。/Spark中完成吗？我是Scala</em
浏览 0提问于2017-11-04得票数 0
回答已采纳
5回答
我是斯帕克和斯卡拉的新手，我想问你一个问题：ABDCJ - 123456) 字段的大小不是固定的，这里的id可以是6位或10位的整数。因此，我想要做的是在<
浏览 1提问于2018-12-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
