我是Spark的新手，我正在尝试弄清楚使用它进行数据科学的程序是什么。具体地说，我知道如何从现有数据中创建数据帧，然后执行一些分析。
现在我正在尝试理解如何在数据帧中已经存在的数据上运行ML算法。当我查看ML文档时，我发现dataframes是从Vectors (密集或稀疏)创建的，但我现有的Dataframe
浏览 0提问于2016-12-29得票数 0
2回答
我需要将多个列附加到现有的spark dataframe，其中的列名是在List中给定的，假设新列的值是常量，例如，给定的输入列和dataframe是 val columnsNames=List("col1","col2")
val data = Seq(("one", 1), ("two", 2), ("th
浏览 21提问于2019-04-09得票数 4
回答已采纳
我们有一个文件，我们想要分成3个，在导入到Hana Vora之前，我们需要对它进行一些数据清理-否则一切都必须以字符串的形式输入，这是不理想的。我们可以很好地在spark中导入和准备DataFrames，但是当我尝试写入HDFS文件系统或者更好地将其保存为"com.sap.spark.vora“数据源中的一个表时，我得到了错误。有人能建议一种可靠的方法将spark准备的<
浏览 0提问于2016-10-17得票数 0
1回答
目前我正在开发Spark版本2.1.0，作为我的数据摄取工作的一部分，我必须使用ingest方法将数据摄取到hive表中。但是Spark 2.1版本有一个bug，当插入数据到hive表中时，insertinto方法不会保持列顺序。我已经尝试在append模式下使用saveAsTable方法，但它不会起作用，因为在数据摄取之前，我首先使用正确的数据
浏览 15提问于2019-02-26得票数 0
我们正在使用spark来处理大型数据，并且最近获得了新的用例，我们需要使用spark更新Hive表中的数据。下面是一个简单的例子:数据驻留在Hive表中，应用程序使用PySpark读取数据帧(比如PySpark)。例句:数据帧在列下面。例如：加5 Add 30 32000
应用程序可以通过
浏览 1提问于2019-03-29得票数 2
我有这样的场景，我将接收由我的spark流程序处理的流数据，并且每个间隔的输出被附加到我现有的cassandra表中。目前，我的spark流程序将生成一个数据帧，我需要将其保存在我的cassandra表中。我目前面临的问题是，当我使用下面的命令时，我无法将<
浏览 0提问于2016-02-11得票数 5
我有很多列的现有数据帧。如何添加一个包含0...n-1值的列(其中n是我的数据帧中的行数。当我没有任何数据帧时，我可以这样做，比如：spark.range(...).toDF。
浏览 10提问于2021-02-15得票数 0
回答已采纳
1回答
我将spark数据帧的列移动到同一数据帧中的嵌套列的方法如下所示： .appName("SparkByExamples.com") .getOrCreate()
val data =
浏览 19提问于2021-02-05得票数 0
回答已采纳
我有一个dataframe：yearDF，它是通过读取Postgres上的关系型数据库管理系统表获得的，我需要在HDFS上的Hive表中摄取它。val yearDF = spark.read.format("jdbc").option("url", connectionUrl)
.option(该列用于标记主键是否在源表中删除该行。要向现有<em
浏览 9提问于2018-08-30得票数 0
我有两个数据帧：当我在外部连接中连接这两个数据帧之后，我得到了下面的数据帧。-+
为了避免在最终输出中出现重复<
浏览 0提问于2021-04-14得票数 0
我想知道spark中的数据帧缓存是否是线程安全的。在我们的一个用例中，我从一个hive-table创建一个dataframe，然后通过不同的线程在同一个dataframe上运行多个SQL。由于我们的存储和计算是解耦的，而且由于某些原因读取非常慢，我在考虑将数据帧缓存到内存中，并将缓存的
浏览 17提问于2020-03-10得票数 0
5回答
.option("password", "root") .mode("overwrite")在执行上面的命令后，我的数据被损坏，它被插入到数据库表中数据帧中的数据您能告诉我您的观察结果和解决方案吗？
浏览 3提问于2020-05-10得票数 0
在数据帧中添加列的最有效的方法是什么？var dataDF = sc.textFile("path
浏览 4提问于2015-04-07得票数 54
回答已采纳
我有一个100000行的spark数据帧。有没有一种方法可以遍历1000行，并使用toPandas()将它们转换为熊猫数据帧，然后将它们附加到新的数据帧中？没有可以将数据帧划分为分段部分的列。
浏览 78提问于2021-08-25得票数 1
回答已采纳
我有一个很大的嵌套NDJ (新行分隔的JSON)文件，我需要将其读取到单个spark dataframe中并保存到parquet中。上我还将其切换为val df = spark.read.json(path)，这样它只适用于NDJ，而不适用于多行JSON--相同的错误。我修改了jvm内存选项和spark execut
浏览 2提问于2016-12-10得票数 5
我想对从DBFS (Databricks FileSystem)读取的每个文件运行以下代码。我在文件夹中的所有文件上进行了测试，但我希望对文件夹中的每个文件逐个进行类似的计算：val df2=Seq(("total",a,b,c,d,我想从dbfs中读取它的方式也应该与我现在做的有所不同： .
浏览 172提问于2019-03-01得票数 3
回答已采纳
我有一个数据帧df，其中已经有多个数据列。我有一个向量，namevector，全是字符串。我需要用来自namevector的列名将空列添加到df。我正在尝试使用这个for循环添加列，迭代namevector中的每个字符串。for (i in length(namevector)) {}[<-.data.frame(*tmp*，，
浏览 173提问于2013-08-14得票数 52
回答已采纳
alias("count")) .limit(3)它在以下行失败：.orderBy(df("count").desc)，说明没有这样的列
浏览 2提问于2018-11-08得票数 0
1回答
在spark-scala中，我需要使用嵌套结构的json文件来创建数据帧我有一个具有复杂嵌套结构的json输入。每天都有可能一些键在任何记录上都不可用(键是可选的)，键的.some可能不会出现在day1上，可能会出现在day2中，但我希望得到一个通用的输出，其中所有列都期望inspite键缺失。我不能使用withcolumn函数并应用默认值，因为如果键出现在某一天，相应的</e
浏览 1提问于2019-10-01得票数 0
我将新行添加到现有的pandas数据帧中，如下所示：这就产生了主题DeprecationWarning。现有的df混合了string、float和dateime.date数据类型(总共8列)。我已经看过和了，但我仍然没有解决方案。请
浏览 28提问于2020-06-03得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
