在使用apache spark时，我们可以很容易地生成一个json文件来描述Dataframe结构。此数据帧结构如下所示： "type": "struct", { "type": "string"business_key": false,
&
浏览 1提问于2020-05-14得票数 0
我正在尝试在一个数据帧中合并多个json文件数据，然后再对该数据帧执行任何操作。假设我有两个文件file1.txt，file2.txt，它包含如下数据{"a":1 , "b":"abc", "c":"abc2", "d":"abc3"}{"a":1 , "b&
浏览 6提问于2017-03-02得票数 0
回答已采纳
我之前问了一个关于如何的问题，在阅读了提供的答案和之后，我取得了一些进展。我最终使用了以下代码将scipy.sparse.csc_matrix转换为pandas数据帧：df.columns = headerspar
浏览 1提问于2016-11-04得票数 8
1回答
从包含两列的数据帧创建数组
、、、、
我有带模式的数据帧 |-- _id: long (nullable = true)
|-- data: array (nullable = true)我尝试使用explode，但没有得到结果，我还尝试从第一个两列构造一个数组，但似乎很困难。
浏览 1提问于2018-03-22得票数 0
2回答
我正在尝试将数据帧的一列解析为两个不同的列(目的是稍后将这些列添加到数据帧中)。我尝试了两种方法。两者都会导致问题。谁能告诉我如何使用其中一种方法来实现这一点，或者提示我使用不同的方法？将Dataset<Row>映射到Dataset<Tuple2<String, String>>
Dataset<Tuple2<String, String>> dfParsed = df.map(new但是在
浏览 5提问于2017-02-15得票数 0
回答已采纳
假设我有一个10 c1的数据帧，其中一个列的"c1“对于每条记录都有相同的值。每个单独的分区最大为128 MB(默认值)。假设我调用repartition($"c1")，那么所有的记录会被混洗到同一个分区吗？如果是这样，它不会超过每个分区的最大大小吗？在这种情况下，重新分区是如何工作的？
浏览 34提问于2021-09-23得票数 2
回答已采纳
使用snowflake spark连接器从snowflake复制表时，默认行为是将结构化数据映射到spark字符串：https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#from-snowflake-to-spark-sql 例如，给定snowflake中的一个表： create table schema.table
浏览 26提问于2019-05-30得票数 1
我正在尝试为一个模型创建一个生产数据管道。作为此管道的一部分，我以.rds文件的形式保存了一个在R环境中运行的模型。下面是一个例子-saveRDS(coeff, "~/Desktop/c
浏览 11提问于2018-07-31得票数 2
考虑将jdbc数据帧映射到rdbms表，如下所示df.count
不建议使用此计数操作，因为它会将数据</e
浏览 1提问于2020-04-02得票数 0
我将一个数据帧传递给一个函数。有时是Pandas数据帧，有时是Spark数据帧。我的函数需要采取相应的行动。有没有简单的方法，比如df.isPandas()，来确定一个数据帧(作为“df”接收)是Pandas数据帧还是Spark数据帧？提前谢谢。
浏览 17提问于2019-05-14得票数 1
回答已采纳
我正在解决一个问题，在这个问题中，我正在将数据从一个hive表加载到spark dataframe中，现在我希望所有唯一的帐户都在一个数据帧中，所有重复的帐户都在另一个数据帧中。例如，如果我有帐户id 1,1,2,3,4，我想在一个数据帧中获取2,3,4，在另一个数据帧中获取1,1。我该怎么做
浏览 2提问于2016-10-14得票数 9
回答已采纳
我正在尝试从安然电子邮件中读取数据，然后对其进行分析。目前，所有的文件都是压缩的，然后是.pst格式。
有没有办法将.pst数据直接读入spark？我目前正在使用libPST扩展Java中的PST，映射到JSON，然后将json加载到数据帧中。
浏览 5提问于2016-10-09得票数 2
您将需要执行相当多的计算，从源数据帧，一个Spark表，不是吗？或者，dataframe和table都是指向相同数据的指针(即，在创建表时，不是在创建重复数据)？我猜我想要弄清楚的是，你是否可以从一个Spark数据帧到一个表‘开关开关’，或者这样做的计算量是否(非常)昂贵(毕竟这是大数据...)
浏览 26提问于2021-04-26得票数 0
我在pyspark里有两个数据帧。我正在尝试将一个数据帧与另一个数据帧进行比较，以查看值是否在范围内。
Dataframe dfcompare：我正在寻找的输出：我目前拥有的代码如下： compare= df.compare.f
浏览 0提问于2021-03-28得票数 1
如何将RDD (org.apache.spark.rdd.RDD[org.apache.spark.sql.Row])转换为数据帧org.apache.spark.sql.DataFrame。我使用.rdd将数据帧转换为rdd。在处理之后，我想把它放回数据帧中。我该怎么做呢？
浏览 56提问于2015-04-01得票数 150
回答已采纳
我想使用以下代码将spark数据帧转换为要添加的内容：spark_df = sqlContext.createDataFrame(pandas_df)model = KMeans.train= sqlContext.createDataFrame(pan
浏览 1提问于2016-09-16得票数 44
回答已采纳
1回答
我必须用python开发一个Spark脚本来检查一些日志，并验证用户是否在两个事件之间更改了他的IP的国家。我在HDFS上保存了一个包含IP范围和相关国家/地区的csv文件，如下所示：0.0.0.0, 10.0.0.0, Italy20.0.0.1, 30.0.0.0, GermanyuserId, timestamp, ip, event
1, 02-01-17 20:45:18
浏览 11提问于2017-01-11得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
