我正在使用AWS胶水在我的数据集上执行Kmeans集群。我不仅希望找到集群标签，还希望找到集群中心。我找不到晚一点的。
在下面的代码中，model.clusterCenters返回NULL。clusterInstance集群工作得很好，它返回集群标签，即KMeans变量。
import java.time.LocalDate
import java.time.format.DateTimeFormatter
import com.amazonaws.services.glue.util.JsonOptions
import com.amazonaws.services.glue.{Dynam
浏览 0提问于2018-09-25得票数 0
我运行的spark集群有2个Worker，每个都有60 am。
我已经为JdbcRDD编写了以下代码。
String sql = "SELECT * FROM( SELECT ROW_NUMBER() OVER(ORDER BY (SELECT 1)) AS Row,"+
" * FROM [Table_1]) A WHERE Row >= ? AND Row <= ? ";
SparkContext sctx = new SparkContext(getSparkConf());
try {
浏览 0提问于2014-12-18得票数 1
嘿，我是一个全新的火花，最近建立了一个星星之火独立集群，很少有笔记本电脑。
我的本地ftp服务器上有一个名为new.txt的文件，名为"PySpark可以从Hadoop支持的任何存储源创建分布式数据集，包括本地文件系统、HDFS、Cassandra、HBase、S3等“()。
在独立集群模式下，我通过以下操作打开了吡火花交互式shell：
$ MASTER=spark://IP:PORT ./bin/pyspark
然后执行指南中的示例命令。
>>> ff= sc.textFile("ftp://192.168.125.124/new.txt")
&
浏览 4提问于2016-05-16得票数 2
回答已采纳
Hi正在搜索web和amazon文档，以了解如何在aws上现有的emr纱线集群上运行spark作业。
我被困在下面。我已经设置了一个本地* spark集群进行测试；现在我想在aws emr上测试它。
因此，到目前为止，我已经在aws上创建了一个emr集群，无法找到运行以下代码的文档。这在以下情况下在本地工作：
"spark.master.url" is set as local[*]
班级代码：
public class SparkLocalImpl implements DataMapReduce{
private static SparkConf conf;
privat
浏览 0提问于2019-02-10得票数 1
回答已采纳
我最近在学习spark，对转换和动作操作感到困惑。我阅读了spark文档和一些关于spark的书籍，我知道action会导致spark作业在集群中执行，而转换不会。但是spark的api文档中列出的rdd操作并没有说明它是转换操作还是动作操作。
为什么这会是。
浏览 2提问于2015-12-19得票数 5
2回答
我使用spark EC2脚本设置了spark集群。我设置了集群，现在正在尝试将一个文件放到HDFS上，这样我就可以让我的集群工作了。
在我的主机上，我有一个data.txt文件。我通过ephemeral-hdfs/bin/hadoop fs -put data.txt /data.txt将其添加到hdfs中。
现在，在我的代码中，我有：
JavaRDD<String> rdd = sc.textFile("hdfs://data.txt",8);
执行此操作时出现异常：
Exception in thread "main" java.net.Unkn
浏览 1提问于2015-06-08得票数 0
1回答
我们有一个Spark-1.1.0独立的2节点集群，在该集群上已经使用Spark创建了一个Spark。RDD已被持久化(MEMORY_ONLY)。我无法使用sc.getPersistentRDDs()从另一个shell检索这个RDD。我有遗漏什么吗？
浏览 2提问于2014-10-29得票数 1
回答已采纳
1回答
我在Apache上使用，它有4个节点，总共210 GB。
我的星火作业是在一个小的事务数据集和一个大型事件数据集之间进行关联。我想根据时间和ID (事件时间和事务时间、ID和ID)将每个事务与最近的事件匹配。
我得到以下错误：
FetchFailed(null, shuffleId=1, mapId=-1, reduceId=20,
message=org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 1
at org.apache.spark.Ma
浏览 2提问于2016-03-10得票数 2
1回答
提交到由minicube创建的kubernetes集群中的火花作业之后的输出：
----------------- RUNNING ----------------------
[Stage 0:> (0 + 0) / 2]17/06/16 16:08:15 INFO VerifiableProperties: Verifying properties
17/06/16 16:08:15 INFO VerifiableProperties: Property group.id
浏览 0提问于2017-06-16得票数 1
我试图使用InfoGain第三方()软件包的MRMR功能.但是我的集群是2.0，我得到了这个异常。即使我添加了所有必需的Jar文件来激发类路径。但它仍然不起作用。虽然它在本地机器上正常工作，但不在集群上工作。
例外：
18/03/29 01:16:43 WARN TaskSetManager: Lost task 3.0 in stage 14.0 (TID 47, EUREDWORKER3): java.lang.NoSuchMethodError: breeze.linalg.DenseMatrix$.canMapValues(Lscala/reflect/ClassTag;)Lbreez
浏览 0提问于2018-03-28得票数 0
回答已采纳
我有BigQuery表，Dataproc集群(使用Datalab)，我遵循以下指南：
bucket = spark._jsc.hadoopConfiguration().get("fs.gs.system.bucket")
project = spark._jsc.hadoopConfiguration().get("fs.gs.project.id")
# Set an input directory for reading data from Bigquery.
todays_date = datetime.strftime(datetime.today(
浏览 0提问于2018-03-23得票数 2
当我在一个80节点的集群上运行Azure HDInsight 3.6时，我在Spark 2.3中遇到了这个异常： java.lang.UnsupportedOperationException: Can not build a HashedRelation that is larger than 8G
at org.apache.spark.sql.execution.joins.LongToUnsafeRowMap.grow(HashedRelation.scala:623)
at org.apache.spark.sql.execution.joins.LongToUnsafeRowMa
浏览 44提问于2020-07-02得票数 0
回答已采纳
1回答
集群配置：
CDH-6.2.1Spark：Hadoop： 2.4.0Hbase: 2.0
我所做的:通过星火读取HBase数据
当我使用IntelliJ和local模式时，一切正常，但是当我将模式更改为spark-submit --master yarn时，会发生以下堆栈跟踪：
20/05/20 11:00:46 ERROR mapreduce.TableInputFormat: java.io.IOException: java.lang.reflect.InvocationTargetException
at org.apache.hadoop.hbase.client.Conne
浏览 1提问于2020-05-20得票数 3
回答已采纳
我使用SparkSQL处理数据，并且我想将我的数据写入一个子文件。
...
step12.show()
step12.repartition(10).coalesce(1).write.json('wasb://liu@cliubo.blob.core.windows.net/test_data_4')
step12是我的数据帧，但是我收到一个错误，告诉我java.lang.OutOfMemoryError: Unable to acquire 65536 bytes of memory, got 0它没有意义，因为我可以显示这个数据帧。我使用Microsoft Azure中的
浏览 0提问于2017-04-17得票数 0
我正在创建一个简单的ETL，它读取十亿个文件并对它们进行重新分区(换句话说，压缩到较小的数量以便进一步处理)。
简单的AWS Glue应用程序：
import org.apache.spark.SparkContext
object Hello {
def main(sysArgs: Array[String]) {
val spark: SparkContext = new SparkContext()
val input_path = "s3a://my-bucket-name/input/*"
val output_path = "
浏览 0提问于2020-12-22得票数 1
1回答
我在EMR集群中的所有Spark节点上都有一个本地文件，具有以下权限：
-rw-rw---- 1 test_user test_group 30 Jun 21 14:20 /tmp/foo_test
我以ec2-user身份运行集群，使用yarn调度器。为了让Spark/Yarn能够访问该文件，我在所有节点上添加了test_group作为yarn用户的辅助组。
$ sudo -u yarn groups
yarn hadoop test_group
在spark-shell中，读取文件时出现以下错误：
scala> val rdd = sc.textFile("file://
浏览 2提问于2016-06-21得票数 0
原始标题:除了HDFS之外，还有哪些DFS可以激发支持(并且是重新组合的)？
我很高兴地使用了spark和elasticsearch (与elasticsearch-hadoop驱动程序)和几个巨大的集群。
有时，我希望将整个数据集群提取出来，处理每个文档，并将它们放到不同的Elasticsearch (ES)集群中(是的，数据迁移也是这样)。
目前，无法将ES数据从集群中读取到RDD中，并使用spark + elasticsearch-hadoop将RDD写入另一个RDD中，因为这将涉及从RDD中交换SparkContext。因此，我想将RDD写入对象文件，然后再将它们读入具有不同Spark
浏览 9提问于2015-03-12得票数 6
回答已采纳
1回答
我正在尝试在一个Google DataProc集群上安装Spark (2.0.0)的ml模型。当拟合模型时，我会收到执行者心跳超时错误。我怎么解决这个问题？
其他解决方案表明，这可能是由于(其中一个)执行器内存不足所致。我作为解决方案阅读:设置正确的设置、重新分区、缓存和获得一个更大的集群。我能做什么，最好不设置一个更大的集群？(创建更多/更少的分区？缓存更少？调整设置？)
我的背景：
在Google DataProc集群上火花2.0.0 :1主处理器和2名工作人员都具有相同的规格: n1-highmem-8 -> 8 vCPU，52.0GB内存-500 GB磁盘
设置：
spark\:
浏览 3提问于2016-09-03得票数 0
2回答
我正在集群上运行一个spark simple程序：
val logFile = "/home/hduser/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile).cache()
val numAs = logData.filter(line => line.con
浏览 0提问于2015-10-28得票数 0
1回答
所以我创建了一个调用Python脚本并执行PySpark转换的作业。然而，当我从AWS Cloudwatch查看Output时，输出中有许多对我来说并不重要的信息。例如： at org.apache.spark.rdd.NewHadoopRDD$$anon$1.liftedTree1$1(NewHadoopRDD.scala:199)
at org.apache.spark.rdd.NewHadoopRDD$$anon$1.<init>(NewHadoopRDD.scala:196)
at org.apache.spark.rdd.NewHadoopRDD.compute(New
浏览 22提问于2020-09-23得票数 0
回答已采纳
1回答
火花RDD循环容错
、、、、
RDD通过谱系图提供容错功能，这就是星火成为容错的方式
那么，在使用spark数据帧时，spark是否会在后台创建RDDs以实现容错呢？
一般来说，如果我在星火集群上执行任何活动/转换，那么spark是否使用RDD？
浏览 3提问于2022-11-17得票数 0
我正在使用Apache Spark批量写入数据。批次为1天。在运行spark作业时，我得到了这个错误。我正在使用MySQL java连接器连接到TiDB集群。Spark为写入创建了144个并行任务。
java.sql.SQLException: GC life time is shorter than transaction duration
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
at com.mysql.jdbc.SQLError.createSQLException(SQLErro
浏览 7提问于2018-11-13得票数 0
我有一个叫做“边缘”的大数据
org.apache.spark.rdd.RDD[org.apache.spark.graphx.Edge[(String, Int)]] = MappedRDD[27] at map at <console>:52
当我在独立模式下工作时，我能够收集、计数和保存这个文件。现在，在一个集群中，我得到了这个错误
edges.count
...
Serialized task 28:0 was 12519797 bytes which exceeds spark.akka.frameSize
(10485760 bytes). Consider usi
浏览 4提问于2014-11-30得票数 5
回答已采纳
我有一个Hadoop集群，它使用Apache来查询保存在Hadoop上的parquet文件。例如，当我使用下面的PySpark代码在拼花文件中找到一个词时：
df = spark.read.parquet("hdfs://test/parquets/*")
df.filter(df['word'] == "jhon").show()
在运行这段代码之后，我将转到stages应用程序UI，stages选项卡。与此形成对比的是，由于该查询的性质，它必须在本地运行，至少在Any.本地级上运行。当我在运行时检查集群的网络IO时，我发现这个查询使用网络(当
浏览 8提问于2021-03-13得票数 1
回答已采纳
2回答
我有一个DSE集群，集群中的每个节点都在运行spark和Cassandra。
当我从Cassandra加载数据到spark rdd并在Rdd上执行一些操作时，我知道数据将分布到多个节点中。在我的例子中，我想把这些rdds从每个节点直接写到它的本地Cassandra dB表中，有没有办法做到这一点。
如果我执行普通的rdd收集，来自spark节点的所有数据将被合并，并返回到带有驱动程序的节点。我不希望发生这种情况，因为从节点返回到驱动程序节点的数据可能需要很长时间，我希望数据直接保存到本地节点，以避免数据跨spark节点移动。
浏览 3提问于2020-10-20得票数 1
当我在本地运行spark (非hdfs)时，RDD saveAsObjectFile将文件写入本地文件系统(ex : path /data/tem.txt)
当我在纱线集群上运行星星之火时，RDD saveAsObjectFile会将文件写入hdfs。(例:路径/数据/tem.txt)
在纱线集群上运行spark时，是否有一种方法可以明确地提到本地文件系统而不是hdfs。
浏览 2提问于2014-11-26得票数 1
我正在试用SparkR和RStudio，但它似乎不起作用。我已经尝试了其他问题的解决方案，但我仍然不知道为什么它没有运行。
我正在运行的代码如下
if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
Sys.setenv(SPARK_HOME = "c://spark")
}
library(SparkR)
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
sc<
浏览 9提问于2017-01-26得票数 0
回答已采纳
我正在测试星火流API。该应用程序部署在一个使用Spark1.4.0的Amazon集群上，我正在S3中对数据进行排序并保存文件。
管道的代码(排序算法除外)详细说明如下：
public KinesisPreProcessPipeline(JavaStreamingContext jssc, final KinesisPreProcessModuleConfiguration moduleConfiguration) {
JavaReceiverInputDStream<byte[]> inputDStream = KinesisUtils.createStream(jssc
浏览 2提问于2015-07-17得票数 1
回答已采纳
1回答
我正在尝试使用命令从azure HDInsight集群的头节点运行scala应用程序。
星星之火-提交类wasbs://containername@<storageaccountname>/sample.sas7bdat wasbs://containername@<storageaccountname>/sample.csv com.test.spark.Wordcount SparkJob1.jar
我不例外。
由: scala.collection.immutable.List$SerializationProxy :无法将org.apache.spar
浏览 1提问于2017-03-27得票数 0
我正在处理一个初始大小为569 MB的数据集，计算TF-IDF度量。尽管我最终得到了结果，但我仍然得到以下错误： WARN scheduler.TaskSetManager: Lost task 13.0 in stage 11.0 (TID 84, X.X.X.X, executor 0): FetchFailed(null, shuffleId=4, mapId=-1, reduceId=4, message=
org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shu
浏览 33提问于2021-10-31得票数 1
在星星体集群上执行python应用程序时，我会遇到以下异常：
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/04/07 10:57:01 WARN NativeCodeLoader: Unable
浏览 4提问于2017-04-07得票数 1
回答已采纳
1回答
我有使用LinearRegression的机器学习模型。我有5 vm的星系团。在对模型进行培训之后，我想保存模型，以便以后只需将其加载到内存中即可使用。
我试过用
model.save("/tmp/model.pkl").
这样保存时，它在集群的所有节点中创建名为model.pkl的目录，该目录的文件为data/, metadata/, _SUCCESS, ._SUCCESS.crc, _temporary, .. and some more。
有没有一种方法可以将模型保存为像model.pkl这样的单个文件？
此外，当我使用新的可用数据对模型进行重新培训时，我使用model.
浏览 4提问于2017-10-03得票数 2
嗨，我正在使用从hive中获取数据。此代码在hadoop单节点集群中工作。但是，当我试图在hadoop多节点集群中使用它时，它会将错误抛出
org.apache.spark.SparkException: Detected yarn-cluster mode, but isn't running on a cluster. Deployment to YARN is not supported directly by SparkContext. Please use spark-submit.
注:我已使用主机作为本地单节点，纱线集群用于多节点.
这是我的java代码
SparkCo
浏览 0提问于2015-08-04得票数 1
回答已采纳
我在Google Cloud Dataproc上使用Spark streaming来执行一个框架(用Python编写)，它由几个连续的管道组成，每个管道代表Dataproc上的一个作业，它基本上是从Kafka队列读取并将转换后的输出写入Bigtable。所有管道组合在一起，每天通过2个群集处理数of的数据，一个具有3个工作节点，一个具有4个工作节点。
在Dataproc上运行这个Spark streaming框架在5月初(准确地说是5月3日)之前一直相当稳定:我们开始遇到频繁的套接字超时异常，这会终止我们的管道。它似乎与集群上的负载无关，因为它并没有显著增加。它在一天中也是随机发生的，我检查了
浏览 0提问于2016-05-24得票数 3
2回答
也许我遗漏了一些东西，但我希望数据会根据键进行排序。
scala> val x=sc.parallelize(Array( "cat", "ant", "1"))
x: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[160] at parallelize at <console>:22
scala> val xxx=x.map(v=> (v,v.length))
xxx: org.apache.spark.rdd.RDD[(String, Int)
浏览 2提问于2016-01-03得票数 3
回答已采纳
我在S3上有1.2GB的orc数据，并且我试图用相同的方法执行以下操作：
1)缓存snappy集群snappydata 0.9上的数据
2)在缓存的数据集上执行groupby查询
3)与Spark2.0.0的性能比较。
我使用的是64 GB/8核心计算机，Snappy集群的配置如下所示：
$ cat locators
localhost
$cat leads
localhost -heap-size=4096m -spark.executor.cores=1
$cat servers
localhost -heap-size=6144m
localhost -heap-size=6144m
浏览 3提问于2017-10-04得票数 1
回答已采纳
我正在运行一个星火作业，如果我对示例数据执行我的计算(请考虑大约1000行)，那么一切都可以工作。但是，当我试图在更大的数据集上执行相同的计算时，我得到
19/07/20 14:21:53 WARN TaskSetManager: Lost task 198.0 in stage 150.0 (TID 21928, 10.46.225.176, executor 17): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
File "/databricks/spark/py
浏览 0提问于2019-07-20得票数 2
回答已采纳
当我使用1GB数据集运行解析代码时，它就完成了，没有任何错误。但是，当我一次尝试25 gb的数据时，我会得到以下错误。我正在努力理解如何避免失败。很高兴听到任何建议或想法。
不同的错误，
org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0
org.apache.spark.shuffle.FetchFailedException: Failed to connect to ip-xxxxxxxx
org.apache.spark.shuffle.Fet
浏览 9提问于2016-01-22得票数 51
回答已采纳
我正在尝试在Apache Spark中运行一些示例以了解更多信息，但是当我尝试这样做(在spark-shell中)时，我收到了错误：
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addDeprecations([Lorg/apache/hadoop/conf/Configuration$DeprecationDelta;)V
这里有完整的执行和错误跟踪。我希望你能帮我。
pcitbu@pcitbumint /usr/spark/spark-2.0.1-bin-hadoop2.7 $ spark-shell
浏览 1提问于2016-10-25得票数 0
1回答
由于无法序列化对象，火花作业失败
、、、、
我正在运行一个spark作业来为我的HBase数据存储生成HBase。
它过去在我的Cloudera集群中正常工作，但是当我们切换到EMR集群时，它在下面的堆栈跟踪中失败了：
Serialization stack:
- object not serializable (class: org.apache.hadoop.hbase.io.ImmutableBytesWritable, value: 50 31 36 31 32 37 30 33 34 5f 49 36 35 38 34 31 35 38 35); not retrying
Serialization stack:
浏览 3提问于2017-06-21得票数 1
回答已采纳
我正在运行一个小型集群，其中有一个单独的主节点和一个从节点(带有8个VCores)。我通过/sbin/start-all.sh启动集群，然后使用/bin/pyspark --master spark://<master ip>:7077向集群中添加火花放电。
现在，在webui中，一切看起来都很好，我让我的工作人员注册了主程序，我有8个可用的内核。此外，火花放电壳也得到了所有8个核心。
我有一个小的RDD，由14行组成，每一行包含一个指向压缩文本文件的字符串。
def open_gzip(filepath):
with gzip.open(filepath, 'r
浏览 3提问于2017-04-27得票数 1
回答已采纳
1回答
星火拼花数据帧分区数目
、、、
我有一个HDFS文件夹与两个250 an的地板文件。hadoop块大小设置为128 to。具有以下代码：
JavaSparkContext sparkContext = new JavaSparkContext();
SQLContext sqlContext = new SQLContext(sparkContext);
DataFrame dataFrame = sqlContext.read().parquet("hdfs:////user/test/parquet-folder");
LOGGER.info("Nr. of rd
浏览 3提问于2017-06-28得票数 4
我有一个使用cythonized使用的Python库。在我的所有星火集群节点上，我已经安装了whl文件如下。
pip install myapi-0.0.1-cp38-cp38-linux_x86_64.whl
当我按照下面的方式向Spark独立提交一个作业时，代码运行良好。
spark-submit \
--master spark://172.18.0.32:7077 \
test.py
当我以客户端部署模式通过纱线提交作业时，代码也运行良好。
spark-submit \
--master yarn \
--deploy-mode client \
浏览 4提问于2021-09-27得票数 0
我们有一个启用检查点的星火流作业，它第一次正确执行，但是当从检查点重新启动时抛出异常以下。
org.apache.spark.SparkException: RDD转换和操作只能由驱动程序调用，而不能在其他转换中调用；例如，rdd1.map(x => rdd2.values.count() * x)无效，因为值转换和计数操作不能在rdd1.map转换中执行。有关更多信息，请参见火花-5063。在org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$sc(RDD.scala:87) at org.apache.spark.rdd.RDD.w
浏览 3提问于2016-11-04得票数 1
1回答
我正在尝试运行来自的示例pyspark PCA代码
我在DataFrame上加载了5,000,000条记录，23,000个特征。运行PCA代码后，我得到了以下错误
Py4JJavaError: An error occurred while calling o908.fit.
: java.lang.OutOfMemoryError
at java.io.ByteArrayOutputStream.hugeCapacity(ByteArrayOutputStream.java:123)
at java.io.ByteArrayOutputStream.grow(ByteArra
浏览 0提问于2018-05-24得票数 1
我按照的第一部分创建了一个外部配置单元表，并将其指向特定的S3 Bucket。在Hue界面中，我可以在成功创建后浏览数据示例。如果我切换到齐柏林飞艇并运行以下命令：%sql show tables，我可以看到我的表列在default数据库旁边。
现在，如果我实际尝试查询表，就会得到一个java.io.IOException: Not a file: s3://my-bucket/my-subdirectory错误。这个错误是有道理的，但是Hive会让你指定一个S3存储桶，而不是一个实际的S3文件，所以我不知道如何让两者都满意！
请注意，此目录中只有一个文件，并且我没有尝试任何分区。该文件经过压
浏览 1提问于2017-06-03得票数 0
如果我们有一个未压缩的320块HDFS文件存储在一个16个数据节点集群。每个节点都有20个块，如果我们使用Spark将这个文件读取到RDD中(在创建RDD时没有显式传递numPartitions ) textFile = sc.textFile("hdfs://input/war-and-peace.txt")
如果每个节点上有16个执行器，那么每个执行程序将创建多少个分区？它会为每个HDFS块创建一个分区，即20个分区吗？
浏览 3提问于2016-12-08得票数 2
我正在尝试为文本分类训练一个ANN：
mlp = MultilayerPerceptronClassifier(maxIter=10, layers=[5,3], blockSize=128, seed=123)
model_stacking = mlp.fit(input_vector.select(['features', 'label']))
preditions_foo = model_stacking.transform(validation)
predition = evaluator.evaluate(preditions_foo)
当应用fit(
浏览 2提问于2019-06-27得票数 1
我正在从我的DCOS集群运行一个简单的spark应用程序。我想将输出保存到HDFS，它不在集群中，但共享相同的域名。在高级配置中安装spark提到的hdfs-site.xml和core-site.xml路径时，我在我的DCOS上进行了一些最小的配置。服务已启动，当我运行spark作业时，我得到一个未知的主机异常。还需要做什么其他配置吗？我的防火墙被禁用了。
Registered docker executor on
Starting task driver-20170224072457-0002
Traceback (most recent call last):
File "/
浏览 1提问于2017-02-24得票数 2
2回答
我有一个火花数据'mydataframe‘与许多列。我试图只在两个列上运行kmeans : lat和long (纬度和经度)，使用它们作为简单值)。我想提取基于这2列的7个集群，然后我想将集群赋值附加到我的原始数据。我试过：
from numpy import array
from math import sqrt
from pyspark.mllib.clustering import KMeans, KMeansModel
# Prepare a data frame with just 2 columns:
data = mydataframe.select('lat&
浏览 6提问于2017-12-01得票数 17
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
