我创建了2个DataFrames，training和test，它们都在feature列中有一个列表。我同时显示()，它们都返回相同的结构。所以我想知道Vectors.dense有什么不同，为什么会有这么大的麻烦？["label", "features"],test = spark.createDataFrame( (1.0, Vectors.dense([-1.0, 1.5, 1.3])),
浏览 66提问于2020-09-22得票数 0
我想使用PySpark (Spark1.6.2)对存在于Hive表中的数值数据执行主成分分析(PCA)。有一篇优秀的StackOverflow文章展示了如何在PySpark：中执行PCA>>> from pyspark.ml.featureimport *
>>> from <
浏览 1提问于2016-10-06得票数 4
回答已采纳
我正在尝试通过向量化用户特征并在PySpark中按用户向量之间的距离排序来查找相似的用户。我在Databricks的Runtime 5.5 LTS ML集群(Scala 2.11，Spark 2.4.3)上运行它。按照docs中的代码，我将使用pyspark.ml.feature.BucketedRandomProjectionLSH模型中的approxSimilarityJoin()方法。通常，当approxSimilarityJoin()不返回任何
浏览 80提问于2019-08-31得票数 0
1回答
这些示例似乎只包含Java和Scala。
Spark MLlib是否支持Python的主成分分析？如果是这样，请给我举个例子。如果没有，如何将Spark与scikit-learn结合起来？
浏览 2提问于2015-08-03得票数 10
回答已采纳
我在PySpark中的向量列上使用UDF有困难，可以在这里说明如下：from pyspark.sql import Row (1, Vectors.dense([2.25, -11.1, 123.2])),
(2, Vectors.densesum(vecto
浏览 2提问于2015-06-18得票数 2
回答已采纳
1回答
电火花LSH与余弦相似
、、、
我有很多用户，每个用户都有一个相关联的向量。我想计算每个用户之间的余弦相似度。根据大小，这是禁止的。看起来，LSH是一个很好的近似步骤，我理解它将创建一个桶，在这里，用户被映射到同一个桶中，在这个桶中，它们很可能是相似的。在Pyspark中，下面的示例如下：from pyspark.ml.linalgimport V
浏览 4提问于2022-06-10得票数 4
回答已采纳
1回答
关于如何使用MLlib进行分析的所有文档似乎都使用向量，我想知道我是否可以将我想要做的事情配置到一个数据框架中，而不是一个火花中的向量。例如，scala用于执行PCA的文档是：Vectors.sparse(5, Seq((1, 1.0), (3, 7.0))),Vectors.dense(4.0, 0.0, 0.0, 6.0, 7.0))
val df = spark.cre
浏览 1提问于2018-11-09得票数 0
我知道错误了
我有一个函数，我将其转换为udf，用于从dataframe
浏览 0提问于2016-07-07得票数 7
回答已采纳
我有一个火花数据，我想使用运行一个简单的PCA例子。(Vectors.dense([2.0, 0.0, 3.0, 4.0, 5.0]),),我研究了使用RowMatrix ，但是我不理解这是否是一条路(参见下面的错误)。>>>from pyspark.mllib.linalg import Vectors
>>
浏览 1提问于2018-03-21得票数 0
回答已采纳
我在python中使用了Spark2.2.0。我试图找出链接函数Spark在GeneralizedLineraModel中接受的默认参数是什么，以防出现Tweedie家族。：)：df = spark.createDataFrame([(1.0, Vectors.dense(0.0, 0.0)),当我在模型初始化过程中删除外植体link=None时，它工作得很好。from <e
浏览 7提问于2017-10-25得票数 3
回答已采纳
1回答
我有以下spark数据帧： +--------------------+--------------------+|[-10325.057466551...|[-108747.85455021...|
|[-9771.868356757912]|[-164454.02688403...| 但是我希望将这些列中的值从向量类型转换为双精度输出
浏览 22提问于2020-04-03得票数 0
回答已采纳
我正在降低Spark DataFrame的维数(使用spark ml库)，并使用PCA模型(使用ml库)如下：model = pca.fit(data)
其中data是一个Spark DataFrame，其中有一个标有features的列，它是一个三维的DenseVector：
浏览 0提问于2015-10-30得票数 25
回答已采纳
1回答
火花放电中ML算法的训练
、、、
我对Pyspark还不熟悉，我试图在Pyspark中创建一个ML模型--我的目标是创建一个TFidf向量器并将这些特性传递给我的支持向量机模型。SparkContext(conf=conf) #dataset is a pandas dataframeprinting all the TFidf vectors
import numpy as
浏览 0提问于2018-02-26得票数 0
回答已采纳
我正在使用以下代码创建集群模型：pandas_df = pd.read_pickle('df_features.pickle')from pyspark.ml.clustering import KMeans
----> 5 modela =
浏览 2提问于2016-09-17得票数 0
我很难从Spark文档中获取机器学习代码中的任何一个示例，并将它们作为Java程序实际运行。无论是我对Java、Maven、Spark (或者最有可能是这三种知识)的有限知识，我都找不到有用的解释。为了实现这一目标，我使用了以下项目结构├── pom.xml └── main └── SimpleEstimator.java0) + ", " + r.get(1) + ") -> prob=" + r.get
浏览 1提问于2015-09-16得票数 2
回答已采纳
我想知道如果我有多个数字列的特性，是否有一种简洁的方法在pyspark中的DataFrame上运行ML (例如KMeans)。如在Iris数据集中：我希望在不重新创建DataSet的情况下使用KMeans，将手动添加的特征向量
浏览 1提问于2015-09-16得票数 24
回答已采纳
我正在试图找出为什么LinearRegressionWithSGD不适用于Spark的ParamGridBuilder。来自星火的文件：paramGrid = ParamGridBuilder()\.addGrid(lr.fitIntercept, [False, True])\.build()
但是，将LinearRegression更改为LinearR
浏览 2提问于2017-10-28得票数 0
回答已采纳
3回答
如何将数组(即列表)列转换为向量
、、、、
在我下面建议的两种解决方案中，哪一种更有效(UDF爆炸/重组列表中的项目)？或者，还有其他几乎但不完全正确的替代方案，它们都比它们任何一个都好吗？有什么办法解决这个问题吗？备选方案1:使用VectorAssemblerf
浏览 9提问于2017-02-09得票数 75
回答已采纳
2回答
runs=10, initializationMode="random")Cannot convert type <class 'pyspark.sql.types.Row'> into Vectordf = sqlContext.read.json("data/ALS3.json")
df2 = df.select('latitude
浏览 3提问于2016-03-22得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
