无法在Mleap运行时中从Spark模型运行转换
Mleap是一个开源的机器学习模型转换和部署框架，主要用于将Spark模型导出为独立的可执行文件，在没有Spark环境的情况下运行模型转换和预测。然而，有时候在Mleap运行时中，可能会遇到从Spark模型运行转换失败的问题。
有几种可能导致无法在Mleap运行时中从Spark模型运行转换，下面提供一些常见的原因和解决方案：
- 版本不兼容：Mleap和Spark有不同的版本要求，确保使用的Mleap版本与Spark版本兼容。可以查看Mleap和Spark的官方文档来确认版本兼容性。
- 缺失依赖：Mleap可能需要依赖一些Spark的组件或库来正确运行转换过程。确保安装了Mleap所需的所有依赖项，并且在运行时能够正确加载它们。
- 模型格式不支持：Mleap支持多种模型格式，但不是所有的Spark模型都可以无缝地转换为Mleap模型。在使用Mleap之前，确保你的模型是Mleap支持的格式，可以参考Mleap文档中的支持模型列表。
- 模型依赖不可用：Spark模型可能依赖于一些Spark的功能或库，而这些功能或库在Mleap运行时中可能不可用。在将模型转换为Mleap格式之前，检查模型是否有任何特定的依赖，并确保这些依赖在Mleap运行时环境中可用。
推荐的腾讯云相关产品： 腾讯云提供了一些与机器学习和云计算相关的产品，以下是一些推荐的产品和对应的链接地址：
- 腾讯云机器学习平台（MLPaaS）：腾讯云的机器学习平台提供了一整套的机器学习工具和服务，包括模型训练、部署和推理等功能。了解更多信息，请访问：https://cloud.tencent.com/product/mlp
- 腾讯云人工智能加速器（AI Accelerator）：腾讯云的人工智能加速器提供了高性能的GPU加速计算服务，可以加速深度学习模型的训练和推理过程。了解更多信息，请访问：https://cloud.tencent.com/product/aiaccelerator
- 腾讯云云服务器（CVM）：腾讯云的云服务器提供了灵活可扩展的计算资源，可以用于搭建和部署机器学习模型的训练和推理环境。了解更多信息，请访问：https://cloud.tencent.com/product/cvm
请注意，以上只是一些推荐的腾讯云产品，并非完整列表。具体的产品选择应根据实际需求和情况进行决策。
相关·内容
根据这篇文章： Spark2.0包括一个独立于语言的模型序列化。
这是否支持使用spark训练模型，并使用非jvm语言(如python中使用的没有jvm后端的python)提供模型？
浏览 2提问于2016-06-02得票数 0
我在执行来自的示例代码时遇到了问题。我希望在脚本中运行代码，而不是jupyter笔记本(这就是运行示例的方式)。我的脚本如下：
##################################################################################
# start a local spark session
# https://spark.apache.org/docs/0.9.0/python-programming-guide.html
#######################################################
浏览 4提问于2017-09-18得票数 0
回答已采纳
1回答
我发现了许多关于Mleap的很好的回答--一个库，允许快速得分。它在一个模型的基础上工作，转换成MLeap包。
但是，在得分之前，数据准备阶段是什么呢？
是否有有效的方法将“spark数据准备管道”(它在培训期间工作，但在spark框架中)转换为健壮的、性能有效的、优化的字节码？
浏览 0提问于2019-07-03得票数 1
回答已采纳
我创建了自己的自定义转换器(将字符串添加到列值的简单模型)来测试Mleap序列化，但是在为Mleap和Spark序列化编写Op文件时，我不能指定转换器的名称。
我的reference.conf文件如下所示
my.domain.mleap.spark.ops = ["spark_side.CustomTransformerOp"]
// include the custom transformers ops we have defined to the default Spark registries
ml.combust.mleap.spark.registry.v20.op
浏览 4提问于2018-04-10得票数 1
1回答
我使用Spark2.1.0和Scala2.11.8。
我正试图在apache中构建一个twitter情感分析模型，并使用提供服务。
当我不使用mleap运行模型时，一切都很顺利。只有当我尝试以mleap的序列化格式保存模型时才会出现问题，以便以后可以使用mleap为模型服务。
下面是抛出错误的行-
val modelSavePath = "/tmp/sampleapp/model-mleap/"
val pipelineConfig = json.get("PipelineConfig").get.asInstanceOf[Map[String, Any]]
浏览 2提问于2017-05-22得票数 0
回答已采纳
1回答
作为spark/pyspark的新用户，我有一个脚本在本地模式的AWSt2.Small ec2实例上运行(仅用于测试目的)。
即。举个例子：
from __future__ import print_function
from pyspark.ml.classification import NaiveBayesModel
from pyspark.ml.evaluation import MulticlassClassificationEvaluator
from pyspark.sql import SparkSession
import ritc (my library)
if __na
浏览 0提问于2017-10-31得票数 0
我在弄清楚如何在真实的生产环境中使用火花的机器学习能力时遇到了一些困难。
我想做的是：
使用笔记本开发一种新的毫升型号
使用REST服务所学习的模型(类似于post-/ api /v1/mymodel/predict)
假设ml的培训过程由笔记本电脑处理，一旦满足了模型要求，它将保存到hdfs文件中，稍后由say应用程序加载。
我知道我可以编写一个长时间运行的spark应用程序，该应用程序公开api并在我的spark集群上运行，但我认为这并不是一种可伸缩的方法，因为即使数据转换和ml函数将在workers节点上运行，http/api相关的代码仍将在一个节点上运行，而在wich
浏览 5提问于2017-04-21得票数 1
我开始使用作为一个序列化工具，允许将模型保存在Spark或scikit中--学习并加载它，以便使用进行推理。效果很好。
现在，我的目的是将使用MLeap保存的模型加载到我的MLeap代码中，加载到我自己的结构中，而不需要MLeap运行时。我研究了一下，没有发现任何“模式”的“格式定义”，只有一些示例显示了某些序列化模型的样子。从这个角度看，MLeap只是一个序列化/反序列化工具，而不是文档主页上声明的“格式”。
那么，MLeap是一种“格式”还是一种序列化工具？我能在某个地方找到一个格式定义或模式吗？
同样，我的目的是了解是否可以为MLeap格式编写自定义序列化/反序列化工具，或者唯一的选择是
浏览 3提问于2019-01-10得票数 0
回答已采纳
1回答
有谁能用简单的语言解释一下，在预测过程中，不依赖星团的星火模型是如何工作的？
我的意思是，如果我们在ML管道中使用像ml.feature.stopwordremover这样的Spark函数并导出它--比如说，PMML格式--那么在没有Spark安装的生产环境中如何重新生成这个函数。可能是当我们使用JPMML时。我浏览了PMML页面，但它只是简单地解释了PMML的结构。然而，没有提供任何功能描述。
任何好的链接到文章是受欢迎的。
浏览 0提问于2018-11-27得票数 0
回答已采纳
1回答
我有一个火花mlib程序启动和运行，适用于自由文本的nlp。我需要通过rest apis访问这个程序。例如:我需要通过调用这些API在excel表格的每一行上应用ml (转换每一行并从上面的ml程序中返回结果)。我该怎么做呢？基本上是尝试在spark程序周围有一个API包装器，而不是转到jupyter notebook并手动完成。
浏览 5提问于2019-11-12得票数 0
2回答
我想使用来部署Spark ML机器学习模型，并使用它们来实时预测。
创建者发布了Scala教程，但我需要支持Java8代码库。
如何在Java 8中实现以下代码：
val pipeline = SparkUtil.createPipelineModel(uid = "pipeline", Array(featureModel, rfModel))
val sbc = SparkBundleContext()
for(bf <- managed(BundleFile("jar:file:/tmp/mnist.model.rf.zip"))) {
浏览 22提问于2017-06-09得票数 3
打电话时
curl -XPUT -H "content-type: application/json" -d
'{"path":"/models/testALS.zip"}' http://localhost:65327/model
搞错了。
我使用spark训练了als模型，并在调用此模型时将模型保存为testALS.zip。
curl -XPUT -H "content-type: application/json" -d
'{"path":"/models/testALS.
浏览 0提问于2019-05-10得票数 0
我已经使用TransmogrifAI创建了一个模型。我正在尝试使用MLeap将该模型加载到MLFlow中，但无法这样做。 我基本上使用了MLeap中的捆绑包特性，但没有用处。有谁有什么想法可以继续下去吗？
浏览 9提问于2019-06-04得票数 0
2回答
PMML、Mleap、PFA目前只支持基于行的转换。它们都不支持基于框架的转换，比如聚合、groupby或join。导出包含这些操作的spark管道的推荐方式是什么？
浏览 28提问于2018-11-20得票数 3
1回答
我正在运行运行时8.1 (包括ApacheSpark3.1.1，Scala2.12)，试图按照
星星之火-mlflow-Integration.html
py4j.Py4JException: Method maxNumConcurrentTasks([]) does not exist
当我试图
spark_trials = SparkTrials()
我有什么特别的事情要做吗？
下面是我正在使用的集群
{
"autoscale": {
"min_workers": 1,
"max_workers": 2
浏览 12提问于2021-04-26得票数 5
回答已采纳
我是Scala/Spark的新手，所以请不要对我太苛刻:) 我正试图在亚马逊网络服务上运行一个电子病历集群，运行我用sbt package打包的jar文件。当我在本地运行代码时，它工作得非常好，但当我在AWS EMR集群中运行它时，我得到了一个错误： ERROR Client: Application diagnostics message: User class threw exception: java.lang.NoClassDefFoundError: upickle/core/Types$Writer 据我所知，这个错误源于scala/spark版本的依赖关系。 所以我使用Scal
浏览 29提问于2021-09-15得票数 1
我尝试遵循RStudio-MLeap示例()，但在`ml_write_bundle()‘处遇到错误。有人知道如何排除故障吗？
# The example code:
library(mleap)
library(sparklyr)
sc <- spark_connect(master = "local")
mtcars_tbl <- sdf_copy_to(sc, mtcars, overwrite = TRUE)
## Create a pipeline and fit it
pipeline <- ml_pipeline(sc) %>%
浏览 14提问于2020-05-19得票数 0
回答已采纳
2回答
我已经在R中创建了一个线性回归模型，并将其导出到PMMLv4.3中。我该如何在Spark中运行它呢？我是Spark的新手，看不到任何运行PMML文件的示例代码。我所看到的就是在Spark MLLib中导出PMML代码。
我假设会有一个函数，其中你的输入参数将是数据集和PMML文件，它将作为你的训练模型？
浏览 8提问于2017-12-11得票数 2
我想要创建一个使用spring引导的微服务，它能够提供使用以前受过培训的AlsModel提供的建议。(与apache协作过滤) AlsModel是在一个完全独立的环境中训练的，这不适合于生产用例。我们有方法将存储在hdfs中的文件或数据传输到我们的服务层(作为文件或在sql数据库中传输数据)。我知道我可以保存用户和项目特性数据，传输它们，然后自己计算预测，但是我希望有一个更简单的解决方案，很好地处理常规更新。在我看来，这一过程如下：
星系团内部模型的训练
将模型保存到文件(pmml格式？)
将文件传输到服务层。
spring启动微服务只是在某种框架的帮助下加载文件(这不会引入火
浏览 0提问于2019-06-08得票数 2
回答已采纳
我正在用scala + spark开发一个应用程序。我可以在没有问题的情况下运行这个项目，并且我可以生成.jar (通过Intellij或者简单地使用sbt)。当我跑步时：
spark-submit --class ngram.Ngram ngramgenerator.jar "./test2.txt" 3 "./output/"
我有以下输出：
2019-12-11 17:53:37 WARN Utils:66 - Your hostname, carlo-HP-Notebook resolves to a loopback address: 127.0.1
浏览 4提问于2019-12-11得票数 0
回答已采纳
我犯了这个错误
异常:您似乎试图从广播变量、操作或转换引用SparkContext。SparkContext只能在驱动程序上使用，而不能在它在工作人员上运行的代码中使用。有关更多信息，请参见火花-5063。
和
PicklingError:无法序列化对象:异常:似乎您试图从广播变量、操作或转换引用SparkContext。SparkContext只能在驱动程序上使用，而不能在它在工作人员上运行的代码中使用。有关更多信息，请参见火花-5063。
我有一个保存的LightGBM火花模型，我想用它来解释我的预测。
# loading LightGBM model
from synap
浏览 18提问于2022-02-03得票数 0
1回答
我正在尝试使用命令从azure HDInsight集群的头节点运行scala应用程序。
星星之火-提交类wasbs://containername@<storageaccountname>/sample.sas7bdat wasbs://containername@<storageaccountname>/sample.csv com.test.spark.Wordcount SparkJob1.jar
我不例外。
由: scala.collection.immutable.List$SerializationProxy :无法将org.apache.spar
浏览 1提问于2017-03-27得票数 0
1回答
我知道可以用PMML导出Spark-MLlib模型，但是Spark-ML呢？
能否将LinearRegressionModel从org.apache.spark.ml.regression转换为org.apache.spark.mllib.regression的LinearRegressionModel以调用toPMML()方法？
浏览 3提问于2016-04-18得票数 9
回答已采纳
我一直在追踪博客文章的内容：
使用内建于Hadoop2.7的spark 2.1在本地运行，我可以保存一个模型：
trainedModel.save("mymodel.model"))
但是，如果我试图从常规scala (sbt)外壳加载模型，则hdfs无法加载。
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.ml.{PipelineModel, Predictor}
val sc = new SparkContext(new Spa
浏览 6提问于2017-03-28得票数 1
回答已采纳
1回答
如何在分布式大数据平台(例如Apache Spark)中训练(拟合)模型，同时在独立计算机(例如JVM)中使用该模型，并尽可能减少依赖性？
我听说过，但我不确定它是否足够。还有Spark 2.0 保存，但我不确定什么是必要的加载和运行这些模型。
浏览 3提问于2016-08-19得票数 0
我试图解释我的XGboost模型使用scala的MMLSparks Lime包所做的预测。这是我第一次使用莱姆库，我能够在dataset上执行一个fit操作，当我试图执行转换操作时，程序会以一个异常停止，即“java.lang.ClassCastException: org.apache.spark.ml.linalg.SparseVector无法转换为org.apache.spark.ml.linalg.DenseVector”。
浏览 0提问于2019-08-14得票数 1
回答已采纳
我在我的maven项目中创建了一些类，并使用IntelliJ IDEA工件创建了一个jar文件。以下是项目的结构：
+ProjectName:
----src
-----main
------java
------A.B (packages)
--------DB
BP
SP
在创建jar文件时，我只包括了类BP。在新项目中导入jar文件，并在主函数中运行以下简单代码：
import
浏览 1提问于2018-06-11得票数 0
回答已采纳
1回答
在正式的火花中，解释了应用程序jar一词对应于：
包含用户的Spark应用程序的jar。在某些情况下，用户希望创建一个"uber jar“，其中包含他们的应用程序及其依赖项。用户的jar不应该包含Hadoop或Spark库，但是，这些库将在运行时添加
通过在maven或sbt中使用“提供”范围，可以很容易地解决这一问题：
"org.apache.spark" % "spark-core_2.10" % sparkVersion % Provided
然而，我可能在这里遗漏了一些显而易见的东西，但我无法找到一个直接的答案，在运行时将添加哪些特定的库
浏览 3提问于2016-03-02得票数 4
回答已采纳
我正在尝试为一个模型创建一个生产数据管道。作为此管道的一部分，我以.rds文件的形式保存了一个在R环境中运行的模型。下面是一个例子-
set.seed(345)
df = data.frame(x = rnorm(20))
df = transform(df , y = 5 + (2.3*x) + rnorm(20))
## model
m1 = lm(y ~ x , data = df)
## Take out the coefficients
coeff = m1$coefficients
> coeff
(Intercept) x
4.938
浏览 11提问于2018-07-31得票数 2
我正在使用MLeap在java程序中运行Pyspark logistic回归模型。一旦我运行了管道，我就能够获得一个只有一行Stream(Row(1.3,12,3.6,DenseTensor([D@538613b3,List(2)),1.0), ?)的DefaultLeapFrame对象。
但我不确定如何实际检查DenseTensor对象。当我在这一行使用getTensor(3)时，我得到一个对象。我对Scala并不熟悉，但这似乎就是它的交互方式。在java语言中，如何获取这个DenseVector中的值？
以下是我正在做的大致内容。我猜使用Object并不适合这种类型。。。
DefaultL
浏览 28提问于2020-06-06得票数 0
回答已采纳
我是数据科学专业的新手，正在寻求帮助。
我想从结构化流DataFrame构建Spark管道模型，但是遇到了一些错误。请参阅下面的代码片段和错误消息。
注:我们已经培训了我们的模型离线，只是想要建立评分模型从结构化流DataFrame。
代码：
pipelineModel= PipelineModel.load('/model/path/')
scoringDf = pipelineModel.transform(streamingDf)
错误消息：
Py4JJavaError: An error occurred while calling o1910.transform.
浏览 0提问于2018-08-08得票数 0
因此，我正在使用Spark1.0.0构建一个隐式反馈推荐模型，并试图遵循他们在协作过滤页面上的示例：
我甚至加载了测试数据集，它们在示例中引用：。
然而，当我尝试运行隐式反馈模型时: val alpha =0.01Val模型=ALS.trainImplicit(评级、排名、numIterations、alpha)
(评级正是从它们的数据集中得到的，排名= 10，numIterations = 20)我得到了以下错误：
scala> val model = ALS.trainImplicit(ratings, rank, numIterations, alpha)
<console&
浏览 3提问于2014-09-03得票数 9
回答已采纳
我试图在apache spark中解析多个word doc文件，当我通过spark提交运行脚本时，让我们举个例子，它给出了如下错误: unicodeencodeerror 'ascii‘编解码器无法编码字符u’ufffd‘序数不在128范围内。
我们可以在spark中解析microsoft word文档吗？否则有没有同样的解决办法呢？
谢谢。
浏览 0提问于2016-01-19得票数 0
我对Apache Spark的世界还是比较陌生的。我正在尝试使用LinearRegressionWithSGD()估计一个大型模型，其中我希望在不创建大型设计矩阵的情况下估计固定的效果和交互项。
我注意到在DecisionTree中有一个支持分类变量的实现
这将创建一个从字符串到整数的Hash映射，并将其提供给模型。有没有人尝试过在Spark中线性模型的类似练习？
谢谢。
浏览 8提问于2015-04-01得票数 1
1回答
? 我试图在spark结构的流上运行实时推理，首先我训练了模型 #model_creation model.fit()
model.predict([ 33.26, 68.51, 1012.49, 52.68]) #从kafka流创建spark df df = spark.readstream.format("kafka")..... #推理 def predict(input):
#extract json from input and conver to list of doubles
#model.pred
浏览 12提问于2020-12-08得票数 0
1回答
我的理解是，对于Hive 3，使用MERGE的HIVE表也至少需要TEZ作为底层执行引擎，如果没有使用Map，或者使用Hive的Spark。事实上，我不相信蜂巢合并，更新，删除工作与火花引擎。
但是从文档和各种更新来看，我无法确认这些，因此我发布了这篇文章。在这个话题上，似乎很难写出一套连贯的散文，而我却远离了一群人。
而且，来自的斜体和粗体语句声明了完全事务功能，但我无法遵循，因为我不知道SPARK可以更新、删除HIVE (尚未)：
Apache火花
Apache使用Hive连接器获得可更新的表和ACID事务。Hive连接器允许您将Hive事务性表注册为Spark中的外部表，以访问完整的事
浏览 3提问于2019-12-04得票数 0
回答已采纳
我正在中读取JSON文件
val df=spark.read.json(properties.getProperty("jsonFilePath"))
当我从IDE(Intellij)运行时，这段代码可以工作，但是当我尝试使用submit命令执行时，它会给出以下消息
INFO FileScanRDD: Reading File path: file:///Users/path/to/json/file.json, range: 0-8822, partition values: [empty row]
由于这个原因，我无法处理JSON数据。知道这里会发生什么吗？
这是我
浏览 2提问于2019-05-19得票数 0
我有一个问题，创建一个LINQ语句，以选择订单，其中仍有项目需要发货。
简化模型如下：
SalesOrder
SalesOrderId (PK)
SalesOrderItem
SalesOrderItemId (PK)
描述(字符串)
SalesOrderId (FK)
ProductId(FK)
Qty (int)
产品
ProductId (PK)
描述
虚拟(位)
船运
ShipmentId (PK)
ShipmentItem
ShipmentItemId (PK)
SalesOrderItemId (FK)
Qty (int)
我需要一个LINQ语句，它生成一个销售订单列表，其中有一个
浏览 0提问于2021-03-06得票数 2
我试着使用下面的代码从pyspark上的GCS存储桶中读取数据：
df_business = spark.read.json("gs://[bucket_name]/[filename].json")
我想使用木星实验室的R内核做同样的工作，并运行一个回归模型。
任何帮助都将不胜感激..。
浏览 3提问于2022-11-10得票数 1
回答已采纳
例如，如果我使用Spark Connector从客户端(在EMR -1上运行)运行一个查询，以从Snowflake (在EMR -2上运行)获取数据，那么该查询实际上是在哪里执行的？它是在Snowflake本身上处理，然后返回结果，还是在客户端EMR上作为spark作业处理？当我看到Snowflake上的查询历史时，它也显示了执行的查询。这是否意味着它也会消耗那里的资源？
浏览 0提问于2020-02-25得票数 1
我在pyspark中建立了一个多标称回归模型，在运行我的线性回归模型后，它给出了这个错误："IllegalArgumentException: U‘’requirement:列标签必须是NumericType类型，但实际上是StringType类型。“
请在这里帮助我，因为我花了这么多时间来解决这个问题，但却无法解决。
lr_data= loan_data.select('int_rate','loan_amnt','term','grade','sub_grade','emp_leng
浏览 3提问于2018-03-08得票数 1
我有一个包含大约1亿条记录(~25 100，~5列)的单表的MySQL数据库。使用Apache，我通过JDBC连接器提取这些数据，并将其存储在DataFrame中。从这里开始，我对数据做了一些预处理(例如，替换空值)，所以我绝对需要遍历每条记录。然后，我想进行维数约简和特征选择(例如使用PCA)，进行聚类(例如K-均值)，然后对新数据进行模型测试。
我已经在Spark的Java中实现了这一点，但是它太慢了(就我的目的而言)，因为我将大量数据从DataFrame复制到java.util.Vector和java.util.List (以便能够迭代所有记录并进行预处理)，然后返回到DataFrame
浏览 2提问于2016-06-02得票数 0
回答已采纳
2回答
在Hadoop生态系统中，我一直在不同的上下文中获得DAG这个术语，比如
当在RDD上调用任何操作时，Spark将创建DAG并将其提交给DAG调度程序
或
DAG模型是MapReduce模型的严格推广
它是如何在Hadoop或Spark中实现的？
浏览 3提问于2017-06-22得票数 3
我想在我的restful web服务中运行Spark SQL查询，那么我如何通过Jersey上下文运行Spark context？我需要将我的Spark SQL请求传递给集群，然后通过REST API将结果返回给用户。但在Spark文档中，如果不将jar文件提交到集群(主/从)，就无法在java代码中运行Spark SQL查询。
浏览 0提问于2015-01-11得票数 5
scala的版本为2.11.8；jdk为1.8；spark为2.0.2
我尝试在中运行一个LDA模型的例子，我从以下句子中得到了错误消息：
val dataset = spark.read.format("libsvm")
.load("data/libsvm_data.txt")
错误信息是：
错误：(49，25) org.apache.spark.SparkContext val dataset = spark.read.format("libsvm") ^
我不知道怎么解决。
浏览 3提问于2016-12-04得票数 6
我在我的Windows膝上型电脑中保存一个受过训练的模型到MLflow的模型注册表。我正在使用Databricks --连接到Azure Databricks集群，并从本地Pycharm那里训练模型，但是为了开发，我在我的笔记本中启动了模型注册表，并将经过训练的模型保存在其中--以避免设置远程访问DBFS。
我对spark_udf函数有问题。我可以从笔记本电脑的模型注册表中读取模型，但不能将它用作数据库集群中的UDF
model_udf = mlflow.pyfunc.spark_udf(spark, "models:/mymodel/production") # this
浏览 2提问于2021-11-07得票数 1
2回答
用于分析。我知道我们可以使用保存功能，并在Spark应用程序中加载模型。但它只适用于Spark应用程序(Java、Scala、Python)。
我们还可以使用PMML并将模型导出到其他类型的应用程序。
有没有办法在Java应用程序中使用Spark模型？
浏览 0提问于2016-03-17得票数 5
我很难理解RDDs、DataSets和DataFrames之间的转换是如何工作的。我对Spark非常陌生，每次我需要从一个数据模型传递到另一个数据模型(特别是从RDDs到数据集和Dataframes)时，我都会陷入困境。有人能解释一下我是怎么做的吗？
举个例子，现在我有了一个RDD[org.apache.spark.ml.linalg.Vector]，我需要将它传递给我的机器学习算法，例如一个KMeans (火花DataSet MLlib)。因此，我需要将其转换为包含向量类型行的单一列“功能”的Dataset。我该怎么做？
浏览 1提问于2018-06-04得票数 2
回答已采纳
我想通过将spark java/scala api转换为dll文件来从C#运行apache spark源代码。我已经引用ikvm/ikvmc将spark jar文件转换为dll文件，但无法获得正确的结果。有没有办法在C#中运行火花源？
请指导我解决这个问题？
Apache spark支持Java、Scala、R、Python语言来运行Spark。将来会支持C#吗？
浏览 1提问于2015-06-25得票数 15
1回答
我用Spark编写了这段代码
import org.apache.spark.ml.classification.LogisticRegression
import org.apache.spark.ml.Pipeline
val lr = new LogisticRegression()
val pipeline = new Pipeline()
.setStages(Array(fooIndexer, fooHotEncoder, assembler, lr))
val model = pipeline.fit(training)
这段代码需要很长时间才能
浏览 1提问于2018-05-29得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
