Spark中的一类分类模型
是决策树模型。
决策树模型是一种基于树结构的分类模型，它通过对数据集进行递归划分，构建一棵树来进行分类预测。在Spark中，决策树模型被广泛应用于大规模数据集的分类任务。
决策树模型的优势包括：
- 可解释性强：决策树模型生成的树结构可以直观地展示分类规则，易于理解和解释。
- 处理非线性关系：决策树模型可以处理非线性关系，适用于各种类型的数据。
- 鲁棒性强：决策树模型对于数据中的噪声和缺失值具有一定的鲁棒性，能够处理不完整的数据。
- 可处理大规模数据：Spark提供的决策树算法可以高效地处理大规模数据集，具有良好的可扩展性。
决策树模型在各种领域都有广泛的应用场景，例如：
- 金融行业：用于信用评估、风险评估、欺诈检测等。
- 零售行业：用于客户分类、推荐系统、销售预测等。
- 医疗行业：用于疾病诊断、药物研发、基因分析等。
- 社交媒体：用于用户分类、情感分析、广告推荐等。
腾讯云提供了一系列与决策树模型相关的产品和服务，例如：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）：提供了决策树算法的实现和调优工具，支持大规模数据集的训练和预测。
- 腾讯云数据分析平台（https://cloud.tencent.com/product/dla）：提供了数据处理和分析的工具，可以用于决策树模型的数据准备和特征工程。
- 腾讯云人工智能开放平台（https://cloud.tencent.com/product/ai）：提供了各种人工智能相关的服务，包括决策树模型的训练和部署。
通过使用腾讯云的相关产品和服务，开发者可以更加便捷地构建和部署决策树模型，实现各种分类任务的需求。
相关·内容
给出了一个使用softmax分类器的分类器，对于我们模型正确分类的数据点a，是否有可能比被我们的模型错误分类的数据点b有更高的损失？如果是，请举一个例子。如果没有，请证明。
================================================================
更新:我忘了提到考虑交叉熵损失。
浏览 0提问于2021-04-06得票数 0
回答已采纳
1回答
我希望用Spark实现，这是一种具有多输出的多标签分类算法，但令我惊讶的是，Spark机器学习库中没有任何模型可以做到这一点。
我怎么才能用Spark做到这一点呢？
此外，Scikit Learn Logistic Regresssion支持输入/输出中的多标签分类，但不支持用于训练的大量数据。
要查看scikit学习中的代码，请单击以下链接：
浏览 35提问于2016-08-26得票数 11
1回答
我使用spark.mllib.classification.{LogisticRegressionModel，LogisticRegressionWithSGD}和spark.mllib.tree.RandomForest进行分类。使用这些包，我会生成分类模型。只有这些模型预测每个实例的特定类。在Weka中，我们可以得到每个实例属于每个类的确切概率。我们怎么才能用这些包来做呢？
在LogisticRegressionModel中，我们可以设置阈值。因此，我创建了一个函数来检查每个点在不同阈值上的结果。但是RandomForest不能这样做(参见)
浏览 1提问于2015-07-05得票数 1
2回答
火花2逻辑回归去除阈值
、、、
我使用Spark2+ Scala来训练基于LogisticRegression的二进制分类模型，我使用的是import org.apache.spark.ml.classification.LogisticRegression，这是Spark 2中新的ml。然而，当我用AUROC对模型进行评估时，我没有找到一种使用概率(0-1中的双倍)代替二进制分类(0/1)的方法。这以前是由removeThreshold()实现的，但是在ml.LogisticRegression中我没有找到类似的方法。因此，有办法做到这一点吗？
我使用的评估器是
val evaluator = new BinaryClas
浏览 3提问于2017-05-23得票数 1
回答已采纳
我在Apache Spark中训练了一个分类模型(使用pyspark)。我将模型存储在一个对象LogisticRegressionModel中。现在，我想对新数据进行预测。我想要存储模型，并将其读回到新程序中，以便做出预测。你知道怎么存储模型吗？我在想也许是pickle，但我是python和Spark的新手，所以我想听听社区的想法。
浏览 0提问于2015-12-14得票数 14
回答已采纳
我已经训练了一个星火多层感知器，以检测垃圾邮件，并希望使用它与游戏框架结合在一个网络服务。
我的解决方案(见下文)生成了一个嵌入式本地星火集群，加载模型并对消息进行分类。有没有一种不用嵌入式星盘集群就可以使用该模型的方法？
Spark有一些与Play Framework依赖项冲突的依赖项。我认为可能有一种方法可以在分类模式下运行模型，而无需启动嵌入式spark集群。
我的第二个问题是，我是否可以对单个消息进行分类，而不首先将其放入DataFrame中。
应用程序加载程序：
lazy val sparkSession: SparkSession = {
val conf: SparkConf
浏览 2提问于2016-12-01得票数 2
有没有办法在Spark / MLlib中对任何分类器进行增量分类？我想要的是用新的数据集重新训练现有的模型。新的数据集可以随时出现，我想将其添加到已经训练好的分类器中。
浏览 10提问于2016-08-30得票数 1
1回答
我使用huggingface/transformers训练了文本分类模型，然后使用内置的ONNX功能导出它。
现在，我想用它来推断数百万的文本(大约一亿个句子)。我的想法是将所有文本放在一个Spark中，然后将DataFrame模型绑定到一个Spark中，然后在一个Spark集群上运行推理。
有更好的方法吗？我做的是“正确的方式”吗？
浏览 11提问于2021-09-20得票数 0
回答已采纳
1回答
在Spark (F评分、AUROC、AUPRC等)中训练随机森林二进制分类器模型时，如何获得模型度量？
问题是BinaryClassificationMetrics获取概率，而RandomForest分类器的预测方法返回离散值0或1。
请参阅：
RandomForest.trainClassifier没有任何使其返回概率的clearThreshold方法，而不是离散的0或1标签。
浏览 2提问于2016-06-01得票数 6
在Apache Spark中创建分类模型时，训练集和测试集看起来应该都存在吗？如果我们有未见过的实例，这些实例在创建模型时并不存在，那该怎么办？当我们收到一个看不见的实例时，我们需要重新构建模型吗？这不是使分类在真实场景中不切实际吗？
浏览 0提问于2015-07-08得票数 2
我正在寻找一个使用Spark-Scala的多类分类示例，但我还找不到。具体地说，我想训练一个分类模型，并查看训练和测试数据上的所有相关指标。
Spark ML (基于DataFrame的API)是否支持多类问题的混淆矩阵？
我正在寻找Spark v2.2及以上的例子。一个端到端的例子将会非常有用。我在这里找不到混淆矩阵评估-
浏览 0提问于2018-12-27得票数 2
我成功地使用了python中的sklearn库，并且非常享受它。
我能够用以下代码创建并安装DecisionTreeClassifierType模型：
clf = tree.DecisionTreeClassifier()
clf = clf.fit(features, labels)
然后，我可以使用该模型来预测新输入的类别，如下所示：
clf.predict([[20, 50, 10]])
上面的线将返回0或1，这取决于模型预测数据的类别，我想知道是否有什么方法可以得到模型预测的可信度/概率？
因此，如果它预测输入的分类为1，概率/置信度将是小数点( 0.8 )或百分之八十( 80% )
浏览 2提问于2017-04-13得票数 3
回答已采纳
1回答
我是Spark和ML的新蜜蜂，我有一个任务，应该由Apache Spark API实现。我的数据的一些样本行是：
298,217756,468,0,363,0,0,14,0,11,0,0,894,cluster3
299,219413,25,1364,261,15,0,1,11,5,1,0,1760.5,cluster5
300,223153,1650,8673,2215,282,0,43,120,37,7,0,12853,cluster1
我需要训练一个分类器，之后，它的模型将预测任意传入行中的聚类。例如，模型应该预测“？”在以下行中：
318,240747,875,0,0,0,0,8,0,
浏览 4提问于2015-05-05得票数 0
1回答
是否有可能在Apache中的多类分类问题中找到错误度量(精确和召回)。我正在使用Spark的MlLib中的Logistic回归来构建我的模型，并希望使用错误度量来评估我的模型。
浏览 3提问于2018-07-02得票数 1
1回答
我想使用Apache Mahout和朴素贝叶斯分类器对一堆文档进行分类。我做了所有的预处理，并将训练数据集转换为特征向量，然后训练分类器。现在我想把一堆新的实例(待分类的实例)传递给我的模型，以便对它们进行分类。
然而，我的印象是，必须对我的待分类实例和训练数据集一起进行预处理？如果是这样，为什么我可以在构建模型时没有要分类的实例的真实场景中使用分类器？
Apache Spark怎么样？我们的东西在那里是怎么工作的？我是否可以建立一个分类模型，并在以后使用它来对看不见的实例进行分类？
浏览 1提问于2015-07-08得票数 0
1回答
在Spark中有一个类分类器的实现吗？
在ML或MLlib中似乎没有任何东西，但我希望社区中的某个人开发了一个扩展，它将提供一些方法来生成训练的分类模型，其中在训练数据中只有一个标记类可用。
浏览 5提问于2017-02-16得票数 2
我想执行一个网站分类任务，我已经建模了一个网站作为一个网页树。我已经有了一个模型，它可以将类别分配给树中的节点(网页)。我需要指导如何组合这些节点类别，以获得树的总体类别。可以使用什么分类技术？到目前为止，我从这篇研究论文网站挖掘中了解了马尔可夫链在这个课题中的应用。如果我能得到更多关于如何完成这项任务的想法，我将不胜感激。
浏览 0提问于2018-05-11得票数 3
3回答
我正在尝试使用spark进行分类，特别是使用RandomForestModel。
我看了一下spark (RandomForestClassificationExample.scala)的这个例子，但是我需要一种稍微扩展的方法。
我需要能够训练一个模型，为将来的使用保留模型，但也能够加载它和进一步的训练。比如，扩展数据集，然后再进行训练。
浏览 7提问于2017-01-03得票数 0
回答已采纳
1回答
这是否只是学者和从业者之间的术语用法呢？
还是理论上的差异在于我们如何看待每个样本:一次属于多个类，还是属于一个模糊类？
或者这一区别对于我们如何建立分类模型有一定的实际意义？
浏览 0提问于2019-04-23得票数 2
回答已采纳
2回答
文本分类:分类N类与其他类
、、、、
抱歉，如果这是天真的，我是相当新的领域。我有一个要求，当我试图分类两种类型的文本数据，即，我有两个类别来分类我的数据。我可以通过文字向量，降维，然后将数据输入到LinearSVC进行分类，从而得到可接受的结果。但我的模型倾向于长度较长的句子。我知道tfidf在这方面会有帮助，但是有什么方法可以应用到单词向量中，我不想失去它对未知的类似数据的预测能力吗？
这方面的后续问题是，除了我培训过的两个类之外，还有来自其他类的数据。我希望我的模型能够预测数据不属于这两个类中的任何一个。目前，它只是随机预测两个类别中的一个。
我在想，如果我首先把我的数据通过主题建模，这将提供一个概念的主题文本数据是什么。基
浏览 0提问于2020-06-23得票数 2
回答已采纳
1回答
我想知道是否有可能(使用SparkR的内置特性或任何其他解决方法)提取SparkR中包含的一些分类算法的类概率。令人感兴趣的是。
spark.gbt()
spark.mlp()
spark.randomForest()
目前，当我在这些模型上使用预测函数时，我能够提取预测，但不能提取实际的概率或“可信度”。
我看到了其他几个类似于这个主题的问题，但是没有一个是SparkR特有的，而且很多问题都没有在Spark的最新更新中得到解答。
浏览 1提问于2017-01-30得票数 4
我对Apache Spark的世界还是比较陌生的。我正在尝试使用LinearRegressionWithSGD()估计一个大型模型，其中我希望在不创建大型设计矩阵的情况下估计固定的效果和交互项。
我注意到在DecisionTree中有一个支持分类变量的实现
这将创建一个从字符串到整数的Hash映射，并将其提供给模型。有没有人尝试过在Spark中线性模型的类似练习？
谢谢。
浏览 8提问于2015-04-01得票数 1
1回答
我正在使用Scikit-learn构建一个分类模型(例如LogisticRegression)。在构建模型时，我可以使用什么工具将模型投入生产并在新数据集上按计划运行它？也就是说，在Spark MLlib中，我们可以序列化模型并使用Oozie工作流定期进行评分。但是Python模型的等效工具是什么呢？
浏览 8提问于2017-06-28得票数 1
我可以使用求解器在excel中找到复杂非线性函数的近似最小值。 我可以使用optim函数在R中执行相同的操作。 我编写了我的函数，并在apache spark中工作。 我搜索了apache spark machine learning documentation，找到了用于回归和分类的模型，但没有找到像R的optim或Excel的求解器这样的工具。我错过了什么吗？ 什么是与R的optim函数或excel的求解器等效的apache spark？
浏览 15提问于2020-11-24得票数 1
回答已采纳
1回答
我的平台是Spark2.1.0，使用python语言。
现在我有了大约100个随机森林多分类模型，我已经将它们保存在HDFS.There中--这些数据集也保存在HDFS中。我想用相应的model.If来预测数据集，模型和数据集都缓存在内存中，预测速度会快10倍以上。
但是我不知道如何缓存模型，因为模型不是RDD或Dataframe。
谢谢!
浏览 1提问于2018-05-27得票数 1
回答已采纳
1回答
让CNN说“我不知道”
、、、、
我目前正在研究一个图像分类问题。为了简化实现，我在Keras中使用了传输学习，并以Resnet50作为基本模型。
我有两个类，但是输入图像可能不属于这两个类。在这种情况下，CNN应该能够作为Unknown输出。
注意:我不能为未知创建一个单独的类，因为它可以来自任何发行版。
我读到，在这种情况下，贝叶斯神经网络会有所帮助。
你能帮助我理解如何通过转移学习来实现贝叶斯CNN吗？任何材料或参考链接都会很有帮助。
谢谢
浏览 0提问于2019-05-04得票数 4
回答已采纳
上下文：
我有一个包含VectorAssembler、StringIndexer和DecisionTreeClassifier的Spark管道。使用这个管道，我能够成功地拟合模型并转换我的数据框架。我想存储这个模型供将来使用，但是我一直收到以下错误：
Pipeline write will fail on this Pipeline because it contains a stage which does not implement Writable.
Non-Writable stage: dtc_9c04161ed2d1 of type class org.apache.spark.
浏览 5提问于2016-02-12得票数 5
回答已采纳
1回答
我正在尝试创建一个LogisticRegression模型(LogisticRegressionWithSGD)，但它的错误是
org.apache.spark.SparkException: Input validation failed.
如果我给它二进制输入(0,1，而不是0,1,2)，它就成功了。
示例输入：
parsed_data = [LabeledPoint(0.0, [4.6,3.6,1.0,0.2]),
LabeledPoint(0.0, [5.7,4.4,1.5,0.4]),
LabeledPoint(1.0, [6.7,3.1,4.4,1.4]),
LabeledPoin
浏览 0提问于2015-11-05得票数 4
回答已采纳
我试图根据执行器和内核的数量来衡量Spark中的性能。我们的想法是玩：
spark.conf.set("spark.executor.instances", "x")
spark.conf.set('spark.cores.max', 'x')
当我改变执行器和核心的数量时，测试Spark的性能的影响。数据是1.66 hp的推特文件.json我使用的是一台计算机hp：
处理器:英特尔(R)酷睿(TM) i7-8650U CPU @1.90 GB 2.11 GB // 16 GB RAM
import time
st
浏览 0提问于2019-02-07得票数 1
阅读的src：
import org.apache.spark.ml.classification.MultilayerPerceptronClassifier
import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator
import org.apache.spark.mllib.util.MLUtils
import org.apache.spark.sql.Row
// Load training data
val data = MLUtils.loadLibSVMFile(sc, "data/m
浏览 4提问于2016-03-14得票数 2
回答已采纳
我使用星火mlib，用Logistic回归模型进行分类。我跟踪了这个链接：
import org.apache.spark.ml.classification.LogisticRegression;
import org.apache.spark.ml.classification.LogisticRegressionModel;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
// Load training da
浏览 0提问于2017-04-27得票数 2
回答已采纳
1回答
我试图使用数据注释来使用部分类验证实体框架模型。
在这个中，我被告知，分部类应该与数据模型位于同一个名称空间中。我的数据模型位于EntityFrameworkDataProvider中，所以位于MyApp.Backend.Models中的部分类如下所示：
using System.ComponentModel.DataAnnotations;
namespace EntityFrameworkDataProvider
{
[MetadataType(typeof(ItemMetaData))]
public partial class Item { }
public
浏览 3提问于2010-11-22得票数 0
回答已采纳
1回答
新手在这里深造。我的问题是:我已经为3类0、1、2类建立了一个经过训练的对象检测(yolov5)模型。现在，我的下一步是将一个类分类为异常或不异常。换句话说，我需要一个额外的分类器，通过使用分类器或异常检测模型，将其进一步分类为子类，即异常或非异常。你能给我个建议吗?我该怎么做呢？我将使用GANs作为异常检测模型。这将是一个很大的帮助。提前谢谢你。
浏览 2提问于2021-12-22得票数 2
我喜欢避免使用spark-submit，而是使用python driver_file.py开始我的PySpark代码
我们使用spark.driver.extraJavaOptions和spark-submit或spark-defaults配置文件设置了一些代理设置。相反，我希望在Python代码中设置此选项，以便可以使用python driver_file.py运行它
但是，由于某些原因，当我尝试使用以下代码执行此操作时，我无法访问我试图访问的资源。但是通过在spark-default中使用相同的选项，我可以做到。我做错了什么？
sconf = SparkConf().set("sp
浏览 88提问于2018-06-22得票数 2
我正在使用以下代码创建一个聚类模型，然后将每个记录分类到某个聚类：
from pyspark.mllib.clustering import KMeans
from pyspark.mllib.linalg import Vectors
spark_df = sqlContext.createDataFrame(pandas_df)
rdd = spark_df.rdd.map(lambda data: Vectors.dense([float(c) for c in data]))
model = KMeans.train(rdd, 2, maxIterations=10, initia
浏览 6提问于2016-09-17得票数 2
回答已采纳
2回答
因此，我需要对螺旋数据集进行分类。我一直在试验一系列算法，如KNN，Kernel SVM等。我想尝试使用特征工程，预处理等来提高Logistic回归的性能。 我也在使用scikit learn来做所有的分类。 我完全理解Logistic回归不是解决这类问题的合适算法。这更像是对预处理和其他特征工程/提取方法的学习练习，看看我可以在多大程度上改进这个特定的模型。 以下是我将用于分类的示例数据集。任何关于如何操作数据集以在Logistic回归算法中使用的建议都将是有帮助的。 ? 我也有多个螺旋线的数据集。有些数据集有2个类，有时多达5个。这意味着最多有5个螺旋。
浏览 44提问于2021-07-12得票数 0
回答已采纳
为了构建一个NaiveBayes多类分类器，我使用一个CrossValidator来选择管道中的最佳参数：
val cv = new CrossValidator()
.setEstimator(pipeline)
.setEstimatorParamMaps(paramGrid)
.setEvaluator(new MulticlassClassificationEvaluator)
.setNumFolds(10)
val cvModel = cv.fit(trainingSet)
管道按照以下顺序包含常用的变压器和估计器:
浏览 0提问于2016-01-08得票数 10
回答已采纳
2回答
我正在使用spark MLlib构建机器学习模型。如果数据中有分类变量，我需要给出libsvm格式的文件作为输入。
我尝试按照libsvm站点2. Csvtolibsvm.py in phraug github中的建议使用1. Convert.c将csv文件转换为libsvm。
但这两个脚本似乎都没有转换分类数据。我还安装了weka并尝试保存为libsvm格式。但在weka explorer中找不到该选项。
请建议将分类数据的csv转换为libsvm格式的任何其他方法，或者让我知道这里是否遗漏了什么。
提前感谢您的帮助。
浏览 1提问于2015-07-16得票数 3
1回答
spark JDBC列大小：
我正在尝试获取列(VARCHAR)大小，我正在使用：
spark.read.jdbc(myDBconnectionSTring、scheam.table、connectionProperties)
来检索列名和类型，但我需要varchar列的大小。在java JDBC数据库元数据中，我可以获得列名、类型和大小。有没有可能使用spark？谢谢
浏览 1提问于2018-04-01得票数 0
1回答
我试图在databricks上运行azureml-sdk AutoML来对分类任务进行特征/模型扫描，当我运行实验时，我得到了以下错误：
在spark集群上运行实验: ComputeAutoML。
ERROR: Setup iteration failed: {'exception': ValueError('dataprep_json is None')}
浏览 11提问于2020-02-20得票数 0
1回答
假设存在二进制分类问题，$1$表示为“坏”结果，$0$表示“好”结果。如果是相关的话，那么样本中的坏处要比商品多得多。
我正在尝试开发一个分类模型，其中期望的结果是概率，而不仅仅是输出类。
然而，无论我尝试什么变量/模型组合，模型都能很好地区分坏情况，但不能区分好情况。换句话说，(平滑的)经验结果与模型估计概率的分布函数不是单调的，大致具有倾斜抛物线的形状(如字母$J$)。
My问题：什么是常见的策略，以重塑任何模型，将评估重点放在好的案例上？如果可能的话？
从直觉上看，似乎一种可能的策略是为最小化器定义一个自定义度量，对于好的和坏的情况有不对称的权重。也就是说，在受惩罚的线性回归的情况下，变
浏览 0提问于2018-06-11得票数 3
我是新来的。我正在研究一个分类模型，并希望使用ChiSqSelector来选择用于模型培训的重要特性。但是，当我使用ChiSqSelector选择的特性进行训练时，它会引发以下错误：
"IllegalArgumentException: U‘’Feature 0被标记为标称(分类)，但它没有指定值的数量“。
有趣的是，当我使用基于树的算法时，我得到了上面提到的错误。因为，天真的偏见和logistic回归，我没有得到错误。
当我使用spark文档中的示例代码中提供的数据时，我发现了同样的结果。该错误可以通过使用spark 2.1.1文档中的代码来再现：
from pyspark.ml.f
浏览 4提问于2017-09-17得票数 5
我试图建立一个RNN模型来预测几个不同城市和不同产品部门的日销售额(每天的分类特征和多个输入)，以及诸如流量、温度等数值特征(每天的单输入)。如何使用这些特性构建模型。我试图将编码(Label编码器)标记为分类特征，并试图连续地训练/更新一个RNN模型，并将每个城市的产品段数据的时间序列提供给它，但最终得到了巨大的预测误差。是否有一种方法可以对分类特性进行热编码，如果我确实使用了一种热编码，该如何实现(输出维数是多少)？
浏览 0提问于2020-06-04得票数 0
我正在研究NaiveBayes分类器，我可以使用经过训练的模型来预测单个数据点的值，但我想得到概率值。
数据仅分为两类。预测函数返回0或1。
import org.apache.log4j.{Level, Logger}
import org.apache.spark.ml.classification.{NaiveBayes, NaiveBayesModel}
import org.apache.spark.ml.feature.LabeledPoint
import org.apache.spark.ml.linalg.Vectors
import org.apache.spark.sql
浏览 0提问于2021-01-10得票数 1
回答已采纳
1回答
嗨，我在weka (j48交叉验证)中的模型有问题，当涉及到第二类时，许多实例被分类错误。有什么办法来改善它，或者说没有？我不是维卡方面的专家。提前谢谢你。我的产量超过了。在NaiveBayes中，对于第二类，它呈现出较好但仍小于0.5的TP率。
浏览 3提问于2016-02-13得票数 1
回答已采纳
我已经建立了许多学习分类器模型来执行多标签分类，我想校准他们的predict_proba输出，以便我可以获得信心分数。我还想使用诸如sklearn.metrics.recall_score这样的指标来评估它们。
我有4个标签要预测，真正的标签是多热编码(如[0, 1, 1, 1])。因此，CalibratedClassifierCV不直接接受我的数据：
clf = tree.DecisionTreeClassifier(max_depth=15)
clf = clf.fit(train_X, train_Y)
calibrated_clf = CalibratedClassifierCV(cl
浏览 2提问于2021-12-17得票数 3
回答已采纳
1回答
我面临着二进制分类问题。我正在使用一些机器学习模型和Python 3，我注意到有些模型在给定的类上比其他类表现得更好。我想把它们结合起来，以提高我的准确性和精确度。我知道一种在回归问题中这样做的方法，比如加权平均预测。但我不知道这在分类问题上是否合理。而且，你必须知道一个更好的方法。
下面是我的算法，它帮助我识别那些特别难以预测的标签：
"""
each value is in {0, 1}
ytrue : real values
ypred : predicted values
"""
def errorIdentifier(ytrue, yp
浏览 0提问于2019-05-29得票数 0
回答已采纳
1回答
我有一个用LibSVM训练的多类.model。有没有办法将这个模型分解成不同的二进制分类器?例如，如果我有一个为n个类训练的.model，我希望有(n-1)个/2个二进制分类器分开，因为据我所知，为了获得多类分类器，LibSVM训练一对一。
浏览 1提问于2014-01-31得票数 0
这似乎与以下最相关：
我正在使用spark进行分类任务，构建一个MultilayerPerceptronClassifier。一旦我建立了一个模型，我就可以得到一个给定输入向量的预测类，但是我无法得到每个输出类的概率。上面的清单表明，NaiveBayesModel在Spark1.5.0 中支持此功能。我想得到这个功能的MLPC。有什么办法能破解我的概率吗？会否包括在1.6.2内？
浏览 5提问于2016-03-12得票数 4
回答已采纳
1回答
在版本1.6中，管道api获得了一组新的特性来保存和加载管道阶段。在我训练了一个分类器之后，我尝试将一个阶段保存到磁盘上，然后再加载它以重用它，并节省计算的工作量，以重新建模。
由于某些原因，当我保存模型时，目录只包含元数据目录。当我再次加载它时，我会得到以下异常：
线程"main“中的异常: org.apache.spark.rdd.RDD$$anonfun$first$1.apply(RDD.scala:1330) at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150) a
浏览 0提问于2016-01-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
