Spark/Pyspark: SVM -如何获得曲线下面积？
Spark/Pyspark是一种基于Apache Spark的开源分布式计算框架，用于处理大规模数据集的计算任务。SVM（Support Vector Machine）是一种常用的机器学习算法，用于分类和回归分析。
要获得SVM模型的曲线下面积（Area Under Curve，AUC），可以按照以下步骤进行：
- 数据准备：首先，需要准备训练数据集和测试数据集。训练数据集用于训练SVM模型，测试数据集用于评估模型性能。
- 特征工程：对数据进行特征提取和转换，以便用于训练和测试SVM模型。这可能涉及到特征选择、特征缩放、特征编码等操作。
- 模型训练：使用训练数据集训练SVM模型。在Spark/Pyspark中，可以使用MLlib库提供的SVM算法进行模型训练。
- 模型预测：使用训练好的SVM模型对测试数据集进行预测，得到预测结果。
- 计算AUC：根据预测结果和真实标签，计算SVM模型的AUC。AUC是ROC曲线下的面积，用于评估分类模型的性能。可以使用Spark/Pyspark中的BinaryClassificationEvaluator类来计算AUC。
以下是一些腾讯云相关产品和产品介绍链接地址，可以用于支持Spark/Pyspark和SVM模型的开发和部署：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）：提供了丰富的机器学习工具和服务，可用于数据处理、模型训练和部署。
- 腾讯云数据万象（https://cloud.tencent.com/product/ci）：提供了图像处理和分析的能力，可用于图像特征提取和转换。
- 腾讯云大数据平台（https://cloud.tencent.com/product/emr）：提供了基于Spark的大数据处理和分析服务，可用于处理大规模数据集。
请注意，以上仅为示例，其他云计算品牌商也提供类似的产品和服务，具体选择应根据实际需求和预算来决定。
相关·内容
我正在尝试在非常非常大的数据集上运行svm，而我无法使用sklearn来运行它。使用sklearn需要无尽的时间。所以我决定使用pyspark这里是我的spark配置 [('spark.app.id', 'local-1606562652917'),
('spark.executor.id', 'driver'),
('spark.app.name', 'SVM'),
('spark.driver.maxResultSize', '6g'),
('s
浏览 80提问于2020-11-28得票数 0
我正在尝试使用sklearn网格搜索am进行超视距计的调谐。我希望使用公制的“查全率下的面积”。
gridsearchcv类似于
>>> parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]}
>>> svc = svm.SVC()
>>> clf = GridSearchCV(svc, parameters, scoring='accuracy')
>>> clf.fit(iris.dat
浏览 2提问于2021-07-28得票数 1
回答已采纳
我正在尝试加载一个支持向量机文件并将其转换为DataFrame，这样我就可以使用Spark的ML模块(Pipeline ML)。我刚刚在Ubuntu14.04(没有配置spark-env.sh )上安装了一个全新的Spark 1.5.0。
我的my_script.py是：
from pyspark.mllib.util import MLUtils
from pyspark import SparkContext
sc = SparkContext("local", "Teste Original")
data = MLUtils.loadLibSVMFile
浏览 0提问于2015-09-26得票数 55
回答已采纳
我正在使用PySpark运行Spark1.1.0。
当我直接运行文档中的示例时：
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.classification import SVMWithSGD
import array
data = [
LabeledPoint(0.0, [0.0]),
LabeledPoint(1.0, [1.0]),
LabeledPoint(1.0, [2.0]),
LabeledPoint(1.0, [3.0])
]
svm = SVMWit
浏览 4提问于2014-10-17得票数 1
回答已采纳
最近，我一直在尝试使用Spark来做二进制分类。我用Python编写代码，为了使用Spark SVM，我使用了以下包：
from pyspark.mllib.classification import SVMWithSGD
看看，我意识到Scala版本的SVM.predict返回一个分数，而python版本返回一个标签。由于我想使用以下方法来计算AUROC：
from pyspark.mllib.evaluation import BinaryClassificationMetrics
我确实需要分数，而不是测试样本的标签。阅读spark官方文档时，我发现不幸的是，前面提到的python版本只
浏览 2提问于2015-09-03得票数 0
1回答
我刚开始使用pyspark，我刚刚将我的LinearSVC模型保存在一个名为"svm.model“的文件夹中。我有两个文件夹:数据和元数据。
现在我正试着加载模型。这是我加载模型的代码：
# Spark environment
from pyspark.sql import SparkSession
from pyspark.ml.classification import LinearSVC
spark = SparkSession.builder.getOrCreate()
# read model
lsvc = LinearSVC(maxIter=10, regParam=0.
浏览 0提问于2020-11-19得票数 0
回答已采纳
我正在尝试用运行示例代码
from sklearn import svm, datasets
from pyspark import SparkContext
from spark_sklearn import GridSearchCV
iris = datasets.load_iris()
parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]}
svr = svm.SVC()
sc = SparkContext()
clf = GridSearchCV(sc, svr, pa
浏览 7提问于2017-09-13得票数 1
2回答
我想在使用caret包进行交叉验证后，从我的二进制分类器中获得曲线下面积(AUC)。
对于标准混淆矩阵，我在caret::confusionMatrix中使用average参数。
示例：
controls = trainControl(method="repeatedcv"
, number=5
, repeats=10
, selectionFunction = "oneSE"
, classProbs
浏览 0提问于2017-05-28得票数 1
我是星火公司的新手。我想在PySpark MLlib中对支持向量机进行多类分类。我在Windows上安装了Spark2.3.0。
但是，我搜索发现支持向量机只在星火库中实现了二进制分类，所以我们必须使用一种-vs-all策略。这给了我一个错误，当我试图使用一个-vs-所有的支持向量机。我寻找错误，但没有找到解决办法。
我使用了来自这个链接的one-vs-all代码。
这是我的代码：
from pyspark.mllib.classification import SVMWithSGD , SVMModel
from pyspark.ml.classificati
浏览 1提问于2018-04-29得票数 1
回答已采纳
我最近一直在处理随机森林和朴素贝叶斯。现在我想使用支持向量机。
在对模型进行拟合之后，我想使用输出列"probability“和"label”来计算AUC值。但现在我发现支持向量机没有“概率”一栏？！
在这里，您可以看到我到目前为止是如何做到的：
from pyspark.ml.classification import LinearSVC
svm = LinearSVC(maxIter=5, regParam=0.01)
model = svm.fit(train)
scores = model.transform(train)
results = scores.sele
浏览 2提问于2018-01-25得票数 1
回答已采纳
我正在尝试使用Python3.5而不是Python2.7在Spark中运行线性回归。所以首先我导出了PYSPARK_PHTHON=python3。我收到一个错误“没有名为numpy的模块”。我试着"pip install numpy“，但是pip不能识别设置PYSPARK_PYTHON。如何让pip安装numpy for 3.5？谢谢..。
$ export PYSPARK_PYTHON=python3
$ spark-submit linreg.py
....
Traceback (most recent call last):
File "/home/yoda/Cod
浏览 20提问于2017-02-11得票数 0
我在控制台、纱线、客户端模式中使用了${SPARK_HOME}/bin/pyspark；sqlContext可以查询我的蜂巢表，但是当我在纱线中使用${SPARK_HOME}/bin/火花提交时；客户端模式下，sqlContext无法找到蜂巢数据库。
你知道我遗漏了哪些参数或文件吗？
如何定义sqlContext，使用Spark2.1.0：
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext
conf = SparkConf()
sc = SparkContext(conf=conf)
浏览 0提问于2018-07-18得票数 2
回答已采纳
我已经使用以下代码创建了数据框： import pyspark
from pyspark.sql import functions as F
sc = pyspark.SparkContext()
spark = pyspark.sql.SparkSession(sc)
data = [('A', 'B', 1), ('A', 'B', 2), ('A', 'C', 1)]
columns = ['Column1', 'Col
浏览 12提问于2020-06-15得票数 0
1回答
我搜索了这类错误，却找不到任何关于如何解决它的信息。这就是我在执行以下两个脚本时得到的结果：
org.apache.arrow.memory.OutOfMemoryException: Failure while allocating memory.
write.py
import pandas as pd
from pyspark.sql import SparkSession
from os.path import abspath
warehouse_location = abspath('spark-warehouse')
booksPD = pd.read_csv(
浏览 3提问于2019-08-20得票数 1
基本上，我有如下所示的pyspark脚本(在spark_example.py中是这样说的)：
import os
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName('example_app').setMaster('local[8]')
sc = SparkContext(conf=conf)
if __name__ == '__main__':
ls = range(100)
ls_rdd = sc.parallelize(ls
浏览 2提问于2016-05-06得票数 3
回答已采纳
1回答
假设我运行一个python，(file1.py)，它接受一个文本文件作为参数。我按以下方式运行它：
python file1.py textfile1.txt
在file1.py中执行以下代码
from pyspark import SparkContext
....
#I can read the file using the follwoing command
sc = SparkContext()
inputfile= sc.textFile(sys.argv[1])
要使file1.py无问题地运行，我必须做哪些必要的修改？
但是pyspark不适用于我，通常，我使用的是火花提交！所
浏览 4提问于2017-03-30得票数 0
回答已采纳
我是Spark的新手，我现在的版本是1.3.1。我想用PySpark实现逻辑回归，所以我从中找到了这个例子
from pyspark.mllib.classification import LogisticRegressionWithLBFGS
from pyspark.mllib.regression import LabeledPoint
from numpy import array
# Load and parse the data
def parsePoint(line):
values = [float(x) for x in line.split(' '
浏览 1提问于2016-05-03得票数 3
回答已采纳
1回答
我正在上运行pySpark，并且我试图使用网络图进行缩放。
这是我的配置
import pyspark
from pyspark.sql import SparkSession
conf = pyspark.SparkConf().setAll([('spark.jars', 'gs://spark-lib/bigquery/spark-bigquery-latest.jar'),
('spark.jars.packages', 'graphframes:graphf
浏览 3提问于2019-10-07得票数 2
2回答
我可以在我的窗户上做一个pip install pyspark。当我试图在下面运行一个示例脚本时，它告诉我没有设置我的SPARK_HOME。
我是否需要将我的SPARK_HOME设置为静止状态，以及如何进行此操作？
我在网上提到的博客做了一个从火花网站的火花文件的手动提取，然后他们不得不把SPARK_HOME和PYTHONPATH。
然而，我认为pip install pyspark已经消除了这一点。
import findspark
findspark.init()
import pyspark # only run after findspark.init()
from pyspark.
浏览 0提问于2018-04-04得票数 4
2回答
ROC曲线交叉验证
、、、
如何生成交叉验证的ROC曲线？
对于单个测试，我认为应该对SVM的分类分数设置阈值，以生成ROC曲线。
但我不清楚如何为交叉验证生成它？
浏览 7提问于2012-09-19得票数 3
回答已采纳
我从一个数据集中计算每个id的值。
这是我的数据集
44,erere,35
42,asdfasdf,10
44,asdfasdf,22
因此，我们的目标是拥有44个=> (35 + 22)和42个(10)
这是我的代码：
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("AA")
sc = SparkContext(conf = conf)
rdd = sc.textFile("data4.txt")
浏览 0提问于2021-03-03得票数 3
我知道在PySpark中导入CSV文件的两种方法： 1)我可以使用SparkSession。这是我在Jupyter Notebook中的完整代码。 from pyspark import SparkContext
sc = SparkContext()
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('Spark Session 1').getOrC
浏览 28提问于2019-10-18得票数 2
回答已采纳
我试图在Yarn框架上以客户端模式读取本地文件。我也无法在客户端模式下访问本地文件。
import os
import pyspark.sql.functions as F
from os import listdir, path
from pyspark import SparkConf, SparkContext
import argparse
from pyspark import SparkFiles
from pyspark.sql import SparkSession
def main():
spark = SparkSession \
.builder \
浏览 1提问于2018-10-18得票数 1
回答已采纳
我刚接触这个pyspark cassandra技术，我在pyspark中找到了很多关于Spark.sql的资源，我认为这很酷，但我仍然停留在与我的数据库的连接级别，因为我需要一个来自datastax的secure-bundle.zip来连接。所以，下面是我的问题： 我知道这是使用pyspark shell连接到我的远程数据库的方法： pyspark --packages com.datastax.spark:spark-cassandra-connector_2.11:2.5.1\
--files path_to/secure-connect-test.zip \
浏览 16提问于2020-08-27得票数 2
我用的是Spark 2.3.1，我想用toPandas() (使用unique())。 当我在pyspark中执行以下代码时 df.toPandas()['column_01'].unique() 我面临以下异常： >>> df.toPandas()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Users/xxx/spark/python/pyspark/sql/dataframe.py
浏览 142提问于2018-12-17得票数 3
1回答
我已经做了一个SVM预测器，它可以将样本分类为三组之一-“好”，“坏”或“好”。然而，测试数据集只包含分类为“好”或“坏”的样本。当我尝试使用multi_roc时，我遇到了一个错误，我不确定解决它的最佳方法。我做的例子如下： library(tidymodels)
library(mlbench)
library(multiROC)
data(Ionosphere)
# preprocess dataset
Ionosphere <- Ionosphere %>% select(-V1, -V2)
# split into training and test data
ion
浏览 113提问于2021-04-16得票数 0
我是pyspark的新手，我想在我的Ubuntu 12.04机器上使用Ipython notebook来使用pyspark。下面是pyspark和Ipython notebook的配置。
sparkuser@Ideapad:~$ echo $JAVA_HOME
/usr/lib/jvm/java-8-oracle
# Path for Spark
sparkuser@Ideapad:~$ ls /home/sparkuser/spark/
bin CHANGES.txt data examples LICENSE NOTICE R RELEASE sca
浏览 5提问于2016-04-23得票数 0
我在一个有hive的hadoop集群上使用pyspark。我知道可以从命令行(spark-submit --version、hive --version、hadoop version)获取spark、hive和hadoop版本，但是如何在pyspark中实现同样的功能呢？
获取spark版本非常简单：
print("Spark version = ".format(spark._sc.version))
不过，我想不出如何获得hive & hadoop版本。有人知道吗？提亚
浏览 23提问于2020-02-14得票数 2
回答已采纳
我正在尝试在我的桌面上设置pyspark，并通过终端与其交互。我跟着这本指南走， http://jmedium.com/pyspark-in-python/ 当我在终端中运行'pyspark‘时， /home/jacob/spark-2.1.0-bin-hadoop2.7/bin/pyspark: line 45: python:
command not found
env: ‘python’: No such file or directory 我遵循了几个指南，它们都导致了这个相同的问题(有些指南在设置.profile时有不同的细节。到目前为止，没有一个是正确工作的)。我安装了j
浏览 397提问于2018-09-06得票数 7
回答已采纳
3回答
我正在一个数据库集群中工作，该集群具有内存的240GB和64个核心。这是我定义的设置。
import pyspark
from pyspark.sql import SparkSession
from pyspark.sql.types import *
import pyspark.sql.functions as fs
from pyspark.sql import SQLContext
from pyspark import SparkContext
from pyspark.sql.functions import count
from pyspark.sql.functions im
浏览 8提问于2020-03-31得票数 2
我正在通过pyspark启动一个spark实例。我使用的系统是EC2上的r3.8x，内存为244gb，vCPU为32。我使用的代码是
#Import Packages
import os
import sys
import pandas as pd
import numpy as np
import glob
import shutil
#Initialize Spark Environment
spark_path = "C:\spark"
os.environ['SPARK_HOME'] = spark_path
os.environ['HADOO
浏览 1提问于2017-07-24得票数 1
3回答
有没有办法在pyspark中从Spark ML中获取ROC曲线上的点？在文档中，我看到了一个Scala的例子，但没有看到python的例子：
是那么回事吗？我当然可以想到实现它的方法，但我必须想象如果有一个预先构建的函数，它会更快。我正在处理300万个分数和几十个模型，所以速度很重要。
浏览 14提问于2018-10-17得票数 13
回答已采纳
1回答
我对SVM分类器感到非常困惑，如果我听起来很愚蠢的话，我很抱歉。我正在使用java 的Spark库，这是线性支持向量机段落中的第一个示例。在此训练集上：
1 1:10
1 1:9
1 1:9
1 1:9
0 1:1
1 1:8
1 1:8
0 1:2
0 1:2
0 1:3
预测值: 8，2和1都是正的(1)。给定训练集，我希望它们是积极的，消极的，消极的。它只在0或负值时给出负值。我读到，如果预测为正双精度，则标准阈值为“正”，如果预测为负，则为“负”，并且我已经看到有一种手动设置阈值的方法。但这不正是我需要二进制分类器的原因吗？我的意思是，如果我事先知道阈值是什么，我就可以区分正值和负值，
浏览 1提问于2016-04-04得票数 1
我们的设置配置为在亚马逊网络服务上有一个默认的数据湖，使用S3作为存储，并将Glue Catalog作为我们的metastore。 我们开始使用Apache Hudi，我们可以在de AWS documentation之后让它工作。问题是，当使用文档中指出的配置和JAR时，我们无法在Glue元存储上运行spark.sql。 下面是一些信息。 我们使用boto3创建群集 emr.run_job_flow(
Name='hudi_debugging',
LogUri='s3n://mybucket/elasticmapreduce/',
R
浏览 101提问于2021-04-10得票数 0
回答已采纳
1回答
我使用Hive 0.13.1和Hadoop2.6.0运行Spark1.6.2。
我试着运行这个火花缭乱的脚本：
import pyspark
from pyspark.sql import HiveContext
sc = pyspark.SparkContext('local[*]')
hc = HiveContext(sc)
hc.sql("select col from table limit 3")
使用此命令行：
~/spark/bin/spark-submit script.py
我收到了一条错误信息：
File "/usr/loca
浏览 1提问于2016-07-10得票数 2
1回答
火花误差ReduceByKey
、、、、
我的reduceByKey()有问题。我不显示结果..。我有钥匙价值..。但不可能使用reduceByKey..。
data_test_bis = data_textfile.map(lambda x: (x.split(",")[8].encode("utf-8").replace('"','').replace("'",''), 1)).filter(lambda x: x[0].startswith('Ru'))#.reduceByKey(lambda x, y
浏览 1提问于2017-01-03得票数 0
回答已采纳
我在解密的时候发现了错误，这是mycode中的加密列。顺便说一下，我正在用Azure databricks编写下面的代码。
%sh
/databricks/python3/bin/python -m pip install --upgrade pip
python3 -m pip install pycryptodome
python3 -m pip install padding
%python
from Crypto.Cipher import AES
import hashlib
import sys
import binascii
import Padding
from binasci
浏览 27提问于2022-01-12得票数 0
我有一个LIBSVM缩放模型(用svm-scale生成)，我想移植到PySpark。我天真地尝试了以下几点：
scaler_path = "path to model"
a = MinMaxScaler().load(scaler_path)
但是我被抛出一个错误，需要一个元数据目录：
Py4JJavaErrorTraceback (most recent call last)
<ipython-input-22-1942e7522174> in <module>()
----> 1 a = MinMaxScaler().load(scaler_p
浏览 5提问于2016-11-29得票数 3
回答已采纳
2回答
在通过pyspark重新安装了pip install pyspark之后，我得到以下错误：
> pyspark
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/usr/local/bin/pyspark: line 77: /bin/spark-submit: No such file
浏览 1提问于2018-04-07得票数 6
回答已采纳
1回答
当我以jar的形式提交python脚本以激发oozie中的操作时，我会看到以下错误：
Traceback (most recent call last):
File "/home/hadoop/spark.py", line 5, in <module>
from pyspark import SparkContext, SparkConf
ImportError: No module named pyspark
Intercepting System.exit(1)
虽然我可以看到我的本地FS中存在吡火花库：
$ ls /usr/lib/spark/p
浏览 0提问于2017-05-26得票数 0
回答已采纳
我最近将我的spark版本从1.5更新到了2.0.1。由python脚本停止工作。
工作正常的1.5中的代码
sc=SparkContext(appName="YOGI")
在spark 2.0.1中修改的代码
sc =SparkContext().master("spark://107.110.74.58:7077").appName("Python Spark SQL basic example").getOrCreate()
File "/home/yogendra.s/codebase/processRawData.py
浏览 0提问于2017-02-20得票数 0
我手动创建PySpark DataFrame，如下所示：
acdata = sc.parallelize([
[('timestamp', 1506340019), ('pk', 111), ('product_pk', 123), ('country_id', 'FR'), ('channel', 'web')]
])
# Convert to tuple
acdata_converted = acdata.map(lambda x: (x[0][1], x[1][1], x[2
浏览 1提问于2017-11-08得票数 3
回答已采纳
当我尝试创建一个简单的数据集并将其打印出来时，我得到了以下错误消息。
from pyspark import SparkContext
from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
spark = SparkSession\
.builder\
.appName("SparkSessionExample")\
.master("local[4]")\
.config("spark.sql.war
浏览 93提问于2019-11-15得票数 0
1回答
我正在运行与mongodb连接的pyspark代码
sparkConf = SparkConf().setMaster("local").setAppName("MongoSparkConnectorTour").set("spark.app.id", "MongoSparkConnectorTour")
# If executed via pyspark, sc is already instantiated
sc = SparkContext(conf=sparkConf)
sqlContext = SQLContext(s
浏览 1提问于2019-10-09得票数 1
回答已采纳
我正在尝试在Mac上安装MLLib。在linux上，我只能通过这篇文章()来安装gfortran。我在我的Mac上安装了gfortran。但是，当我运行以下命令时：
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.classification import SVMWithSGD
data = [
LabeledPoint(0.0, [0.0]),
LabeledPoint(1.0, [1.0]),
LabeledPoint(1.0, [2.0]),
LabeledPoint
浏览 1提问于2014-10-17得票数 0
我在python中运行一个Apache程序，我收到了一个错误，我无法理解，也无法开始调试。我有一个驱动程序，它在一个名为hound.py的文件中定义了一个名为hound的函数。在同一个目录中，我有一个名为hound_base.py的文件，它定义了一个名为hound_base_func的函数。因此，为了将其称为猎犬，我导入“从hound_base导入hound_base_func”。这是可行的，我调用这个函数并传递一个。hound_base_func将其作为参数，对其底层的rdd进行一些工作，并调用rdd.collect()。这实际上会导致代码崩溃，错误消息是"ModuleNotFoun
浏览 1提问于2018-06-14得票数 7
回答已采纳
我正在尝试找出曲线阴影部分的面积。蓝色表示阈值以上，灰色表示阈值以下。在脚本中，您可以通过调整级别值来更改蓝色与灰色的比例。当level设置为2(图1)时，面积应相等。当色阶设置为1.6 (图2)时，蓝色应该比灰色有更大的面积，依此类推。关于如何找到阈值以下和以上的曲线区域，您有什么想法吗？
图1：
图2：
我的代码：
%% Example
x = 0:.01:4*pi;% x data
y = sin(x)+2;% y data
level = 2;% level
plot(x, y)
hold on
x_interest = 0:.01:x(length(y));
y_
浏览 9提问于2017-01-13得票数 2
回答已采纳
问题
AUC度量计算ROC或PR的面积吗？
背景
tf.keras.metrics.AUC说：
这个值最终作为auc返回，这是一个幂等运算，它计算精确值与召回值的离散曲线下的面积(使用上述变量计算)。
因此，它应该计算的是PR下的面积，而不是中华民国。然而，它也指出：
近似于ROC或PR曲线的AUC (曲线下面积)。
如果它计算PR下的面积，那为什么它说的是“近似的ROC或PR”，而不是只说“近似PR”而不使用中华民国？
请帮助我理解我错过了什么。
浏览 0提问于2021-07-17得票数 0
1回答
我在谷歌云存储上有一个文件夹，里面有几个拼图文件。我安装在我的VM pyspark中，现在我想读取拼图文件。下面是我的代码： from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.config("spark.driver.maxResultSize", "40g") \
.config('spark.sql.shuffle.partitions', '2001') \
.conf
浏览 26提问于2019-12-11得票数 0
1回答
我正在尝试训练一个SVM来对两个螺旋数据进行分类。
我的输入是一个3列的CSV文件，前两列是缓和曲线(未标准化)上的点的(x，y)-coordinates，第三列是点所属的缓和曲线(类)。
我首先对CSV文件进行规范化，使前两列在0和1之间(第三列保持不变)。
然后我创建并训练一个SVM，如下所示
CSVNeuralDataSet trainingSet = new CSVNeuralDataSer(normaliseCSV("/path/to/data/file"), 2, 1, false);
SVM svm = new SVM(2, false);
final
浏览 4提问于2015-04-26得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
