2回答
我是spark的新手，不得不写一个流媒体应用程序，它必须执行一些任务，比如快速傅立叶变换和一些机器学习的东西，比如使用svms进行分类/回归等。据我所知，spark使用dstream。这些流是否可以转换为numpy数组之类的内容，或者可以作为python函数的输入的类似内容？
Thx
浏览 0提问于2017-09-25得票数 0
2回答
我是Apache Spark的新手，不知道它是否适合我的特定场景。在我的例子中，我正在抓取小的数据集(作为MongoDB的JSON文件)。我正在尝试的是对这些数据文件运行机器学习(分类/回归)算法，并从中获取信息。
当你考虑这种情况时，你认为Spark有资格在集群环境中通过并行处理来加速吗？或者你认为我应该收敛到一些其他的选择？
浏览 5提问于2017-06-11得票数 0
1回答
我2017年出版的“学习火种”一书可以读到：
所以我想知道是否有任何关于情况的最新情况。MLlib还在维护吗？
浏览 0提问于2020-05-29得票数 0
回答已采纳
作为一个初学者，为了学习flex，我应该选择哪个版本或者从哪个版本开始，比如Flex 3还是Flex 4？请详细告知。
浏览 1提问于2010-06-15得票数 2
我一直在使用Python和Python的Scikit- learning机器学习API研究机器学习KNN (K近邻)算法。我已经搜索了许多选项、帮助和代码示例，它们将使用spark和Scikit-learn API并行分发我的机器学习处理，但我没有找到任何适当的解决方案和示例。您能让我知道如何使用Apache Spark和Scikit-learn API的K近邻来实现和提高性能吗？
提前感谢！！
浏览 0提问于2016-06-12得票数 1
最近我正在学习可伸缩的机器学习，Spark MLlib是我学习使用的第一个工具。我已经成功地使用Spark MLlib实现了一些简单的机器学习任务，比如线性回归，它们在我的笔记本电脑上都运行得很流畅。有人能告诉我为什么Spark MLlib让可伸缩的机器学习实现更容易吗？
浏览 3提问于2019-01-03得票数 0
1回答
我对一个非常大的数据集有一个问题(谁不呢？)它存储在块中，因此各块之间的差异很小(例如，这些块具有一定的代表性)。我想用算法来进行异步分类，但我想自己编写代码。start a masterwhile some criterion is not met classify the data inexactly using some kind of iterative algorithm and return to master
master waits fo
浏览 0提问于2015-07-09得票数 2
1回答
在Saha等人的中，显示了具有Tez的Hadoop2的以下模块化体系结构：为什么有人要在Tez上运行Spark/Flink？
其优势是什么？更好地利用纱线？
浏览 0提问于2016-09-09得票数 8
我有预测各种事物的500+模型，以及一个由400m+个人和大约5,000个可能的自变量组成的大型数据库。这个过程耗时太长，容易出错(更多的是它变成的复杂代码网络的一个指标)，代价很高(需要大量的云实例)，并且只允许在R中构建模型(我想基本上不知道模型来自哪种语言，但我主要想启用Python和R--这是一个不
浏览 0提问于2020-01-21得票数 2
例如，LogisticRegression在org.apache.spark.ml.classification中有一个，在org.apache.spark.mllib.classification中也有一个我唯一能找到的区别是，org.apache.spark.ml中的那个是从Estimator继承的，可以用于交叉验证。我很困惑，因为它们被放在不同的包裹里。有人知道原因吗？谢谢!
浏览 8提问于2015-05-14得票数 17
回答已采纳
我已经简单地学习了如何使用RDDs来构建ML模型，但在过去，我通常使用数据帧来构建ML模型。我知道spark.ml是用于spark机器学习的DataFrame应用程序接口，但我还没有找到如何使用它的示例。我的问题是，您能否提供一个示例，说明如何使用Dataframe来构建spark机器学习模型？
另外，如果这个问题不合适的话，很抱歉，我不知道在哪里发布这个问题。
浏览 1提问于2017-03-09得票数 1
1回答
我正在尝试使用SQL从Spark 中读取Avro数据。示例：USING com.databricks.spark.avrospark .format("com.databricks.spark.avro")
.option("avroSchema", new Schema.Parser().
浏览 1提问于2017-06-23得票数 1
spark ML和system ML有什么区别？IBM上的apache spark engine中的system ml和spark ml都解决了问题，想知道主要区别是什么吗？
浏览 44提问于2020-04-21得票数 1
此外，spark、java和Hadoop的所有环境变量都已设置。
运行spark-shell命令时仍收到此错误。请有人help....google它很多，但没有找到任何东西。
浏览 7提问于2018-08-25得票数 0
我有一个数据集(15 GB)：7200万条记录和26个特征。我想比较7个监督ML模型(分类问题)：支持向量机，随机森林，决策树，朴素贝叶斯，神经网络，KNN和XGBoosting。我创建了一个包含720万条记录的样本集(占整个集的10%)。在样本集上运行模型(甚至是特征选择)已经是一个问题。它有很长的处理时间。目前我只使用RStudio。我正在寻找一个无成本的解决方案来解决我的问题。有人能帮帮我吗？
浏览 25提问于2019-11-10得票数 0
我想开始学习Spark 2.0，所以我尝试设置我的dev (Scalav2.11)环境。如何设置一个开发环境来学习和开发星火应用程序，而不必访问多台机器，但仍然能够学习和编写基于Spark的全功能环境的代码？
浏览 3提问于2016-08-13得票数 0
回答已采纳
我知道Spark有两个用于机器学习的库。一个是spark.ml，另一个是spark.mllib。我只想知道使用spark.ml构建的spark程序是否可以使用和测试(预测)使用spark.mllib pachages构建的模型，反之亦然？
浏览 4提问于2017-04-24得票数 0
我正在使用pandas_udf在我的spark集群上应用机器学习模型，并且对预定义通过箭头发送到UDF的最小记录数很感兴趣。我按照databricks教程学习了大部分的UDF...https://docs.databricks.com/applications/deep-learning/inference/resnet-model-inference-tensorflow.html在本教程中，我将spark会议设置为具有最大批量大小和启用箭头。spark
浏览 14提问于2019-05-22得票数 3
我想扩展我的工具箱并学习一个分布式计算框架。
在2013-2014年左右，Hadoop制造了很多麻烦。根据我在这个问题上的有限知识，Apache在各个方面都改进了Hadoop的多种功能。
浏览 0提问于2018-12-23得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
