我有一个数据集，它是一个巨大的、短的、胖的矩阵(大约4000 x 20,000,000)。我认为dask对我来说可能是一个很好的解决方案。但是，我希望确保可以将其编码为一个单热矩阵。我查看了dask-ml中的选项，它们似乎总是需要一个dask数据帧。然而，创建一个有2000万列的数据帧似乎真的很奇怪，而且可能会导致大量开销。使用dask<
浏览 9提问于2018-02-14得票数 2
1回答
我已经在码头上与工人一起实现了达斯克。label1]X2 = data2[features2]
with joblib.parallel_backend('dask我可以用工人1到5训练1，工人6到10训练2，但如何告诉达斯克分布使用一些工人用于一个任务，而其他工人为另一个任务？
浏览 3提问于2021-07-22得票数 0
回答已采纳
有时，使用dask.dataframe.map_partitions进行合并之类的操作很有吸引力。在某些情况下，当使用map_partitions在left_df和right_df之间进行合并时，我希望在执行合并之前先预缓存right_df，以减少网络开销/本地混洗。感觉应该可以使用client.scatter(the_df)、client.run(func_to_cache_the_df)或其他智能广播中的一种或两者的组合。在</e
浏览 0提问于2019-07-30得票数 2
我一直在努力寻找从S3中读取大型csv文件( 10+，百万条记录)并对其中一列(总行数和平均值)执行几个简单操作的最快方法。我已经运行了几个测试，到目前为止最快的是创建一个dask数据帧，但我想知道是否有其他的替代方案可以让事情变得更快。测试1.print(df.count)print("%s seconds" % ((time.time())-(start_time)))
测
浏览 6提问于2021-02-14得票数 0
我有一个关于dask.distributed中任务的调度/执行顺序的问题，用于大型原始数据集的强数据缩减。
将作为3D数组存储在HDF5文件(或其中的几个文件)中的电影帧读入dask阵列。这显然是相当重的I/O。在2D图像上运行几
浏览 6提问于2020-05-24得票数 0
问题 2 1 0
然而，我尝试过的所有解决方案都需要对数据进行一次热编码，以使其具有某种顺序，而在我的示例中尝试的解决方
浏览 0提问于2018-07-20得票数 1
云Oracle是基于腾讯云TStack的Oracle云化解决方案，采用开放的“X86服务器+高速以太网络+分布式软件定义存储”架构，有哪些优点和应用呢？
浏览 1675提问于2018-09-19
1回答
', 'Sessions_8']], dtype=object).tolist()
在尝试训练ML模型时，我认为最好使用新的向量“session”列，而不是分隔的Session_x列(否则，我们只进行一次热编码！)但我发现了一个错误：
我搜索了这个错误，到处都提到，根本原因可能是形状不一样或者元素有不同的数据类型……但我的情况不是这样的
浏览 1提问于2022-11-27得票数 0
回答已采纳
使用在线零售II数据集(https://archive.ics.uci.edu/ml/datasets/Online+Retail+II)，我试图预测每个客户何时下订单，如果可能的话，这些订单的货币价值这将证明一个真正的在线零售商店的概念，在其中，我将获得更多的数据/功能。InvoiceNo:发票号码。名义上。唯一分配给每个事务的6位整数。输出要么是一个稀疏的、一个热编码<
浏览 0提问于2020-01-06得票数 2
我正在学习星火，以便使用它的ML模块来构建分类器。我的数据存储在MongoDB中，包含用cPickle序列化的小图像。文档中了解到，分类器与向量和矩阵一起工作，这是在pyspark.ml.linalg模块
浏览 4提问于2017-04-26得票数 0
回答已采纳
6回答
字符串作为决策树/随机林中的特征
、、、、
在一个决策树/随机森林的应用中，我正在做一些问题。我试图适应一个问题，它有数字和字符串(如国家名称)作为功能。现在，科学知识-学习只使用数字作为参数，但是我想注入字符串，因为它们携带了大量的知识。我可以通过某种机制(如Python中的散列)将字符串转换为数字。但是我想知道在决策树问题中如何处理字符串的最佳实践。
浏览 0提问于2015-02-25得票数 85
回答已采纳
5回答
如何使用spark-ml而不是spark-mllib处理分类数据？虽然文档不是很清楚，但似乎分类器(例如RandomForestClassifier、LogisticRegression )有一个featuresCol参数，它指定了DataFrame中的特性列的名称，显然，我希望在我的预测中使用多个特性，所以我尝试使用VectorAssembler将所有特性放在featuresCol下的一个向量中。
浏览 10提问于2015-08-28得票数 49
可能重复: 有哪些不同的广泛使用的RAID级别，以及我何时应该考虑它们？我们已经到了经常耗尽空间的地步，我们正在探索增加更多空间的选择。只有大约10人经常使用服务器，而且通常在任何时候都不超过4到5人在
浏览 0提问于2012-02-03得票数 2
回答已采纳
我试着阅读CockroachDB的文档，如果我理解体系结构文档，底层数据库是一个关键/值数据库，但是在执行SQL语句之前，值被序列化并反序列化，比如UPDATE语句。我无法在文档中找到使用哪种序列化技术，或者我可以选择是否更改它(比如Avro、Protobuf等)。
其次，对于下表结构。与关系数据库Postgres相比，我将经历多少性能损失。我问的原因是，我们在我们的项目中使用Apache Cassandra，当然，拥有一个
浏览 5提问于2022-08-04得票数 0
2回答
我需要转换大的csv到一个热编码np.ndarray为凯拉斯模型。1.'有没有办法使用"pd.dataframe.apply“来转换成一个热编码？
浏览 2提问于2019-04-09得票数 0
3回答
我想知道为什么x264中的无切片线程()会导致延迟？例如，如果我有两个线程，第一个线程编码一个帧，第二个线程编码一个帧。在某些情况下，秒数必须等待第一个。但它们可以并行编码。
浏览 0提问于2012-07-22得票数 4
我用分类数据构建模型已经有一段时间了，在这种情况下，我基本上默认在构建模型之前使用scikit-learn的LabelEncoder函数来转换这些数据。我理解OHE、LabelEncoder和DictVectorizor在数据处理方面的区别，但我不清楚的是，您什么时候可以选择使用一种技术而不是另一种技术。
浏览 0提问于2015-12-19得票数 171
回答已采纳
我正在使用大型CSV (~60 in；~250M行)和Dask in Jupyter。 加载DF后，我要做的第一件事是连接两个字符串列。我可以成功地做到这一点，但是我注意到单元执行时间似乎并没有随着工作进程数量的增加而减少(我在一台具有64个逻辑核心的机器上尝试了5、10和20 )。同时，Dask仪表板的进度条表明，任务与工作人员数量有很好的比例关系。在5个工作进程中，任务完成(ac。到仪表板)大约需要10-15分钟
浏览 21提问于2021-07-23得票数 1
回答已采纳
我有复制设置mysql日志文件的位置，所有的databases....the - log文件都在一个路径，这是我的默认数据目录mysql。
我读到过，为了获得更好的性能，应该将它们分开存储。
浏览 1提问于2011-05-24得票数 3
我知道CAN的工作和一个罐头框架的样子。CAN数据或远程帧包含帧的开始、消息标识符字段、DLC、RTR、数据(有效载荷)、CRC、ACk字段等。我知道CANopen标准使用CAN总线发送CAN消息。但是，CANopen的CAN帧的外观方式是不同的，在消息标识符字段中包含COB ID+Node ID，在有效负载字段中包含与对象字典相关的信息。因此，我想提出以下问题：
如何定义对象字典
浏览 0提问于2020-03-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
