有没有办法在没有GPU的情况下运行RAPIDS？我通常在没有GPU的小型本地计算机上进行开发，然后将代码推送到功能强大的远程服务器上以供实际使用。像TensorFlow这样的东西允许在CPU和GPU之间进行切换，这取决于它们是否可用。同样的事情也可以用<em
浏览 20提问于2019-09-06得票数 2
3回答
我刚接触过Rapids，很难理解支持的操作。AAACACCGCCGT| 3| [3]|提到collect_list只受窗口支持，据我所知，这就是我在代码中所做的但是，查看查询计划，很容易看到collect_list不是由GPU执行的：
scala> x.withColumn("source_seqs", collect_list("source_
浏览 0提问于2021-05-20得票数 1
回答已采纳
目前，我正在研究如何使用ApacheSpark3.0和Rapids加速。在官方的spark-rapids文档中，我遇到了，它声明：
在某些情况下，您可能希望访问GPU上的原始数据，最好不要复制它。这方面的一个用例是在进行特征提取之后将数据导出到ML框架。对我来说，这听起来好像可以使GPU上已经可以从上游的Spark进程中获得的数据直接提供给诸如Tensorflo
浏览 4提问于2021-01-04得票数 1
回答已采纳
我正在使用一个带有2xNVidia A100 GPU的Ubuntu20.04.4服务器。Spark (3.3.0)正常工作，但是当我试图通过RAPIDS使用GPU时，它只是一直在等待，而没有加载数据。我试着以CSV和parquet文件的形式加载数据，但是失败了。我正在调用GPU的当前方式如下所示，尽管我尝试了许多在互联网上可以找到的组合。我还使用spark-submit提交作业，这导致了如下所示的问题。如能帮助纠正这
浏览 7提问于2022-08-08得票数 0
回答已采纳
我尝试导入cudf并获得以下错误：<ipython-input-2-4d311da055f8> in <module>()我遗漏了什么？
浏览 4提问于2020-08-05得票数 1
回答已采纳
1回答
当我在Ubuntu上的Jupyter Notebook中运行PySpark时，我有时会遇到Java失败的问题。我为什么需要这些日志的例子是，例如，我试图在DGX-1机器上的PySpark上运行Rapids，但它在初始化Spark Context时以类似abo的Java崩溃而结束。这不是导致这些错误的唯一原因，但这段代码很容易在我这边导致这些错误。",script)
con
浏览 7提问于2021-02-02得票数 0
2回答
我们有一个功能，允许用户通过UI界面拖放一个模块，形成一个数据处理管道，如读取数据、进行预处理、进行分类训练等。拖放后，这些模块将按顺序执行。每个模块将启动一个容器(通过k8s)运行，前一个模块处理的结果以文件的形式保存到cephfs中，下一个模块读取该文件，然后执行操作。这个序列化/反序列化过程很慢。我们计划使用RAPIDS来加速这个管道:通过将数据放在GPU MEM中来改善模块间的数据交换。使用cuDF/cuML而不是Panda
浏览 2提问于2019-04-03得票数 4
我正在尝试开始使用CUDA + RAPIDS。为此，我使用Ubuntu18.04和NVIDIA Tesla K80在Google Compute上启动了一个虚拟机。下面是我为了安装软件而运行的命令： wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804numpy pandas scikit-learn mat
浏览 49提问于2019-09-01得票数 0
1回答
我试图熟悉使用Scala的 (3.3)的-based计算。在能够使用GPU方面的主要争论似乎来自UDF的黑匣子性质。一个自动的解决方案是。但在有循环的情况下，它是行不通的。如果是这样的话，至少在某些情况下，即使火花代码没有变化，GPU的性能也是可以获得的，即使在数据大小远高于GPU内存的<em
浏览 16提问于2022-07-27得票数 1
回答已采纳
因此，我使用谷歌Colab，因为我有一些功能，我需要执行的时间太长，在我的cpu。我已经将运行时设置为GPU附加程序，但是当我运行单元时，仍然会收到这样的消息：“警告:您连接到GPU运行时，但没有利用GPU”。
我知道这意味着我正在运行的代码只是使用我的cpu。然而，使用我的cpu，这个函数需要几个小时才能执行。这就是为什么我想
浏览 13提问于2022-08-10得票数 0
我已经用两个RTX 2070 SUPER NVIDIA GPU构建了一台机器学习计算机，该GPU连接到Windows操作系统的SLI Bridge (在NVIDIA控制面板中验证了SLI)。我已经使用http://ai-benchmark.com/alpha对系统进行了基准测试，并获得了令人印象深刻的结果。为了充分利用使用GPU完成科学任务(cuDF)的库，我创建了一个TensorFlow Linux容器： https:&
浏览 29提问于2020-04-30得票数 0
回答已采纳
我正试图在windows电脑上运行Nvidia急流，但没有任何运气。我已经为windows安装了停靠桌面，并下载了急流图像。已经安装了Cuda 10.0，而Nvidia-容器-工具箱没有安装，我还没能让它运行。有什么想法或指导吗？
浏览 1提问于2019-10-30得票数 8
回答已采纳
我想知道我是否可以在谷歌的笔记本电脑上安装库(完全在GPU上执行机器学习任务)？
我做了一些研究，但我一直找不到办法.
浏览 3提问于2018-12-17得票数 2
回答已采纳
2回答
=0.14Determining conflicts: 0%|it/s]Package numba conflicts for:
rapids=0.14 -> cudf
浏览 8提问于2020-07-30得票数 1
回答已采纳
1回答
我正在使用python 3与nvidia急流，以加快机器学习培训使用孜然库和GPU。这是我用来训练孜然模型的代码。2调用cuMemAlloc在CUDA_ERROR_OUT_OF_MEMORY中的结果
encoded_d
浏览 0提问于2019-06-06得票数 1
2回答
急流提供了达斯克没有的东西？
、、、、
我想了解什么是达斯克和急流之间的区别，什么是急流提供的好处，达克没有。
急流内部是否使用dask代码？如果是这样的话，那为什么我们有达斯克，因为即使是达斯克也可以与GPU进行交互。
浏览 3提问于2020-03-18得票数 8
回答已采纳
1回答
我在我的项目中使用了dask (2021.3.0)和rapids(0.18)。在这个过程中，我在CPU上执行预处理任务，然后将预处理后的数据传输到GPU进行K均值聚类。但在这个过程中，我遇到了以下问题：
1个工作任务中的1个失败: std::bad_alloc: CUDA错误: GPU内存不足(在完全使用~/envs/include/rmm/mr/device
浏览 9提问于2021-03-19得票数 0
我正在使用一个>5 5GB的CSV文件，用于Kaggle中的竞争。我正在使用cudf和cuml进行数据预处理和机器学习。但对于可视化，我的计划是使用Plotly使用GPU加速可视化。由于Kaggle docker还没有包含Rapids，所以我使用以下数据集来安装它。
但我无法在Kaggle笔记本中导入"cuxfilter“包，即使在使用上述数据集安装rapids之后。import cuxfilter
浏览 3提问于2020-10-13得票数 0
我试图在木星笔记本上运行这个例子，这个例子找到了，并复制了下一篇cuML关于分类的介绍--它在6000以下的n_samples中运行良好(这个参数指示生成的数据集的行数)from请注意：
将n_features从10增加到5000，而n_samples = 5000运行得非常好。因此，这似乎是数据集的行数，而不是列数的问题。在机器上可用的2个G
浏览 4提问于2021-06-03得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号