使用张量流的Dask失败，出现‘`CRITICAL Failed to Serialize`错误
Dask是一个用于并行计算的开源Python库，它提供了张量流（Tensorflow）的集成。当使用张量流的Dask进行计算时，可能会遇到CRITICAL Failed to Serialize错误。
这个错误通常发生在序列化对象时，因为Dask需要将任务分发到不同的节点进行并行计算。当遇到无法序列化的对象时，Dask无法将任务正确地传递给计算节点，从而导致此错误的发生。
要解决这个问题，可以考虑以下几点：
- 检查代码中的对象序列化问题：首先，检查代码中是否使用了无法被序列化的对象，比如自定义的类或函数。Dask要求对象可以被序列化以便在不同节点之间传递。
- 使用Dask提供的序列化函数：Dask提供了一些用于序列化的函数，比如
dask.delayed和dask.serialize。可以尝试使用这些函数将任务进行序列化，以解决无法序列化的对象问题。 - 使用合适的分布式文件系统：Dask通常使用分布式文件系统来存储和传输数据。确保选择了适合的文件系统，并正确配置和管理它。
- 检查环境和依赖项：确保Dask和张量流的版本兼容，并检查是否有其他依赖项冲突或错误。
- 查找和排除错误来源：使用调试工具和日志，尝试找出导致错误的具体代码或操作，以便更好地解决问题。
此外，如果您在使用Dask过程中遇到其他问题，可以参考腾讯云提供的Dask相关文档和产品，腾讯云提供了适用于云计算的产品和服务，例如云服务器、云数据库等。可以参考腾讯云官方文档获取更多信息：
- Dask相关文档：https://cloud.tencent.com/document/product/1392
- 腾讯云产品介绍：https://cloud.tencent.com/product/1
希望这些信息能够帮助您解决问题。如果还有其他疑问，请随时提问。
相关·内容
所有这些代码都适用于熊猫，但是运行单线程是缓慢的。
我有一个对象(它是一个布卢姆过滤器)，创建速度很慢。
我有dask代码，看起来类似于：
def has_match(row, my_filter):
return my_filter.matches(
a=row.a, b =row.b
)
# ....make dask dataframe ddf
ddf['match'] = ddf.apply(has_match, args=(my_filter, ), axis=1, meta=(bool))
ddf.compute()
当我尝试运行
浏览 0提问于2018-09-18得票数 2
回答已采纳
我刚刚升级到macOS蒙特利，正在尝试运行上周在macOS Catalina上运行的Dask/Python代码。我已经从YAML文件中删除并重新创建了我的conda环境。我还为蒙特利将Python升级到了3.9.7版本。现在，我尝试从Dask工作进程在我的本地机器上运行时出现以下错误。
distributed.protocol.core - CRITICAL - Failed to deserialize
Traceback (most recent call last):
File "/Users/awd/opt/anaconda3/envs/SpikedTensor/lib/p
浏览 5提问于2021-12-02得票数 0
通过map_partitions(...).compute()在Dask集群上运行代码，期望结果仅为cca 2Gb大小。
令人惊讶的是，MemoryError在我的本地机器上失败了！不过，我肯定是使用客户端进行远程集群，远程集群的仪表板也显示集群正在忙于这项任务，集群也达到了其内存消耗的峰值(最初我认为集群的内存是问题所在)。
我想知道怎么可能，内存问题发生在本地机器内存上？预期结果大小是cca 2Gb，而我的笔记本电脑有16 2Gb。
dask_client.upload_file(os.path.join(src_folder,'capacity.py'))
result
浏览 8提问于2021-11-23得票数 0
回答已采纳
1回答
我将qtmobility模块的多媒体编译到arm上(使用QtE4.8.1 arm- linux -gcc)，并将lib文件和plugin文件放在我的arm linux文件系统中。当我运行一个demo videoplayer (在桌面上运行良好)时，会得到一个错误，如下所示：
找不到服务- "com.nokia.qt.mediaplayer“是否可以在上运行qtmobility multimediakit
因此，我将gstreamer库放在由arm-linux-arm编译的/lib目录下，也出现了错误
(:267)：GStreamer-CRITICAL **：gst_object_ref
浏览 4提问于2012-06-18得票数 1
1回答
Dask分布式库导致序列化错误
、、、、
我已经用10个工作人员和每个工作人员4个线程初始化了集群，并且我有12台核心膝上型计算机，我正在运行它。
cluster = makeIndividualDashboard.LocalCluster(n_workers=10, threads_per_worker=4)
client = makeIndividualDashboard.Client()
runOna(client)
client.shutdown()
下面是我正在进行集群计算的代码。
st = settings.as_dict()
new_settings = namedtupl
浏览 4提问于2020-04-08得票数 1
回答已采纳
我使用正式指示安装了Android (ADT)包，其中包括Eclipse。当我从命令行运行程序时，我看到这个消息8次：
LIBDBUSMENU关键**：watch_submenu:断言`GTK_IS_MENU_SHELL(菜单)‘失败
当我离开的时候我得到：
>(ADT:5170): LIBDBUSMENU-GTK-CRITICAL **: watch_submenu: assertion 'GTK_IS_MENU_SHELL(menu)' failed
>(ADT:5170): LIBDBUSMENU-GTK-CRITICAL **: watch_submenu:
浏览 0提问于2013-02-01得票数 1
我使用在Ubuntu12.10上安装了包含Eclipse的Android (ADT)包。当我从命令行运行程序时，我看到这个消息8次：
LIBDBUSMENU关键**：watch_submenu:断言`GTK_IS_MENU_SHELL(菜单)‘失败
当我离开的时候我得到：
(ADT:5170)：LIBDBUSMENU关键**：watch_submenu:断言GTK\_IS\_MENU\_SHELL(menu)' failed
(ADT:5170): LIBDBUSMENU-GTK-CRITICAL \*\*: watch\_submenu: assertionGTK_I
浏览 0提问于2013-02-01得票数 0
当C/C++应用程序失败并出现以下关键问题时，您能告诉我如何找出导致错误的代码在哪里吗？
我试着在调试器中运行它，试图在程序失败时执行'bt‘，但它没有显示导致关键问题的代码在哪里：
(process:3155): GLib-GObject-CRITICAL **: /build/buildd/glib2.0-2.22.3/gobject/gtype.c:2458: initialization assertion failed, use IA__g_type_init() prior to this function
(process:3155): GLib-CRITICAL **
浏览 1提问于2010-03-16得票数 6
回答已采纳
3回答
我第一次和dask一起工作，试图从一个经过训练的keras模型中运行预测()。
如果我不使用dask，这个函数可以正常工作(即pd.DataFrame()与dd.DataFrame () )。对于Dask，错误在下面。这不是一个常见的用例吗？(也许除了得分组外)
def calc_HR_ind_dsk(grp):
model=keras.models.load_model('/home/embedding_model.h5')
topk=10
x=[grp['user'].values,grp['item'].value
浏览 0提问于2018-03-14得票数 6
回答已采纳
我非常熟悉为CPU分发的Dask。我想探索如何在GPU内核上运行我的代码。当我向LocalCUDACluster提交任务时，我会得到以下错误：
ValueError: tuple is not allowed for map key
这是我的测试用例：
import cupy as cp
import numpy as np
from dask_cuda import LocalCUDACluster
from dask.distributed import Client
cluster = LocalCUDACluster()
c = Client(cluster)
def test_f
浏览 5提问于2020-06-03得票数 0
回答已采纳
我有一个Dask分布式应用程序，它在Docker容器上运行工作人员。问题是，当我运行一个SQLAlchemy read_sql_query语句时，我在工作人员中得到一个异常，即异常:无法选择“弱”对象
注意:这在本地工人中运行很好，只有对Docker失败。
这是简化的代码：
from sqlalchemy.ext.declarative import declarative_base
Base = declarative_base()
class test_loans(Base):
__tablename__ = 'test_loans'
loan_id = Colu
浏览 18提问于2022-08-15得票数 1
回答已采纳
2回答
环境:Ubuntu9.10 Eclipse -jee-伽利略-SR2-LinuxGTK
当我登录ubuntu并运行eclipse时，它就能工作了。但是，当我更改为root用户，然后启动eclipse时，会出现一个错误：
(eclipse:5632)：GObject警告**：无效(NULL)指针实例
(eclipse:5632)：GObject关键**：g_signal_connect_data:断言G\_TYPE\_CHECK\_INSTANCE (instance)' failed
(eclipse:5632): Gtk-CRITICAL \*\*: gtk\_settings\
浏览 4提问于2010-06-13得票数 1
回答已采纳
有两个任务调度程序系列：
单机调度程序:此调度程序在本地进程或线程池上提供基本功能。此调度程序是首先创建的，是默认的。虽然它只能在一台机器上使用，而且不扩展分布式调度器，但使用起来简单而廉价:这个调度器更复杂，提供了更多的功能，但也需要更多的精力来设置。它可以在本地运行，也可以分布在集群中。
为了更好地理解，我正在尝试复制一些例子。
给出了这个例子。
>>> import dask
>>> import dask.distributed # populate config with distributed defaults
>>>
浏览 0提问于2019-09-06得票数 1
1回答
Gedit语法突出显示不起作用
、、、、
在我的大部分C++和php编辑中，我已经使用gedit了几个月了，语法突出显示很好。就在最近，我去查看了我的一个.cpp文件，语法突出显示失败了。我尝试了多个其他文件，现在语法高亮显示都失败了。当gedit运行时，我会收到以下错误：
(gedit:9833): GLib-CRITICAL **: PCRE library is compiled without UTF8 support
(gedit:9833): GLib-CRITICAL **: g_regex_match_full: assertion `regex != NULL' failed
(gedit:9833):
浏览 5提问于2016-07-22得票数 1
回答已采纳
尝试使用一个read_sql_table运行dask.distributed Client，其中的表是一个查询，因为我不想得到整个表。下面的例子。
import dask.dataframe as dd
from dask.distributed import Client
client = Client()
sql = select([schema.datetime, # DateTime format
schema.id]) \ # UUID
.select_from(schema) \ # schema clas
浏览 4提问于2020-11-20得票数 1
回答已采纳
2回答
我一直想发动上议院！0.3.0.2已经有一段时间了。它安装得很好，并出现在启动程序中，但没有启动，没有抛出错误，甚至出现在任务管理器中，有什么想法吗？
我用的是Ubuntu Gnome 16.04.3
在那之前我在Kubuntu 16.04。它在那里也不起作用(因为它没有改变界面)。
从终端发射时，我会收到以下错误：
(process:24804): glibmm-CRITICAL **: Glib::ObjectBase* Glib::wrap_create_new_wrapper_for_interface(GObject*, GType): assertion 'wrap_fun
浏览 0提问于2018-02-07得票数 5
我正在尝试使用dask客户端来并行化我的计算。当我运行df.compute()时，我得到了正确的输出(尽管它非常慢)，但当我在设置客户端后运行相同的东西时，我得到了以下错误：
distributed.protocol.pickle - INFO - Failed to serialize <function part at 0x7fd5186ed730>. Exception: can't pickle _thread.RLock objects
这是我的代码，在第一个df.compute()中，我得到了预期的结果，在第二个中我没有得到。
@dask.delayed
def
浏览 3提问于2018-11-06得票数 0
1回答
我已经使用prefect和dask的组合在GCP上部署了一个kubernetes集群。这些作业在正常情况下运行良好，但它无法扩展到数据的2倍。到目前为止，我已经将范围缩小到调度器由于高内存使用率而关闭。一旦内存使用量达到2 2GB，作业就会失败，并显示“未检测到心跳”错误。
有一个单独的构建python文件，我们可以在其中设置工作内存和cpu。有一个dask-gateway包，我们可以在其中获取Gateway选项并设置工作内存。
options.worker_memory = 32
options.worker_cores = 10
cluster = gateway.new_cluster(
浏览 6提问于2021-11-15得票数 0
1回答
极随机Pango碰撞
、、、、
正如标题说的那样，我经历了一些奇怪的撞车事故，显然是由Pango或其他原因引起的。
我的程序工作正常，每件事都准时进行，没有任何奇怪的视觉故障或任何其他类型的错误，但这种错误通常会导致崩溃。有时，它只是抛出一个异常并继续，但是大约10%的异常以崩溃告终，而没有提到我不知道是什么导致了它。
下面是一些不同尝试的日志：
最常见的一种：
(App:23224): Pango-CRITICAL **: pango_layout_set_width: assertion 'layout != NULL' failed
(App:23224): Pango-CRITICAL **: pa
浏览 3提问于2016-12-04得票数 1
回答已采纳
编辑:在Socket::CanReceive()中出现逻辑错误。我在检查1毫秒的输入。这就是为什么在步入gdb时，一切都能正常工作。
我的C插座出了点问题。如果send()/recv()处于非调试模式，则它们不会执行任何操作。我甚至不能std::cout它们的返回值。由于某种原因，std::cout在我的方法中不起作用。我也不能std::cerr errno。在gdb中检查这一点是没有意义的，因为在gdb中一切都工作得很完美。Wireshark不会在非调试模式下记录数据包。
//b - buffer
//s - size
//sd - socket descriptor
int
浏览 0提问于2014-07-28得票数 0
1回答
我正在按照dask文档进行操作，并且已经使用pip安装了daskcomplete和graphviz，并在系统安装时安装了graphviz。
where dot提供了指向正确的可执行文件位置的...\Anaconda3\envs\compute\Library\bin\dot.bat。
现在，运行此命令失败：
import dask.array as da
x = da.ones((5,15),chunks=(5,5))
d = (x+1).dask
from dask.dot import dot_graph
dot_graph(d)
使用RuntimeError: failed to exe
浏览 1提问于2017-05-15得票数 0
1回答
错误:无法序列化元组类型的对象
、、、、
我试着用Dask来运行基因组数据的模型。但是，当我标准化或处理数据时，我得到了一个错误。
我在做一个贫民窟的集群。因此，首先我要启动一个集群：
cluster = SLURMCluster(
cores=16,
processes=1,
name='dask-worker',
memory='32GB',
walltime='12:00:00',
log_directory='logs',
python='sr
浏览 13提问于2022-05-14得票数 0
我们的EA中有一个内存错误，我们使用-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/path/to/some/dir在OOM时转储堆。
我们的堆内存为12 We，perm代为256 We。
堆转储是在运行应用程序的Linux框中生成的，其大小为11.5GB。我们没有把它下载到本地的特权。
当我们试图使用分析11 an堆转储时，它会抛出一个OOM。
我们尝试了来自Linux的以下命令。
jhat java_pid1491.hprof
jhat -J-Xmx16g -XX:-UseBiasedLocking java_pid1491.hprof
浏览 8提问于2011-05-17得票数 2
回答已采纳
我正在尝试用这些指示建立本地主机
现在，在第11步，我应该打开航站楼的海里，但无论我做什么，它都会向我抛出一些错误。
我尝试重新安装和更新nautilus，但没有成功；使用sudo nautilus后也会出现相同的错误。
这就是错误的样子。
(nautilus:4594): GLib-GIO-CRITICAL **: g_dbus_interface_skeleton_unexport: assertion 'interface_->priv->connections != NULL' failed
(nautilus:4594): GLib-GIO-CRITICA
浏览 0提问于2016-07-02得票数 9
在我的web api数据访问层中，Asp.net TRY CATCH没有捕获存储过程的失败。注意:这个代码模板使用了我的web api数据访问层，并且运行良好。只是不是在这种情况下。奇怪！！(我在底部包含了一个类似的工作示例)。
我预计存储过程会失败，因为没有满足条件的行。因此，在这种情况下，我引发了一个错误(RAISERROR)，它将一个条目写入我的错误日志表。
当我通过SSMS或运行我的web应用程序来调用执行存储过程的web api时，就会发生这种情况。
包含2个条目的错误日志表。一个是通过SSMS运行存储过程，另一个是运行我的web应用程序。
问题是web api数据访问层代
浏览 0提问于2021-01-03得票数 0
我在图中的不同任务上多次得到以下错误(执行之间的变化)。可能在某些任务返回numpy.array和scipy.sparse矩阵时。
distributed.protocol.pickle - INFO - Failed to deserialize b'\x80\x04'
Traceback (most recent call last):
File "/home/user/venv/lib/python3.5/site-packages/distributed/protocol/pickle.py", line 59, in loads
retur
浏览 0提问于2018-02-13得票数 1
我正在运行Fedora F16 (使用XFCE而不是Gnome 3)，自从我安装它以来，每当我从终端运行GUI软件时，我就会收到类似的错误：
(file-roller:4828): Gtk-CRITICAL **: gtk_style_provider_get_style_property: assertion `g_type_is_a (gtk_widget_path_get_object_type (path), pspec->owner_type)' failed
(file-roller:4828): Gtk-CRITICAL **: gtk_style_provider
浏览 0提问于2011-11-29得票数 4
回答已采纳
2回答
导致Gtk在断言时中止
、、、
我必须调试一个严重依赖Gtk的程序。问题是，由于某些原因，在使用GtkWindow对象时，已经开始出现许多运行时警告。问题是，即使Gtk抱怨出现严重错误，它也不会在出现这些错误时中止。我没有代码库的更改历史记录，所以我唯一的选择似乎是仔细检查所有可疑的gtk调用，看看问题出在哪里。但是，如果我能以某种方式使Gtk在这个错误上中止，我可以用gdb运行它，并尝试获取回溯并定位错误的确切位置。你知道如何做到这一点吗？
GLib-GObject-WARNING **: invalid uninstantiatable type `<invalid>' in cast to `GOb
浏览 1提问于2011-01-10得票数 7
回答已采纳
1回答
我只是升级了太多的ubuntu16.10，现在我的QtMultimedia 5.7出现了一些问题。
当试图从qml访问相机时，我得到了以下错误。
(main:8542): GLib-GObject-WARNING **: invalid (NULL) pointer instance
(main:8542): GLib-GObject-CRITICAL **: g_signal_connect_data: assertion 'G_TYPE_CHECK_INSTANCE (instance)' failed
(main:8542): GLib-GObject-WARNING
浏览 0提问于2017-01-19得票数 1
2回答
我尝试将断言验证规则与decimal一起使用，但它失败并出现错误。
这是我的表格
$builder->add('cinp_number', 'number', array(
'required' => false,
));
这是我的实体
/**
* @Assert\Type(type="decimal")
* @var decimal
*/
private $cinp_number;
这是提交以字符串值作为输入的表单时的错误：
Warning: NumberFormatter::
浏览 0提问于2017-08-26得票数 0
3回答
我试图通过numpy发送大的client.scatter(np_ndarray)雷达。np_ndarray大约是10 is；我得到了这个错误msgpack Could not serialize object of type ndarray。
在创建我的客户端时，我交替使用了pickle，即Client(self.adr, serializers=['dask', 'pickle'])。
数据大小是否有msgpack无法管理的限制？
当scatter,或dask发送数据时，是否总是使用msgpack根据数据类型决定协议？
我注意到有一
浏览 20提问于2022-01-17得票数 1
回答已采纳
上下文
我正在尝试使用dask分布式和以前项目中的一些遗留代码来编写数据管道。get_data只需获取url:str和session:ClientSession作为参数，并返回一只熊猫DataFrame。
from dask.distributed import Client
from aiohttp import ClientSession
client = Client()
session: ClientSession = connector.session_factory()
futures = client.map(
get_data, # function to get d
浏览 8提问于2022-11-25得票数 0
org.eclipse.m2e.logback.configuration:在初始化状态位置之前激活了org.eclipse.m2e.logback.configuration捆绑包。将在初始化状态位置后重试。
(Eclipse:5550)：GLib-CRITICAL **：g_base64_encode_step: assertion 'in != NULL‘失败
(Eclipse:5550)：GLib-CRITICAL **：g_base64_encode_step: assertion 'in != NULL‘失败
(Eclipse:5550)：GLib-CRITICAL
浏览 0提问于2018-01-27得票数 12
1回答
我需要在大于内存的张量上执行一些计算，但首先我需要从适合内存的NumPy数组(部分)构造它。
我计算这些NumPy数组，然后将它们转换为Dask数组，并将它们放在list上。我的最后一个张量是这些数组的一个特殊的串联。问题是，根据部分的数量，我甚至不能到达发生连接的代码行。
例如，使用shape (30, 40, 40, 40, 40)的一部分，因此在614 MB周围，使用内存的16 GB (通常是无10的)，仅仅是试图计算20部分就足以耗尽内存。
我可以看到每个新张量的计算是如何变慢的，以及可用RAM如何变得越来越少，直到进程被终止。如果我计算10部件，我可以看到我可用的RAM从10 GB下
浏览 2提问于2021-07-09得票数 0
1回答
当我运行nautilus时，就会生成这个警告。从那以后我安装了dropbox，但是我
卸载dropbox
重新安装的海螺
重新安装gnome会话
从我的终点站：
~ nautilus
(nautilus:27481): Gtk-WARNING **: Failed to register client: GDBus.Error:org.freedesktop.DBus.Error.ServiceUnknown: The name org.gnome.SessionManager was not provided by any .service files
编辑:我试图重新安装dropbox
浏览 0提问于2016-04-22得票数 2
1回答
当我使用nautilus &通过gnome终端打开nautilus时，我会收到以下消息.
** (nautilus:29419): WARNING **: 16:51:41.696: Error on getting connection: Failed to load SPARQL backend: GDBus.Error:org.freedesktop.DBus.Error.NoReply: Message recipient disconnected from message bus without replying
(nautilus:29419): GLib-GIO-CRI
浏览 0提问于2018-12-26得票数 1
回答已采纳
我正在将代码转换为使用dask数组而不是numpy数组。
我已经安装了dask 0.19.4版。
我有一个数组，它已被等效的dask数组所取代：
# this used to be a numpy array, created like so:
# da = np.zeros((total_months,))
da = dask.array.zeros((total_months,), chunks=(-1))
当我点击下面的代码行(在数组是numpy数组时，代码行以前是工作的)，我会得到一个项赋值错误：
for k in range(total_months):
da[k] = aw
浏览 2提问于2018-10-22得票数 1
回答已采纳
1回答
我正在尝试将服务器中的错误日志打印到一行中，其中包含了失败的时间和重要细节。第一行包含日志的时间戳，新行的最后一行包含日志的原因。想把它们排成一行。任何帮助都是非常感谢的。“需要时间戳、严重性、空白行前面的最后一行”在一行中。
目前的日志结构：
MAR31 10:30 critical
cable is faulty
MAR31 10:31 info
Card is recovered
MAR31 10:31 critical
Another card failed
MAR31 10:31 critical
missing inventory
cable missing
.....
.
浏览 4提问于2015-04-02得票数 0
回答已采纳
1回答
我正在尝试创建一组类方法来读取.JSON文件的特定部分，但在将信息从一个方法传递到另一个方法时遇到了问题，在这种情况下，我试图将dask.bag从'read_files‘方法传递到'split_to_requests’方法。我不确定我的错误在哪里，但是在“test_split_requests”测试中运行单元测试失败。我在代码的底部添加了测试。 import json
import pandas as pd
from dask import bag
class WeatherDataConverter:
def __init
浏览 23提问于2020-01-10得票数 0
考虑一个prefect任务，它的内存需求事先不知道。如果任务由于工作人员没有足够的内存而失败，是否可以修改dask工作者参数并重新运行该任务？
如果有一种方法可以在每次失败后将每个工作人员的内存分配增加一些值，那就太好了。
浏览 6提问于2021-12-11得票数 0
回答已采纳
我希望过滤在机器人框架中执行我的测试用例后生成的输出文件中的失败消息。我尝试过像robot.api导入ExecutionResult这样的模块，但它只给出了通过和失败测试用例的数量。
我还尝试过其他机器人框架Libtraries，如导入robot.errors，以过滤掉所有错误消息，但没有得到任何结果。下面是我的代码块：
#!/usr/bin/python
from robot.api import ExecutionResult
import robot.errors
from robot.result.visitor import ResultVisitor
xmlpath = "
浏览 4提问于2015-06-16得票数 3
回答已采纳
1回答
如何使用dask并行地运行具有不同列维的SQL查询？以下是我的尝试：
from dask.delayed import delayed
from dask.diagnostics import ProgressBar
import dask
ProgressBar().register()
con = cx_Oracle.connect(user="BLAH",password="BLAH",dsn = "BLAH")
@delayed
def loadsql(sql):
return pd.read_sql_query(sql,co
浏览 1提问于2018-09-06得票数 2
回答已采纳
我正在尝试从hdfs读取200个拼图文件，然后尝试使用4个GPU训练一个模型。我在机器上还有48个vcore可用。如果我只使用GPU工作器启动集群，那么读取部分将非常慢(因为它只使用分配给gpu工作器的4个cpu工作器，除非你在单独的shell上运行它们，否则你不能真正运行比gpu数量更多的工作器，然后它会变得很糟糕，因为内存管理问题是你自己的。)我想使用CPU工作器读取文件，与cpu工作器一起玩数据，然后使用GPU工作器训练xgboost模型。我阅读了文档here，了解如何启动不同资源的工作人员并将其分配给不同的任务。我也看过this的问题，但我有点困惑。 下面是我尝试运行以读取.parq
浏览 20提问于2021-09-16得票数 1
1回答
我有几个关于使用Dask与Hadoop/Yarn有关的问题。
1 )如何将Dask连接到Hadoop/纱线并并行化作业？
当我尝试使用：
from dask.distributed import Client
client = Client('Mynamenode:50070')
它导致错误：
CommClosedError: in :流已关闭:同时尝试调用远程方法“identity”
我应该传递名称节点或datanode的地址吗？我可以去找动物园管理员吗？
2 )如何使用和HDFS3从HDFS读取数据？
当我尝试使用以下方法读取文件时：
import dask.
浏览 5提问于2017-10-25得票数 2
回答已采纳
1回答
下面代码中的dask map_partitions函数有一个dask字段，它的月份与整数相比较。如果出现以下错误，此比较将失败：
ValueError:系列的真值不明确。使用a.empty、a.bool()、a.item()、a.any()或a.all()。
这个错误是什么?如何修复？
import pandas as pd
import dask
import dask.dataframe as dd
import datetime
pdf = pd.DataFrame({
'id2': [1, 1, 1, 2, 2],
'balance'
浏览 2提问于2021-12-28得票数 1
回答已采纳
1回答
我使用QtCreator和QT5.2.1在Ubuntu14.04 32位下创建了一个QT应用程序。我使用了QT框架的二进制分布。我遵循了所有关于部署QT应用程序和Ubuntu14.04的新安装的教程，一切似乎都很好。问题来自Ubuntu12.04。当我试图运行我的应用程序时，我会得到那些轻率的错误。
(流程:11884)：GObject CRITICAL **：/build/buildd/glib2.0-2.32.4/./gobject/gtype.c:2722:忘记调用g_type_init()
(流程:11884)：GLib关键**：g_once_init_leave:断言result
浏览 3提问于2014-09-08得票数 1
回答已采纳
在重新安装Debian (amd64)之后，它会在启动时分割故障，在syslog中生成这个输出：
kernel: [ 561.008751] telegram-deskto[3858]: segfault at 114 ip 00007f1729d8c75c sp 00007ffcac131230 error 6 in libgdk-x11-2.0.so.0.2400.31[7f1729d3e000+af000]
这些错误消息出现在shell中：
(telegram-desktop:6324): GLib-GObject-WARNING **: cannot register existin
浏览 0提问于2018-01-12得票数 0
1回答
首先，阅读这个问题：
现在，当Dask由于工作人员窃取或任务失败(例如，由于每个进程的内存限制)而决定重新运行任务时，哪个任务结果将传递到DAG的下一个节点？我们使用嵌套任务，例如
@dask.delayed
def add(n):
return n+1
t_a = add(1)
t_b = add(t_a)
the_output = add(add(add(t_b)))
那么，如果其中一个任务失败或被窃取，并且运行了两次，那么哪个结果会传递到DAG中的下一个节点？
感兴趣的人的进一步背景:出现这种情况的原因是我们的任务写入数据库。如果它运行两次，我们就会得到一个完整性错误，因为它试
浏览 1提问于2019-12-19得票数 0
1回答
达克处理延迟故障
、、、
如何将以下函数移植到dask以实现并行化？
from time import sleep
from dask.distributed import Client
from dask import delayed
client = Client(n_workers=4)
from tqdm import tqdm
tqdm.pandas()
# linear
things = [1,2,3]
_x = []
_y = []
def my_slow_function(foo):
sleep(2)
x = foo
y = 2 * foo
assert y <
浏览 1提问于2020-12-06得票数 0
回答已采纳
不出所料，我的RCP应用程序的主菜单出现在Ubuntu11.10的全局菜单中。但是，在退出时，我在Eclipse控制台中看到以下消息：
(Application name:13458): LIBDBUSMENU-GTK-CRITICAL **: watch_submenu: assertion `GTK_IS_MENU_SHELL(menu)' failed
(Application name:13458): LIBDBUSMENU-GTK-CRITICAL **: watch_submenu: assertion `GTK_IS_MENU_SHELL(menu)' fail
浏览 0提问于2012-03-21得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
