查询时Dask长度不匹配

文章/答案/技术大牛

发布

1回答

python、dask、dask-dataframe

是不是因为列不匹配？如果是，是否有一种方法可以读取所有csv并以这样一种方式执行联合:数据帧将具有所有列名，并且不会显示以下错误。import dask.dataframe as dddf['time'] = df['time

浏览 18提问于2021-05-08得票数 1

回答已采纳

1回答

使用Dask读取文件列表

python、python-3.x、csv、dataframe、dask

我发现Dask可以这样读取多个csv文件：df = dd.read_csv('myfiles.*.csv') # doctest: +SKIP而是一些：df = dd.read_csv(my_files) ValueError:长度不匹配

浏览 1提问于2020-03-03得票数 3

回答已采纳

1回答

Dask错误:值的长度与索引长度不匹配

python、csv、dataframe、runtime-error、dask

我以这种方式使用读取csv文件：train = dd.read_csv('act_train.csv')不幸的是，最后一行代码会生成以下错误:值的长度与索引长度不匹配

浏览 1提问于2016-08-08得票数 1

回答已采纳

1回答

值的Dask长度与索引长度不匹配错误

python、pandas、dask

我遇到了一个非常奇怪的错误，它涉及到将新列分配给现有的dask dataframe。给出下面的最小示例，from dask import dataframe as dd但是，这会抛出以下错误：当我首先计算数据帧，然后使用相同的语法添加列时(

浏览 0提问于2020-02-19得票数 4

1回答

Dask groupby and apply :值错误预期轴有6个元素，新值有5个元素

dask

我目前正在尝试使用dask。我在这里附加了代码片段。当我执行此命令时，我得到以下错误：这里我漏掉了什么？有没有其他方法可以基于dask中的键来折叠行？The task in hand, to do the following sample in a dask dataframekey,c1,c2,c3......

浏览 0提问于2018-05-16得票数 0

1回答

分布在本地计算机上的Dask元数据列顺序与较小的分区大小不匹配

pandas、dataframe、metadata、dask

当我尝试使用dask清理大量jsonl文件时，如果我使用的分区大小为128MB，它会提示我列顺序不匹配，但如果我使用的分区大小为512MB，则可以很好地工作所以我的代码看起来像这样： importdask.dataframe as ddfrom dask.distributed import Client client = Client(n_workers= ['item1', 'item2',

浏览 20提问于2021-04-06得票数 1

回答已采纳

1回答

dask.DataFrame.apply与变长数据

python、dask

我想将一个函数应用到一个dask.DataFrame，它返回一系列可变长度。np.random.randint(100) 背景/ usecase:在我的dataframe中，每一行代表一个模拟跟踪。编辑:正如MRockli

浏览 3提问于2016-12-13得票数 2

回答已采纳

2回答

弹性搜索的双向匹配

elasticsearch、solr、lucene、nosql

我已经索引了一个术语列表，现在我想查询其中的一些如何创建精确的双向匹配查询。ie:我想在搜索“”时只使用( dog )这个词，而不是其他的(因为它们不匹配)。我想出的一个基本解决方案是用长度(按字数)对术语进行索引，然后在用lengh X搜索查询时

浏览 5提问于2015-10-29得票数 0

回答已采纳

1回答

延迟评估Dask数组以避免临时性

dask

对于Dask数组，这是可能的吗？Dask的“惰性评估”是否也是这样做的，或者这个术语只是指操作图的按需计算。谢谢。

浏览 2提问于2018-11-10得票数 1

1回答

使用NCBI命令行blast获取不匹配的数据库主题序列

blast、ncbi

查询(长度9)是ADZTZZETK，但是当对数据库序列进行处理时，它给出长度8的对齐(ADZTZZET:ADZTZZET)。这意味着查询序列K的最后一个、第9个字符与数据库序列不匹配。不过，我还是想得到数据库序列的第九个错误匹配的字符。有人能告诉我在命令行blast中应该使用哪个选项吗？

浏览 3提问于2016-03-21得票数 0

回答已采纳

2回答

使用Dask加载具有不同列的多个CSV文件

pandas、csv、amazon-s3、dask、dask-distributed

相反，我试图使用Dask加载和总结所有这些文件，而可选列应该被视为零。如果所有与我相同的列可以使用： addr = "s3://SOME_BASE_ADDRESS/*.csv" df.groupby(["index"]).sum().compute() 文件

浏览 3提问于2021-08-04得票数 2

回答已采纳

1回答

在Dask工人中设置`n螺纹‘的最佳选项

python、kubernetes、dask

我希望一个工作人员运行一个并且只有一个算法，所以我混淆了在初始化时传递给dask的nthreads参数。restartPolicy: Never - image: MyFunnyDockerImage args: [dask-workerrequests: memory: 8G - name: acr-secret 当我设置--nthreads

浏览 4提问于2022-02-02得票数 0

2回答

将dask转换为pandas数据帧

python、pandas、dataframe、dask

我有一个与这个问题非常相似的问题：Dask read_csv-- Mismatched dtypes found in pd.read\_csv/pd.read\_table 我正在运行以下脚本： importpandas as pddf2 = dd.read_csv("Path/*.csv", sep='\t', encoding='unicode_escapeSTVAO', 'STVZE', &#x

浏览 39提问于2020-04-15得票数 0

1回答

并行SQL查询

dask、dask-delayed

如何使用dask并行地运行具有不同列维的SQL查询？以下是我的尝试：from dask.diagnostics import ProgressBarProgressBar=results[2]df5=results[4]但是，这会导致引发以下错误： DatabaseError:在SQL上执行失败："SQL查询“ORA-01

浏览 1提问于2018-09-06得票数 2

回答已采纳

1回答

将列表指定为Dask-Dataframe列

python-3.x、dask、dask-dataframe

我有一个dask-dataframe，并使用一些列来处理熊猫date_range进程，它将创建如下列表： list=[[2005/01/01,2005/01/02,2005/01/03],[2005/05

浏览 0提问于2021-08-16得票数 1

1回答

将dask系列列表转换为dask* DataFrame*

python、dataframe、boolean、dask、series

我有一个包含几个dask系列的列表。每个系列都是布尔型的，长度相同。这里有三个元素的摘录，只是为了展示它们。Name: Sequence, dtype: boolnpartitions=15Dask Name: eq, 75 tasks, Dask Series Structure:

浏览 0提问于2020-03-27得票数 2

1回答

url重写删除索引页

apache、.htaccess、mod-rewrite、url-rewriting

我正在尝试写一个.htaccess文件但是，在转到mysite.com时，它会显示mysite.com/dmp/temp文件夹的内容。如果我在前面添加/index，那么它就能工作了。

浏览 1提问于2012-03-10得票数 1

回答已采纳

1回答

在运行TPOT时，Dask在被杀的工人异常中一直失败。

kubernetes、dask、dask-distributed、tpot

我在gcp上运行，dask在kubernetes集群上运行，该集群是24核120 gb内存，4节点的kubernetes，我的kubernetes yaml是kind:# CHANGE THIS TO BE YOUR DOCKER HUB IMAGE command: ["/opt/conda/bin/dask-schedulerimagePullPolicy: Always

浏览 0提问于2019-01-29得票数 1

1回答

达斯克:如何在“自动”模式下计算内存限制？

dask、dask-distributed

文档显示了“自动”模式下的下列公式：我的记忆规范：MemFree: 1142108 kB当我触发dask_worker命令时，将显示以下输出：distributed.worker它似乎与以前的公式不<

浏览 3提问于2022-03-16得票数 2

回答已采纳

1回答

N分区是否会影响dask.dataframe.head()的结果？

python、pandas、dask

当运行以下代码时，dask.dataframe.head()的结果取决于n分区：import pandas as pdprint(ddf.head()) A B但是，当我将n分区设置为1或2时，我得到了预期的结果：0 1 22 3 4 似乎很重要的一点是，n分

浏览 1提问于2016-07-09得票数 8

回答已采纳

点击加载更多