如何查找dask数组分区的行索引
Dask是一个用于并行计算的开源框架，它提供了一种灵活的方式来处理大规模数据集。在Dask中，数组被分割成多个分区，每个分区可以在不同的计算节点上并行处理。要查找Dask数组分区的行索引，可以使用以下方法：
- 获取Dask数组的分区数：可以使用
dask_array.npartitions属性来获取Dask数组的分区数。该属性返回一个整数，表示数组被分割成的分区数。 - 获取Dask数组的分区索引范围：可以使用
dask_array.divisions属性来获取Dask数组的分区索引范围。该属性返回一个元组，包含每个分区的索引范围。例如，(0, 100, 200, 300)表示第一个分区的索引范围是从0到99，第二个分区的索引范围是从100到199，以此类推。 - 查找行索引所在的分区：根据行索引的值，可以使用
numpy.searchsorted函数和分区索引范围来确定行索引所在的分区。numpy.searchsorted函数可以在有序数组中查找给定值的插入位置。例如，对于行索引值为150的情况，可以使用numpy.searchsorted([0, 100, 200, 300], 150)来确定行索引150所在的分区索引。 - 推荐的腾讯云相关产品：腾讯云提供了一系列云计算产品，包括云服务器、云数据库、云存储等。对于Dask数组的分布式计算需求，可以使用腾讯云的弹性MapReduce（EMR）服务。EMR是一种大数据处理服务，可以提供高性能的分布式计算能力，适用于处理大规模数据集。
以下是腾讯云EMR的产品介绍链接地址：腾讯云弹性MapReduce（EMR）
请注意，以上答案仅供参考，具体的解决方案可能因实际情况而异。
相关·内容
dask是否可以一次将一行加载到内存中？我有一个巨大的200 at数据集，我希望dask在给定索引的情况下一次检索一行。然后，我想要从行中获取numpy数组。当我尝试呼叫时：
df_row = df.loc[index]
df_row = df_row.values.compute()
Dask尝试将整个df加载到内存中，而不是只加载一小行。如果我不调用compute而只是调用值，那么df_row仍然是一个dask.array对象。这似乎必须有一个显而易见的解决方案，因为它是一个如此常见和简单的用例。我做错了什么？
浏览 16提问于2018-08-01得票数 2
回答已采纳
我有一个一亿行数据的Dask数据。
我试图在不将整个数据文件加载到RAM的情况下迭代这个数据文件。
在实验中，尝试访问等于1的索引行。
%time dask_df.loc[1].compute()
花费的时间高达8.88秒(华尔街时间)。
为什么要花这么长时间？
我能怎么做才能让它更快？
提前谢谢。
每一个请求，这是代码。它只是读取1亿行数据并尝试访问一行。
`dask_df = dd.read_parquet("/content/drive/MyDrive/AffinityScore_STAGING/staging_affinity_block1.gzip", chunksi
浏览 7提问于2022-07-01得票数 0
回答已采纳
我有大约70 MD的MD模拟输出。固定行数解释和固定行数数据的模式在文件中有规律地重复。如何逐块读取Dask Dataframe中的文件，其中的解释行被忽略？
我成功地在pandas.read_csv的skiprows参数中编写了一个lambda函数，以忽略解释行，只读取数据行。我将pandas输入的代码转换为dask one，但它不起作用。在这里您可以看到用dd.read_csv替换pandas.read_csv所编写的dask代码：
# First extracting number of atoms and hence, number of data lines:
with open(f
浏览 0提问于2019-10-04得票数 0
我有一个dask数据帧和一个dask数组，它们以相同的逻辑顺序具有相同的行数。数据帧行通过字符串进行索引。我正在尝试将一个数组列添加到数据帧中。我尝试了几种方法，但都以其特定的方式失败了。
df['col'] = da.col
# TypeError: Column assignment doesn't support type Array
df['col'] = da.to_frame(columns='col')
# TypeError: '<' not supported between instances
浏览 15提问于2018-01-09得票数 8
1回答
我试图使用命令dask.dataframe从x.loc[0].compute()中只选择一行。它返回4行，所有行都有index=0。我尝试了reset_index，但在重置后仍有4行具有index=0。(我认为我重置是正确的，因为我做了reset_index(drop=False)，我可以在新列中看到原始索引)。
我阅读了dask.dataframe文档，它说明了index=0可能有多个行，这是因为dask如何构造块数据。
所以，如果我真的希望通过使用index=0来设置一个行，我如何做到这一点？
浏览 0提问于2019-02-02得票数 4
回答已采纳
当我使用带有pyarrow 0.11.1的dask=1.2.2时，我没有观察到这个行为。在更新(dask=2.10.1和pyarrow=0.15.1)之后，当我使用带有给定的partition_on和write_index参数的to_parquet方法时，我无法保存索引。在这里，我创建了一个最小的例子来说明这个问题：
from datetime import timedelta
from pathlib import Path
import dask.dataframe as dd
import pandas as pd
REPORT_DATE_TEST = pd.to_datetime(
浏览 9提问于2020-02-05得票数 2
2回答
我有Dask系列的Dask数据帧。
我想在本系列中建立索引，以获取dask数据帧以供后续工作使用。
但是，使用loc[0]会导致另一个dask系列。使用to_frame也不起作用，因为结果是"Dask系列Dask数据帧的Dask数据帧“。
下面是一个使用Dask系列Pandas数据帧的最小示例(不完全相同，但说明了问题)：
import pandas as pd
import dask.dataframe as dd
pdf1 = pd.DataFrame({'a': [1,2,3,4], 'b': [4,3,2,1]})
pdf2 = pd.Data
浏览 3提问于2020-02-03得票数 1
3回答
我正在使用python与dask一起创建一个逻辑回归模型，以便在培训时加快速度。
我有x，这是特征数组(numpy数组)，y是标签向量。
编辑: numpy数组是: x_train (n*m大小)浮点数数组，y_train是(n*1)整数向量，是训练的标签。这两种方法都很适合滑雪LogisticRegression.fit，而且在那里工作也很好。
我尝试使用这段代码创建一个熊猫df，然后将其转换为dask，并在其上进行培训，如所示
from dask_ml.linear_model import LogisticRegression
from dask import dataframe as
浏览 0提问于2019-06-06得票数 1
我有拼花文件，也就是800 K行x8.7K列。我把它装进了一个dask数据仓库：
import dask.dataframe as dd
dask_train_df = dd.read_parquet('train.parquet')
dask_train_df.info()
这产生了：
<class 'dask.dataframe.core.DataFrame'>
Columns: 8712 entries, 0 to 8711
dtypes: int8(8712)
当我尝试执行像dask_train_df.head()或dask_train_df
浏览 0提问于2018-12-24得票数 6
回答已采纳
1回答
我正在尝试将矩阵的平面文本文件(以制表符分隔)表示到dask数组中，使用distributed将数组的块分布到集群中。
(旁白:这与PySpark的方法没有什么不同)
但是，我不清楚如何使用可用的工具将文本文件解析成矩阵结构。在PySpark中，我可以使用一个简单的map来完成这个任务，该map可以将空格上的每一行拆分，并将令牌转换为浮动列表，最后将列表转换为索引的numpy数组。
我从dask.bag.read_text方法开始，它有一个参数collection，可以设置为False，因此它给了我一堆Delayed的未来。如何将这些解析成最终矩阵的行？
from dask.bag impor
浏览 1提问于2016-06-03得票数 1
回答已采纳
1回答
Dask:真正懒惰地排序
、、、、
如果我有一个未知分区的数据集，并希望根据列对其进行排序并将其输出到Parquet，在我看来，Dask至少做了两次部分工作：
import dask
import dask.dataframe as dd
def my_identity(x):
"""Does nothing, but shows up on the Dask dashboard"""
return x
df = dask.datasets.timeseries()
df = df.map_partitions(my_identity)
df = df.set_
浏览 4提问于2021-08-06得票数 0
我要把熊猫的数据转换成拼花文件。为此，我使用dask来帮助对生成的文件进行分区。
my_dask_df = dask.dataframe.from_pandas(my_pandas_df, npartitions=1)
my_dask_df = my_dask_df.repartition(partition_size="100MB")
dask.dataframe.to_parquet(my_dask_df, destination_dir, name_function=lambda
i: f"{dataset_name}-{dataset_versi
浏览 8提问于2022-06-14得票数 1
回答已采纳
我想从Dask dataframe中保存多个拼图文件，一个拼图文件用于特定列中的所有唯一值。因此，拼图文件的数量应该等于该列中唯一值的数量。
例如，给定以下数据帧，我想保存四个拼图文件，因为在列"A“中有四个唯一的值。
import pandas as pd
from dask import dataframe as dd
df = pd.DataFrame(
{
"A": [1, 1, 2, 3, 1, 3, 6, 6],
"B": ["A", "L", "C",
浏览 5提问于2021-04-09得票数 1
我只是想通过一个特定的列来订购dataframe。
代码1 --如果我称它为ddf，则显示为ddf。
my_ddf
输出1
npartitions=1
headers .....
代码2
my_ddf.sort_values('id', ascending=False)
输出2
AttributeError Traceback (most recent call last)
<ipython-input-374-35ce4bd06557> in <module>
----> 1 my_dd
浏览 5提问于2021-01-27得票数 2
回答已采纳
我有一个很大的数据集(大约8000万行)，并且我正在使用带有dask_cudf DataFrame的cuml来训练KNearestNeighbors回归模型。
我使用了4个GPU，每个GPU的rmm_pool_size都是15 am：
from dask.distributed import Client
from dask_cuda import LocalCUDACluster
import cudf, cuml
import dask_cudf
cluster = LocalCUDACluster(
rmm_pool_size="15GB"
)
client
浏览 1提问于2020-11-11得票数 1
我正在尝试一个小型POC，尝试按&聚合来减少熊猫和Dask中来自大型CSV的数据，而且我观察到内存使用率很高和/或比我预期的处理时间慢。有没有人对蟒蛇/熊猫/杜克诺布有什么改进的建议？
背景
我请求构建一个文件摄取工具，该工具将：
transformationsreduce 可以接收几个GBs的文件，其中每一行都包含用户id和其他信息，执行一些数据到web服务中的数据批次。
根据我的研究，由于文件只是少数几个GBs，我发现火花等会造成过度的伤害，而Pandas/Dask可能是一个很好的匹配，因此POC。
问题
对于熊猫和达斯克，处理1GB的csv要花费1分钟，熊猫要消耗1.5GB的，D
浏览 2提问于2021-02-11得票数 1
我是新做dask (进口作为dd)，并试图转换一些熊猫(进口作为pd)代码。
下面几行的目标是将数据切片到这些列中，这些列的值满足了dask中的计算要求。
在csv中有一个给定的表。前者的代码是：
inputdata=pd.read_csv("inputfile.csv");
pseudoa=inputdata.quantile([.035,.965])
pseudob=pseudoa.diff().loc[.965]
inputdata=inputdata.loc[:,inputdata.columns[pseudob.values>0]]
inputdata.desc
浏览 4提问于2017-08-18得票数 0
回答已采纳
从经验上看，每当您在dataframe上使用set_index时，Dask总是会将具有相同索引的行放入单个分区中，即使它会导致严重不平衡的分区。
下面是一个演示：
import pandas as pd
import dask.dataframe as dd
users = [1]*1000 + [2]*1000 + [3]*1000
df = pd.DataFrame({'user': users})
ddf = dd.from_pandas(df, npartitions=1000)
ddf = ddf.set_index('user')
count
浏览 1提问于2021-10-14得票数 6
回答已采纳
1回答
的目标：加快在大数据帧(190万行)上应用函数行的速度
尝试：使用dask map_partitions，其中分区==核数。我编写了一个应用于每一行的函数，创建了一个包含可变数量的新值(介于1到55之间)的dict。此功能独立工作。
问题：--我需要一种将每个函数的输出组合成最终数据的方法。我尝试使用df.append，在这里我会将每个数据块附加到一个新的dataframe中并返回这个dataframe。如果我理解Dask，那么Dask应该将它们组合成一个大的DF。不幸的是，这一行正在触发一个错误(ValueError:无法将输入数组从形状(56)广播到形状(1))。这让我相信这与Dask中的
浏览 0提问于2018-07-30得票数 0
回答已采纳
假设有X分区的dask数据帧。假设熊猫的数据有相同的X行数。熊猫数据中的每一行都包含与dataframe的每个分区相关的数据。
我想将每个熊猫df行分配给一个新的 dataframe分区列
import pandas as pd
import dask
imoprt numpy as np
# default dask dataframe with 30 partitions
ddf = dask.datasets.timeseries()
df0 = pd.DataFrame({'A': np.random.randint(0,100, size=30),
浏览 3提问于2019-10-16得票数 0
根据 answer的说法，如果Dask知道数据帧的索引已排序，则Dask数据帧可以执行智能索引。
如何让Dask知道索引是否已排序？
在我的特定情况下，我这样做：
for source is sources:
# This df has a datetimeindex that I know to be sorted
pd = load_pandas_df_from_some_source(source)
dd = dask.dataframe.from_pandas(pd, chunksize=foo)
dd.to_hdf(some_unique_filename, '
浏览 11提问于2017-06-23得票数 3
1回答
我正在试图找到一个更大的dataframe的子集数据的形状。但是我没有得到正确的形状(行的#)，而是得到了一个错误的值
在这个例子中，我将前3行存储到一个新的dataframe中，当我试图找到形状时，输出是4而不是3。有没有解决这个问题的方法？
data = {'Name':['Tom', 'nick', 'nick', 'krish', 'jack', 'jack'], 'Age':[20, 21, 21, 19, 18, 18]}
df = pd.DataFram
浏览 2提问于2022-03-23得票数 2
我试着用Dask来写拼花文件。目标是使用它的repartition特性，但似乎我无法写出一个简单的拼花文件，而不进入repartition步骤.
下面是我使用的代码，用于从pyarrow创建一个拼花文件，然后由dask将其读回，然后再写一次。
import pandas as pd
import numpy as np
import pyarrow as pa
import pyarrow.parquet as pq
import dask.dataframe as dd
file = 'example.parquet'
file_res = 'example_res
浏览 1提问于2020-12-15得票数 3
回答已采纳
1回答
有了一个包含许多.feather文件的文件夹，我想将它们全部加载到python中的dask中。 到目前为止，我已经尝试了以下来自GitHub https://github.com/dask/dask/issues/1277上类似问题的答案 files = [...]
dfs = [dask.delayed(feather.read_dataframe)(f) for f in files]
df = dd.concat(dfs) 不幸的是，这给出了这里提到的错误TypeError: Truth of Delayed objects is not supported，但解决方法并不清楚。 是否
浏览 19提问于2019-08-08得票数 2
回答已采纳
我想在表单的操作中使用Dask
df.groupby(some_columns).apply(some_function)
其中，some_function()可以计算一些汇总统计信息，执行时间序列预测，甚至只需将组保存到AWS S3中的单个文件。
Dask 状态(以及其他几个StackOverflow答案引用)表明，groupby-apply不适合聚合：
熊猫的群-应用可以用来应用任意函数，包括每组产生一行的聚合。Dask的将对每个分区组对应用func一次，所以当func是一个约简时，每个分区组对将得到一行。若要使用Dask应用自定义聚合，请使用dask.dataframe.groupby
浏览 40提问于2021-12-07得票数 1
回答已采纳
我正在尝试垂直连接两个Dask DataFrames
我有以下Dask DataFrame：
d = [
['A','B','C','D','E','F'],
[1, 4, 8, 1, 3, 5],
[6, 6, 2, 2, 0, 0],
[9, 4, 5, 0, 6, 35],
[0, 1, 7, 10, 9, 4],
[0, 7, 2, 6, 1, 2]
]
df = pd.DataFrame(d[1:], columns=d[0])
dd
浏览 2提问于2017-05-06得票数 8
回答已采纳
1回答
dask版本1.1.4
dask.dataframe.head()的行为与熊猫不同，这让我措手不及。
过滤后的dask.dataframe似乎将行保留在原始分区中。如果一个分区的所有行都被过滤掉，那么分区将保持为空，但仍保留在生成的dask.dataframe中。如果len(第一个分区)<n，那么head(n)就不会往外看，并错过行。
import dask
import dask.dataframe as dd
dd = dask.datasets.timeseries()
# Original partitions lengths
print(dd.map_partitions(
浏览 0提问于2019-07-03得票数 1
回答已采纳
1回答
我正在尝试使用我设置的dask集群来运行和并行化这个sqlalchemy查询，因为我没有足够的内存从本地计算机执行它。 我的代码如下-我不确定这是否是实现这一目标的最佳方法： from dask.distributed import Client
import dask.dataframe as dd
from dask.delayed import delayed
client = Client(<IP Address>)
recent_dates = ['2020-04-24', '2020-04-23', 2020-04-22']
浏览 43提问于2020-04-26得票数 0
回答已采纳
我有一个多dask核心系列，我想将其合并到单个数据帧中，以便进一步写入csv文件，我如何才能做到这一点。我在尝试执行相同的操作时遇到以下错误，请指教...
数据
1,2014-04-07T10:51:09.277Z,214536502,0
1,2014-04-07T10:54:09.868Z,214536500,0
1,2014-04-07T10:54:46.998Z,214536506,0
1,2014-04-07T10:57:00.306Z,214577561,0
2,2014-04-07T13:56:37.614Z,214662742,0
2,2014-04-07T13:57:19.37
浏览 2提问于2016-07-28得票数 3
我一直在使用Dask处理大型数据帧，并执行连接/过滤器等操作。最终结果是一个我知道有8行的数据帧。但是，如果我的dask数据帧是f，那么我选中f，就会得到npartitions=81和Dask Name: assign, 10633 tasks。为什么会这样呢？我花了将近5个小时写入一个.h5文件，才发现结果中只有8行。有没有什么方法可以加快速度呢？ 分区的数量是81，这似乎太高了。我把它降到了5个小时，还是花了4个小时。
浏览 19提问于2020-05-01得票数 1
我有这个非常大的dataframe (大约5,000,000行)，我已经将它分割成20个dask分区。
当我试图保存它时，我的python内核就崩溃了。
有没有办法保存每个分区，一次一个。还是把它分成20个变量？
Dask版本= 2022.01.1
分布式版本= ..。(如使用)
拼花引擎和版本= ..。
浏览 3提问于2022-08-04得票数 0
2回答
想象一下，我有一个来自Dask DataFrame的read_csv，或者创建了另一种方式。
我如何为dask数据帧建立一个唯一的索引？
注意：
reset_index在每个分区中构建一个单调上升的索引。这意味着(0,1,2,3,4,5，.)对于分区1，(0,1,2,3,4,5，.)对于分区2，(0,1,2,3,4,5，.)用于分区3等等。
我希望为dataframe中的每一行(跨所有分区)建立唯一的索引。
浏览 0提问于2019-06-06得票数 6
回答已采纳
这样我就得到了ValueError import dask as dd
data1 = dd.read_sql_table('TABLE', connection_string, index_col = ['DATE','ITEM'],schema= 'CRE') gives me a value error --> ValueError: Use label when passing an SQLAlchemy instance as the index 当我只使用如下所示的date时，我就能够将数据拉入dask da
浏览 21提问于2020-06-15得票数 1
我正在处理一个大型数据集(22万行，~25 of作为csv文件)，该数据集存储为几个csv文件。
我已经成功地用Dask读取了这些csv，并将数据保存为一个带有以下内容的拼花文件：
import pandas as pd
from dask.distributed import Client
import dask.dataframe as dd
client = Client()
init_fields = {
# definition of csv fields
}
raw_data_paths = [
# filenames with their path
]
read_csv_k
浏览 7提问于2021-03-02得票数 0
我是dask的新手，正在尝试弄清楚如何重塑从dask数据帧的单个列中获得的dask数组，但遇到了错误。想知道有没有人知道这个修复方法(不需要强行计算)？谢谢!
示例：
import pandas as pd
import numpy as np
from dask import dataframe as dd, array as da
df = pd.DataFrame({'x': [1, 2, 3], 'y': [4, 5, 6]})
ddf = dd.from_pandas(df, npartitions=2)
# This does not work -
浏览 22提问于2018-09-07得票数 2
回答已采纳
1回答
我正在使用as_pandas实用程序从impala.util读取从hive获取的dataframe格式的数据。但是，使用熊猫，我想我将无法处理大量的数据，而且速度也会变慢。我一直在阅读dask，它为读取大数据文件提供了极好的功能。我如何使用它有效地从蜂巢中获取数据。
def as_dask(cursor):
"""Return a DataFrame out of an impyla cursor.
This will pull the entire result set into memory. For richer pandas-
like functional
浏览 2提问于2018-10-18得票数 2
回答已采纳
dask.DataFrame周围的方法似乎都确保索引列是排序的。但是，通过使用from_delayed，可以构造具有索引列的dataframe，该列没有排序：
pdf1 = delayed(pd.DataFrame(dict(A=[1,2,3], B = [1,1,1])).set_index('A'))
pdf2 = delayed(pd.DataFrame(dict(A=[1,2,3], B = [1,1,1])).set_index('A'))
ddf = dd.from_delayed([pdf1,pdf2]) #dask.DataFrame with
浏览 1提问于2016-12-21得票数 3
回答已采纳
我有11年的数据和记录(行)每秒钟，超过100列。它用一系列的日期时间(用Pandas to_datetime()创建)进行索引，我们需要能够在列之间进行一些相关分析，一次只能加载两个列。我们可能在较低的时间(例如48小时、1小时、月等)重新采样。在长达11年的时间里，把这些关联想象成11年。
数据目前在11个单独的拼花文件中(每年一个)，从11个.txt文件中单独生成Pandas。熊猫没有对任何这些文件进行分区。在内存中，这些拼花文件中的每一个都加载了大约20 In的内存。预期的目标机器只有16 GB，即使在11年中只加载1列也需要10 GB，因此两列也不适合。
是否有一个比使用Pandas
浏览 29提问于2022-06-20得票数 1
通常，在使用大型dask.DataFrame时，只获取几行来测试所有后续操作是有用的。
目前，根据的说法，这是不支持的。
当时我希望使用head来实现同样的目标(因为这个命令是受支持的)，但它返回了一个普通的熊猫DataFrame。
我也尝试过df[:1000]，它会执行，但是生成一个不同于您期望的Pandas输出。
有没有办法从dask.DataFrame抓取前1000行？
浏览 0提问于2018-03-06得票数 4
回答已采纳
1回答
我有一个使用某个blocksize的区块创建的dask数据帧 df = dd.read_csv(filepath, blocksize = blocksize * 1024 * 1024) 我可以像这样分块处理它： partial_results = []
for partition in df.partitions:
partial = trivial_func(partition[var])
partial_results.append(partial)
result = delayed(sum)(partial_results) (在这里，我尝试使用map_partit
浏览 11提问于2021-01-22得票数 1
回答已采纳
1回答
我一直在使用Dask Concurrent.futures ，但我在使用(过时的) 时遇到了一些问题。具体地说，使用位置索引将dask数据帧分成测试/训练拆分：
train = dfs[:-1]
test = dfs[-1]
我也尝试过，但都无济于事：
train = dfs.loc[:-1]
test = dfs.loc[-1]
这给了我一个错误：
KeyError Traceback (most recent call last)
/opt/anaconda/lib/python3.5/site-packages/panda
浏览 13提问于2018-02-14得票数 4
如果应用函数在大型数据集的单个列上使用Dask计算日志，我如何做到这一点？
df_train.apply(lambda x: np.log1p(x), axis=1 , meta={'column_name':'float32'}).compute()
数据集非常大(1.25亿行)，我如何做到这一点？
浏览 0提问于2018-03-09得票数 7
2回答
dask计算结果存储吗？
、、、、
考虑以下代码
import dask
import dask.dataframe as dd
import pandas as pd
data_dict = {'data1':[1,2,3,4,5,6,7,8,9,10]}
df_pd = pd.DataFrame(data_dict)
df_dask = dd.from_pandas(df_pd,npartitions=2)
df_dask['data1x2'] = df_dask['data1'].apply(lambda x:2*x,meta=('data1x2&#
浏览 8提问于2022-04-03得票数 2
回答已采纳
我在读“数据是如何读取的”。它提到“在分区中，所有行的查询开销并不相等，分区的开头(按键定义聚集的第一行)查询成本略低，因为不需要查询分区级别的索引。”
那么，在分区被定位以读取特定行或特定行之后，Cassandra会做什么呢？这是对所有行的简单迭代吗。还是有更有效的方法来查找特定行的偏移量？
浏览 2提问于2017-03-02得票数 1
回答已采纳
1回答
我尝试通过Dask读取一个很大的文件(68.3 GB)，如下所示：
import dask.dataframe as dd
auth_df = dd.read_csv('data/auth.txt', sep =",|@", engine='python')
读取数据非常流畅。
然后，从dataset中，我希望看到具有特定时间戳的5行(150885)。
auth_df[auth_df['Time'] == 150885].head()
然而，结果只显示了一个错误，如下：
/home/fox_kim/anaconda3/envs/
浏览 5提问于2021-03-16得票数 1
1回答
从整个任务数据帧中更快地检索记录
、、、、
我有一个包含1.09亿条记录的csv文件。因此，我使用dask在python中加载数据集。我想在有一个条件的情况下得到记录。 import dask.dataframe as dd
df = dd.read_csv(file)
df[df[column] == 'ABC'].head() 现在，即使这个值存在于文件中，它也没有返回任何东西，我想这是因为它已经加载了400个分区，而它只是在最后一个分区中找到了，所以我在读取文件时提到了blocksize=None，所以我只得到了一个完整的块。 df = dd.read_csv(file, blocksize=None) 现在
浏览 10提问于2021-08-12得票数 0
我希望使用已知的分区为dask数据want (from_delayed)设置索引。然而，达斯克抱怨说，这些部门必须是独特的。这个约束会给我带来麻烦，因为分区的大小大约是5GB，这对我的口味来说有点太大了。
是否有一种方法可以绕过这个约束，或者对某些操作松开它？
浏览 1提问于2018-04-18得票数 0
回答已采纳
1回答
我是Dask的新手，并使用行组将pandas Dataframe导出到Parquet： x.to_parquet(path + 'ohlcv_TRX-PERP_978627_rowgrouped.prq', row_group_size=1000) 然后我尝试用Dask加载它，它似乎工作正常(？)： x = dd.read_parquet(path + 'ohlcv_TRX-PERP_978627_rowgrouped.prq')
x
# Note: The dataframe has almost 2000 columns, I clipped them
浏览 15提问于2021-06-18得票数 1
我想使用Dask在多个时间步骤中读取一个大的原子坐标文件。该格式称为XYZ文件，它看起来如下：
`3 timestep 1 C 9.5464696279 5.2523477968 4.4976072664 C 10.6455075132 6.0351186102 4.0196547961 C 10.2970471574 7.3880736108 3.6390228968 3 timestep 2 C 9.546469627
浏览 0提问于2018-02-16得票数 2
回答已采纳
我想知道如何在调用map_partitions而不是pd.Dataframe时返回dask Dataframe，以避免内存问题。
输入数据帧
id | name | pet_id
---------------------
1 Charlie pet_1
2 Max pet_2
3 Buddy pet_3
4 Oscar pet_4
map_partitions的预期输出
pet_id | name | date | is_healty
------------------------------------------
浏览 2提问于2020-12-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
