Pandas/Dask检查列中的值是否添加其他值
Pandas和Dask是两个流行的Python数据处理库。它们提供了丰富的功能来处理和分析大型数据集。下面是对于如何检查Pandas/Dask列中的值是否添加其他值的解答：
在Pandas中，可以使用pd.Series.isin()方法来检查列中的值是否在指定的列表中。该方法返回一个布尔值Series，其中的每个元素表示对应位置的值是否在指定列表中。以下是一个示例代码：
import pandas as pd
# 创建一个示例DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40],
'City': ['New York', 'London', 'Paris', 'Tokyo']}
df = pd.DataFrame(data)
# 检查'Name'列中的值是否在指定的列表中
names_to_check = ['Alice', 'Bob']
df['Name_Check'] = df['Name'].isin(names_to_check)
print(df)输出结果为：
Name Age City Name_Check
0 Alice 25 New York True
1 Bob 30 London True
2 Charlie 35 Paris False
3 David 40 Tokyo False在Dask中，可以使用dask.dataframe.isin()方法来进行类似的操作。以下是一个示例代码：
import dask.dataframe as dd
# 创建一个示例Dask DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40],
'City': ['New York', 'London', 'Paris', 'Tokyo']}
df = dd.from_pandas(pd.DataFrame(data), npartitions=2)
# 检查'Name'列中的值是否在指定的列表中
names_to_check = ['Alice', 'Bob']
df['Name_Check'] = df['Name'].isin(names_to_check)
print(df.compute())输出结果为：
Name Age City Name_Check
0 Alice 25 New York True
1 Bob 30 London True
2 Charlie 35 Paris False
3 David 40 Tokyo False总结：
- Pandas是一个用于数据处理和分析的Python库，Dask是其在分布式环境下的扩展。
- 使用Pandas的
pd.Series.isin()方法可以检查Pandas DataFrame或Series中的值是否在指定的列表中。 - 使用Dask的
dask.dataframe.isin()方法可以在分布式环境下进行类似的操作。
关于Pandas和Dask的更多详细信息和用法，请参考腾讯云的相关文档和官方链接：
相关·内容
我是新来的达斯克，列被删除的方式让我感到困惑。我已经把一个csv文件读到了Dask数据文件中。那么假设我有这个：
print(len(columns_to_drop)) # There are 66
print(len(list(df.columns))) # The Dask columns before the drop
df.drop(columns_to_drop, axis=1).compute(). # Drop the columns
pd_df = df.compute() # Create a Pandas dataframe
print(pd_df.shape[1
浏览 1提问于2021-12-14得票数 2
回答已采纳
我正在尝试一个小型POC，尝试按&聚合来减少熊猫和Dask中来自大型CSV的数据，而且我观察到内存使用率很高和/或比我预期的处理时间慢。有没有人对蟒蛇/熊猫/杜克诺布有什么改进的建议？
背景
我请求构建一个文件摄取工具，该工具将：
transformationsreduce 可以接收几个GBs的文件，其中每一行都包含用户id和其他信息，执行一些数据到web服务中的数据批次。
根据我的研究，由于文件只是少数几个GBs，我发现火花等会造成过度的伤害，而Pandas/Dask可能是一个很好的匹配，因此POC。
问题
对于熊猫和达斯克，处理1GB的csv要花费1分钟，熊猫要消耗1.5GB的，D
浏览 2提问于2021-02-11得票数 1
我想从Dask dataframe中保存多个拼图文件，一个拼图文件用于特定列中的所有唯一值。因此，拼图文件的数量应该等于该列中唯一值的数量。
例如，给定以下数据帧，我想保存四个拼图文件，因为在列"A“中有四个唯一的值。
import pandas as pd
from dask import dataframe as dd
df = pd.DataFrame(
{
"A": [1, 1, 2, 3, 1, 3, 6, 6],
"B": ["A", "L", "C",
浏览 5提问于2021-04-09得票数 1
当使用Python Pandas读取CSV时，可以指定索引列。是否可以在读取文件时使用Python Dask，而不是在之后设置索引？
例如，使用pandas：
df = pandas.read_csv(filename, index_col=0)
理想情况下，使用dask可能是：
df = dask.dataframe.read_csv(filename, index_col=0)
我试过了
df = dask.dataframe.read_csv(filename).set_index(?)
但是索引列没有名称(这似乎很慢)。
浏览 1提问于2017-09-12得票数 10
2回答
我有一个Dask dataframe，它有三列:宽度、高度和长度。我需要创建第四列，它是三列的中位数。
我用普通的pandas df编写的代码不能工作，因为median不是Dask中的函数。
columns_to_sum = ['weight', 'height', 'length']
df['median'] = df[columns_to_sum].median(axis=1)
如有任何帮助，我们不胜感激！
浏览 14提问于2020-05-14得票数 1
2回答
我有Dask系列的Dask数据帧。
我想在本系列中建立索引，以获取dask数据帧以供后续工作使用。
但是，使用loc[0]会导致另一个dask系列。使用to_frame也不起作用，因为结果是"Dask系列Dask数据帧的Dask数据帧“。
下面是一个使用Dask系列Pandas数据帧的最小示例(不完全相同，但说明了问题)：
import pandas as pd
import dask.dataframe as dd
pdf1 = pd.DataFrame({'a': [1,2,3,4], 'b': [4,3,2,1]})
pdf2 = pd.Data
浏览 3提问于2020-02-03得票数 1
一个巨大的数据集与100米记录和60K列加载到一个达克数据。需要对整个列执行min() & max()。由于内存问题，不能使用Pandas。
#Sample Dask Dataframe
import dask.dataframe as dd
df = pd.DataFrame({'col1': [1, 2, 3, 4, 5],
'col2': [2., 3., 4., 5., 6.],
'col3': [4, 6, 8, 3, 2],
浏览 0提问于2020-06-22得票数 0
回答已采纳
我有拼花文件，也就是800 K行x8.7K列。我把它装进了一个dask数据仓库：
import dask.dataframe as dd
dask_train_df = dd.read_parquet('train.parquet')
dask_train_df.info()
这产生了：
<class 'dask.dataframe.core.DataFrame'>
Columns: 8712 entries, 0 to 8711
dtypes: int8(8712)
当我尝试执行像dask_train_df.head()或dask_train_df
浏览 0提问于2018-12-24得票数 6
回答已采纳
1回答
我遇到了一个非常奇怪的错误，它涉及到将新列分配给现有的dask dataframe。给出下面的最小示例，
import pandas as pd
from dask import dataframe as dd
from dask import array as da
foo = dd.from_pandas(pd.DataFrame({'number':list(range(10))}), chunksize=2)
add_me = ["N/A" for _ in range(len(foo.index))]
add_me = da.from_array(a
浏览 0提问于2020-02-19得票数 4
我正在使用from_pandas()函数从熊猫数据帧创建一个dask数据帧。当我尝试使用方括号[ ]从dask dataframe中选择两列时，我得到了一个KeyError。 根据dask文档，dask dataframe支持像pandas dataframe一样的方括号列选择。 # data is a pandas dataframe
dask_df = ddf.from_pandas(data, 30)
data = data[dask_df[['length', 'country']].apply(
lambda x: myfun
浏览 67提问于2019-10-04得票数 1
1回答
找到重复的值
、、
我需要在dask DataFrame中的列中找到副本。
对于pandas，这里有duplicated()方法。虽然在dask中不支持它。
Q:，在dask中获取所有重复值的最佳方法是什么？
我的想法：创建一个作为索引的列，然后是drop_duplicates，然后是join。
有没有更好的解决办法？
例如：
df = pandas.DataFrame(
[
['a'],
['b'],
['c'],
['a']
],
columns=['
浏览 3提问于2020-10-08得票数 3
1回答
所以我对dask DataFrame.append有个问题。我从主数据中生成了许多派生特征，并将它们附加到主数据框架中。在此之后，任何一组列的dask图都会被放大。下面是一个小示例：
%pylab inline
import numpy as np
import pandas as pd
import dask.dataframe as dd
from dask.dot import dot_graph
df=pd.DataFrame({'x%s'%i:np.random.rand(20) for i in range(5)})
ddf = dd.from_pandas(df
浏览 3提问于2017-02-02得票数 3
回答已采纳
我正在使用Pandas中的代码，该代码涉及读取大量文件，然后对循环中的每个文件执行各种操作(循环遍历文件列表)。
我正在尝试将此转换为基于Dask的方法，而不是基于Pandas的方法，到目前为止，我尝试了以下的尝试--我对Dask还不熟悉，需要询问这是否是一种合理的方法。
以下是输入数据的样子：
A X1 X2 X3 A_d S_d
0 1.0 0.475220 0.839753 0.872468 1 1
1 2.0 0.318410 0.940817 0.526758 2 2
2 3.0 0.
浏览 1提问于2017-05-03得票数 1
回答已采纳
1回答
如何使用dask找到数据帧的长度？
例如，在熊猫中，我可以这样做：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.normal(0, 1, (5, 2)), columns=["A", "B"])
print df['A'].count()
print df
输出：
5
A B
0 1.538531 0.424717
1 -0.929843 1.323648
2 -1.283680 0.056199
3 -0.641
浏览 0提问于2018-05-28得票数 6
1回答
我有这样的代码，它调用一个@delayed函数，该函数以N个dask数据格式作为输入，并返回一个dataframe作为输出。
有两个问题：(1)函数内部的数据类型是熊猫而不是达斯克；(2)当我得到函数的结果时，它也是熊猫而不是达斯克。
作为熊猫数据输入而不是达克，@delayed背后的逻辑是什么？我只需要和达克数据处理一起工作。
这是代码：
df = pd.DataFrame({
'height': [6.21, 5.12, 5.85, 5.78, 5.98],
'weight': [150, 126, 133, 164, 203]
})
d
浏览 4提问于2022-03-04得票数 0
回答已采纳
我目前正在使用Pandas和星火进行数据分析。我发现Dask提供并行化的NumPy数组和Pandas DataFrame。
熊猫很容易用Python进行数据分析。但是，由于系统内存有限，我发现在Pandas中处理多个更大的数据文件很困难。
简单回答：
Apache是一个集分布式计算、SQL查询、机器学习等多种功能于一体的框架，它运行在JVM上，通常与Hadoop等其他大数据框架协同部署。..。通常，达斯克比火花更小，重量更轻。
我从了解了下面的细节
达斯克重量轻
Dask通常在一台机器上使用，但在分布式集群上也运行良好。
Dask提供并行数组、数据帧、机器学习和自定义算法。
浏览 4提问于2016-08-10得票数 101
使用pandas，我可以在特定位置插入一个新列，如下所示： df_all.insert(loc=10, column="label", value=label_column, allow_duplicates=True) 如何使用dask将新列添加到特定位置？(至dask数据帧)
浏览 13提问于2019-12-24得票数 1
1回答
我正在尝试使用factorize函数分解pandas dataframe中的一列，这样我就可以拥有一个从0开始的唯一值。我的问题是，是否有一种方法可以在Dask Dataframes上复制相同的内容？
浏览 28提问于2021-03-27得票数 1
根据 answer的说法，如果Dask知道数据帧的索引已排序，则Dask数据帧可以执行智能索引。
如何让Dask知道索引是否已排序？
在我的特定情况下，我这样做：
for source is sources:
# This df has a datetimeindex that I know to be sorted
pd = load_pandas_df_from_some_source(source)
dd = dask.dataframe.from_pandas(pd, chunksize=foo)
dd.to_hdf(some_unique_filename, '
浏览 11提问于2017-06-23得票数 3
1回答
我有一个Dask函数，可以将列添加到现有的Dask dataframe中，它可以很好地工作： df = pd.DataFrame({
'height': [6.21, 5.12, 5.85, 5.78, 5.98],
'weight': [150, 126, 133, 164, 203]
})
df_dask = dd.from_pandas(df, npartitions=2)
s = """
obj.weight + 100
"""
df_dask['new_weight&
浏览 50提问于2021-10-21得票数 1
回答已采纳
1回答
我想知道是否有人知道根据Dask中的列的值写出一组文件的正确方法。换句话说，如果我想根据列中的值对一组列进行分组，并将它们写到CSV中。我一直在尝试对Dask使用groupby-apply范例，但问题是它不返回dask.dataframe对象，所以我应用它的函数使用Pandas API。 有没有更好的方法来实现我想要做的事情？一个可伸缩的解决方案将非常受欢迎，因为我正在处理的一些数据非常大。 谢谢!
浏览 12提问于2021-09-21得票数 1
回答已采纳
有没有一种方法可以做到这一点，但将阈值作为延迟数字？
import dask
import pandas as pd
import dask.dataframe as dd
threshold = 3
df = pd.DataFrame({'something': [1,2,3,4]})
ddf = dd.from_pandas(df, npartitions=2)
ddf[ddf['something'] >= threshold]
如果threshold是：
threshold = dask.delayed(3)
它给我的自动取款机：
TypeE
浏览 17提问于2020-02-13得票数 1
回答已采纳
1回答
我正在尝试将dask数据帧的dtype 'category‘列的类别重命名为从1到len(类别)的一系列数字。
在熊猫中，我是这样做的：
df['name'] = dd.Categorical(df.name).codes
但在dask中，这是行不通的：
Traceback (most recent call last):
File "example.py", line 47, in <module>
sys.exit(main(sys.argv))
File "example.py", line 25, in
浏览 0提问于2016-10-19得票数 1
1回答
我试图想出一种快速的方法，在dataframe中添加一个新列，其中所添加的值是基于条件的。有人向我推荐了一种使用numpy的方法，但它相对来说非常慢。
目前，我正在加载一个11米行csv，添加了几个新的列谁有公式计算，并打印头尾在10秒以下。
下面是当前用于缓慢/麻烦函数的代码。我想知道是否有一种与dask相对应的方法，或者是否可以更好地构造numpy查询以提高性能。
--这是问题中的代码--运行时间是60 seconds+ --我在default=0上收到错误，所以我不确定总的运行时是什么。我希望运行时最多能缩短到几秒钟。
import dask.dataframe as dd
import
浏览 2提问于2019-10-06得票数 0
1回答
大熊猫CSV
、、
上一篇文章的续篇。以前，我帮助使用Pandas在dataframe中创建了一个新列，每个值都表示一个基于另一个列的值的分解后的或唯一的值。我在一个测试用例上使用了它，它成功地工作了，但我在处理更大的日志和htm文件时遇到了问题，无法对其执行相同的过程。我有12个日志文件(每个月)，在合并它们之后，我得到一个17 get的文件来处理。我想要分解它上的每个用户名。我一直在研究使用Dask，然而，我不能复制sort和factorize的功能来为Dask数据帧做我想要的事情。是尝试使用Dask，继续使用Pandas，还是尝试使用MySQL数据库来操作17 or的文件？
import pandas as
浏览 0提问于2017-06-13得票数 1
我使用以下命令在我的Dask笔记本中安装了Jupyter
!pip install “dask[complete]”
之后，当我运行import命令时
import dask.dataframe as dd
我得到了以下错误。
ImportError Traceback (most recent call last)
<ipython-input-13-99db13701da1> in <module>()
2 import pandas as pd
3 import dask.array as da
浏览 0提问于2018-09-10得票数 3
1回答
我正在尝试使用dask和Dask手册中列出的dask.dataframe.to_csv(datframe_name, file etc..)命令导出数据帧：
我使用dask是因为原始的csv文件非常大(20 to )，并且使用pandas读取文件非常慢。
但是，每次我尝试导出数据帧时，都会得到以下错误：
ValueError: Mismatched dtypes found in `pd.read_csv`/`pd.read_table`.
+----------+--------+----------+
| Column | Found | Expected |
+---------
浏览 2提问于2019-10-16得票数 0
2回答
dask计算结果存储吗？
、、、、
考虑以下代码
import dask
import dask.dataframe as dd
import pandas as pd
data_dict = {'data1':[1,2,3,4,5,6,7,8,9,10]}
df_pd = pd.DataFrame(data_dict)
df_dask = dd.from_pandas(df_pd,npartitions=2)
df_dask['data1x2'] = df_dask['data1'].apply(lambda x:2*x,meta=('data1x2&#
浏览 8提问于2022-04-03得票数 2
回答已采纳
我在使用Dask Dataframes时遇到了一些问题。
假设我有一个包含2列['a','b']的数据帧
如果我需要一个新的列c = a + b
在熊猫中，我会这样做：
df['c'] = df['a'] + df['b']
在dask中，我正在执行相同的操作，如下所示：
df = df.assign(c=(df.a + df.b).compute())
有没有可能以一种更好的方式编写这个操作，就像我们在pandas中所做的那样？
第二个问题是更让我困扰的事情。
在pandas中，如果我想将第2行和第6行的'
浏览 0提问于2015-09-03得票数 9
我正在尝试从一个postregres表中捕获一个非常大的结构化表格。它有大约200,000,000条记录。我正在使用dask而不是pandas，因为它更快。当我将数据加载到df中时，它比pandas快得多。
我正试着用compute把dask DataFrame转换成Pandas dataframe，它总是给我ValueError NA/inf。我已经传递了dtype='object'，但它不工作。有没有办法解决这个问题？
df = dd.read_sql_table('mytable1',
index_col=&
浏览 0提问于2020-02-20得票数 1
目前，我正在将记录列表存储在表中的列下，并在QuerySet之外创建Pandas数据。
Dask中是否有类似的方法可以直接从Django QuerySet创建数据？
浏览 4提问于2022-03-17得票数 0
1回答
我想使用Dask从存储在不同目录中的许多拼板文件中加载特定的列，并且每个分区需要加载不同的列。我想使用Dask，这样我就可以在一台机器上使用多个核心。我了解了如何将文件或通配符的列表传递给dd.read_parquet，以指示多个文件(例如*.parquet)，但我没有看到传递要为每个文件读取的不同列集的方法。我想知道是否可以使用dask.delayed完成这一任务。
我的具体情况是：
我将大型单细胞基因表达数据集(大约10,000列/单元格)存储为不同目录中的拼花文件。每个目录都有两个分割文件: 1)大型基因表达数据(单元格为列)；2)单元元数据(单元格为行，单元元数据为列)。我使用较小的元
浏览 0提问于2019-05-24得票数 1
回答已采纳
当使用pandasv0.25及更高版本时，我可以生成具有自定义名称的聚合列。
import pandas as pd
data = {"x": [1, 1, 2], "y": [-1, 0, 0]}
pd_df = pd.DataFrame(data)
this_is_valid = pd_df.groupby("x").agg(my_custom_name=("y", "mean"))
但是，当我尝试使用dataframe做同样的操作时，我会得到一个“意外的关键字参数”错误。
import dask.data
浏览 3提问于2021-11-18得票数 1
回答已采纳
1回答
达斯克分拣
、、、
我想在dask中找到pandas.dataframe.sort_value函数的替代方案。
我是通过set_index来的，但是它会在一个列上排序。
如何对Dask数据帧的多列进行排序？
浏览 1提问于2018-06-12得票数 9
回答已采纳
我有11年的数据和记录(行)每秒钟，超过100列。它用一系列的日期时间(用Pandas to_datetime()创建)进行索引，我们需要能够在列之间进行一些相关分析，一次只能加载两个列。我们可能在较低的时间(例如48小时、1小时、月等)重新采样。在长达11年的时间里，把这些关联想象成11年。
数据目前在11个单独的拼花文件中(每年一个)，从11个.txt文件中单独生成Pandas。熊猫没有对任何这些文件进行分区。在内存中，这些拼花文件中的每一个都加载了大约20 In的内存。预期的目标机器只有16 GB，即使在11年中只加载1列也需要10 GB，因此两列也不适合。
是否有一个比使用Pandas
浏览 29提问于2022-06-20得票数 1
在我使用pivot_table作为Dataframe并将数据保存到Parquet文件后，我正在松散索引列。
import dask.dataframe as dd
import pandas as pd
df=pd.DataFrame()
df["Index"]=[1,2,3,1,2,3]
df["Field"]=["A","A","A","B","B","B"]
df["Value"]=[10,20,30,100,120,130]
df
我的数据：
浏览 4提问于2017-03-06得票数 4
回答已采纳
我正在处理一个巨大的csv文件(>300万行，76列)，并决定在转换成熊猫数据之前使用dask读取数据。
然而，我在上一篇专栏中遇到了一个看上去像是在流血的列的问题。请参阅下面的代码和错误。
import dask.dataframe as dd
import pandas as pd
dataframe = dd.read_csv("SAS url",
delimiter = ",",
encoding = "UTF-8", blocksiz
浏览 7提问于2022-05-31得票数 0
1回答
我想使用Dask来完成一些数据预处理，其中包含一些非常大的文件，9600万行和500万行，每个文件大约10列。这只发生在我的笔记本电脑上(它有32 of的RAM)。使用Pandas会导致笔记本停止，然后重新启动Jupyter服务器。然而，到目前为止，Dask也是如此。 重新启动服务器的操作是尝试将IP地址从float转换为int。当我的数据帧加载时，IP地址有nan值，这导致Pandas将整数IP重新转换为浮点数，因为没有nan/int类型。因此，我需要dropna并强制转换为int。这是代码。 target_data = dd.read_parquet('file.parquet&
浏览 42提问于2021-08-04得票数 0
我想看到dask数据帧的整行，而不是截断字段，在pandas中，命令是pd.set_option('display.max_colwidth', -1)，dask是否有等效的命令？我什么也找不到。
浏览 0提问于2019-01-02得票数 3
1回答
我必须处理hdf5文件。它们中的每一个都包含可以加载到由100列和近5E5行组成的pandas DataFrame中的数据。每个hdf5文件重约130MB。
因此，我想从hdf5文件中获取数据，然后应用一些处理，最后将新数据保存到csv文件中。在我的例子中，过程的性能非常重要，因为我必须重复它。
到目前为止，我一直专注于Pandas和Dask来完成这项工作。Dask对并行化很有好处，我会在更强大的PC和更多的CPU上获得更好的处理时间。
然而，你们中的一些人已经遇到了这个问题，并找到了最好的优化方案？
浏览 23提问于2021-02-22得票数 0
我正在使用稳定/ Dask存储库中的Helm Chart在Kubernetes上使用dask。当使用分布式客户端并调用client.scatter(ddf)时，我得到一个异常，如下所示： 异常:没有名为“pandas.core.inders.manager”的模块；“pandas.core.internals”不是包 在Python3.7上，查看已安装的包显示Pandas==0.24.1 & dask-core==1.1.1。 查看工作进程上的内存消耗表明没有向工作进程发送任何内容，当我添加关键字=‘broadcast’时，我可以观察到第二个工作进程内存使用量的短期上升，但随后我得到
浏览 18提问于2019-02-22得票数 0
回答已采纳
我有一个包含3m+ (有序)行和100列的数据集，我可以使用Pandas将其加载到我的笔记本中。我想追加大约900列，这些列是使用100个现有的列计算得出的。最终目标是训练几个机器学习模型(NN，随机森林)。
当我尝试使用Pandas添加列时，由于RAM不足(我有25 to )，我的机器崩溃了。因此，我尝试使用Dask，它允许我毫无问题地计算900列。然而，Dask数据帧不能用作随机森林(Sklearn)和Keras模型的输入，所以我猜在某些时候您必须将其转换回pandas数据帧。
在这一点上我被卡住了。速度是相当重要的，因为我需要经常改装模型。有没有人有好的建议？
浏览 18提问于2021-05-22得票数 1
2回答
当我使用dask和pandas运行像这样的循环时(见下文)，只有列表中的最后一个字段会被求值。这大概是因为“懒惰评估”。
import pandas as pd
import dask.dataframe as ddf
df_dask = ddf.from_pandas(df, npartitions=16)
for field in fields:
df_dask["column__{field}".format(field=field)] = df_dask["column"].apply(lambda _: [__ for __ in _ if
浏览 1提问于2019-05-03得票数 0
TL;DR：我如何从分布式读取中收集元数据(解析期间的错误)到dataframe集合中。
目前，我有一种专用的文件格式，用于输入dask.DataFrame。我有一个函数，它接受一个文件路径并返回一个pandas.DataFrame，dask.DataFrame成功地在内部使用该函数将多个文件加载到同一个dask.DataFrame。
直到最近，我还在使用自己的代码将几个pandas.DataFrames合并为一个，现在我正在使用dask。在解析文件格式时，我可能会遇到错误和某些条件，我希望将其作为元数据(日志、数据来源等)记录并与dask.DataFrame对象关联。
需要注意的是，在合理的
浏览 7提问于2016-01-26得票数 2
回答已采纳
1回答
我想用dask将具有不同方案的多个拼图文件读取到pandas dataframe，并能够合并这些方案。当我谈到不同的方案时，我的意思是，在所有这些文件中都有公共列，但在一些文件中有其他文件中没有的列。 不幸的是，当我用 dd.read_parquet(my_parquet_files, engine="fastparquet") 我只有普通的列可读。我知道在spark中有一个读取选项mergeSchema，我想知道在dask中是否有一个简单的方法来做同样的事情？
浏览 40提问于2019-09-04得票数 0
3回答
我正在使用python与dask一起创建一个逻辑回归模型，以便在培训时加快速度。
我有x，这是特征数组(numpy数组)，y是标签向量。
编辑: numpy数组是: x_train (n*m大小)浮点数数组，y_train是(n*1)整数向量，是训练的标签。这两种方法都很适合滑雪LogisticRegression.fit，而且在那里工作也很好。
我尝试使用这段代码创建一个熊猫df，然后将其转换为dask，并在其上进行培训，如所示
from dask_ml.linear_model import LogisticRegression
from dask import dataframe as
浏览 0提问于2019-06-06得票数 1
1回答
我有键值格式的数据。我创造了一个达斯克袋，然后从那个袋子中得到一个数据。但是当我试着按数据分组时，它的抛出错误。但是对于同样的数据，当我直接创建一只熊猫数据时，它工作得很好。
，我想我漏掉了什么。请帮忙！
我在下面的代码中重新创建了这个问题。
import pandas as pd
import dask.dataframe as dd
import dask.bag as db
df = pd.DataFrame({'A': [1, 1, 2, None], 'B': [1, 2, 3, 4]})
df.groupby(df.A).count() #
浏览 0提问于2018-12-13得票数 2
回答已采纳
1回答
我正在尝试使用Dask，并希望向所有工作节点发送一个查找pandas.DataFrame。不幸的是，它失败了，原因是： TypeError: ("'Future' object is not subscriptable", 'occurred at index 0') 当使用lookup.result()['foo'].iloc[2]代替lookup['baz'].iloc[2]时，它工作得很好，但是:对于较大的输入数据帧实例，它似乎一次又一次地卡在from_pandas上。此外，看起来很奇怪的是，未来需要手动阻
浏览 13提问于2019-05-11得票数 1
回答已采纳
1回答
我正在尝试使用Dask来处理一个大文件(50 gb)。通常，我会将其加载到内存中并使用Pandas。我想按两列"A“和"B”分组，每当"C“列以一个值开头时，我想为那个特定的组重复该列中的值。
在熊猫中，我会做以下事情：
df['C'] = df.groupby(['A','B'])['C'].fillna(method = 'ffill')
Dask中的等价物是什么？此外，我还有点迷惑于如何在Dask中构建问题，而不是在Pandas中，
谢谢,
我到目前为止的进展是：
第一组索引：
df1
浏览 7提问于2016-08-12得票数 3
我正在尝试获取一个dask数据帧，按列'A‘分组，并删除行数少于MIN_SAMPLE_COUNT的组。 例如，下面的代码可以在pandas中运行： import pandas as pd
import dask as da
MIN_SAMPLE_COUNT = 1
x = pd.DataFrame([[1,2,3], [1,5,6], [2,8,9], [1,3,5]])
x.columns = ['A', 'B', 'C']
grouped = x.groupby('A')
x = grouped.filter(
浏览 15提问于2019-03-22得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
