如何合并两个带字符串索引的dask数据帧？
在Dask中，可以使用merge函数合并两个带有字符串索引的Dask数据帧。
首先，需要导入必要的模块和数据：
import dask.dataframe as dd
# 创建两个带有字符串索引的Dask数据帧
df1 = dd.from_pandas(pd.DataFrame({'A': ['foo', 'bar', 'baz'], 'B': [1, 2, 3]}), npartitions=2)
df2 = dd.from_pandas(pd.DataFrame({'A': ['baz', 'qux', 'quux'], 'C': [4, 5, 6]}), npartitions=2)然后，可以使用merge函数合并两个数据帧。合并的关键在于指定on参数，该参数指定了用于合并的列。在这种情况下，我们将使用列'A'作为合并键：
# 合并两个数据帧
merged_df = df1.merge(df2, on='A')最后，我们可以通过执行计算来获取结果：
result = merged_df.compute()
print(result)合并后的结果将是一个新的Dask数据帧，其中包含了两个原始数据帧的匹配行。要获取最终结果，可以通过compute方法将结果计算为Pandas数据帧或可以进行其他操作的形式。
Dask提供了merge函数以及其他数据操作函数，它们可以与Dask数据帧一起使用，以便在云计算环境中高效地进行数据处理和分析。
腾讯云相关产品和产品介绍链接地址：
- TencentDB for TDSQL
- TencentDB for MariaDB
- TencentDB for PostgreSQL
- TencentDB for Redis
- TencentDB for MongoDB
- TencentDB for Memcached
- Tencent Cloud Serverless Cloud Function
- Tencent Cloud COS
- Tencent Cloud CVM
- Tencent Cloud VPC
- Tencent Cloud Security
- Tencent Cloud Video Processing
- Tencent Cloud AI
- Tencent Cloud IoT
- Tencent Cloud Mobile Development
- Tencent Cloud CFS
- Tencent Cloud Blockchain Service
- Tencent Cloud Game Multimedia Engine
- Tencent Cloud Video Transcoding
- Tencent Cloud Live Video Broadcasting
- Tencent Cloud Network Communication
- Tencent Cloud Media Processing
- Tencent Cloud TKE
- Tencent Cloud Server Load Balancer
- Tencent Cloud CDN
- Tencent Cloud SSL Certificate Service
- Tencent Cloud Intelligent Video Analysis
- Tencent Cloud Intelligent Voice Communication
- Tencent Cloud TAPD
- Tencent Cloud TencentDB for PSSDB
- Tencent Cloud TencentDB for TcaplusDB
- Tencent Cloud Cognitive Services
- Tencent Cloud Data Lake Analytics
- Tencent Cloud Data Lake Storage
- Tencent Cloud TencentDB for ClickHouse
- Tencent Cloud TencentDB for TiDB
- Tencent Cloud API Gateway
- Tencent Cloud SCF
- Tencent Cloud Cloud Collaboration
- Tencent Cloud Data Integration
- Tencent Cloud Log Listener
- Tencent Cloud Message Queue CMQ
- Tencent Cloud BatchCompute
- Tencent Cloud DaaS
- Tencent Cloud Puppeteer
- Tencent Cloud Game Multimedia Engine
- Tencent Cloud TBaaS
- Tencent Cloud Imagemaker
- Tencent Cloud Mini Program DevTools
- Tencent Cloud Kubernetes
- Tencent Cloud CKafka
- Tencent Cloud GAIA
- Tencent Cloud MotionWorks
- Tencent Cloud IoV
- Tencent Cloud HiPlan
- Tencent Cloud Container Registry
- Tencent Cloud CAP
- Tencent Cloud DDoS Attack Defense
- Tencent Cloud CDN Domain Name Management
- Tencent Cloud Video Surveillance
- Tencent Cloud Virtual Private Network (VPN)
- Tencent Cloud TencentDB for HybridDB for PostgreSQL
请注意，这里给出的是腾讯云的一些相关产品链接，以供参考。
相关·内容
我有两个形状相同的数据帧。
我尝试转换为指定相同n_partition=50的dask数据帧。
然而，每个数据帧如何分割成分区似乎是不同的，如下图所示。
有人知道如何指定应该如何分隔数据帧吗？
浏览 0提问于2018-04-11得票数 0
1回答
我试图将两个变量(一个ID和一个DateTime变量)为MultiIndexed的熊猫数据帧转换为dask数据帧，但是我得到了以下错误； "NotImplementedError: Dask does not support MultiIndex Dataframes" 我正在使用下面的代码 import pandas as pd
import dask.dataframe as dd
dask_df = dd.from_pandas(pandas_df) 实际上，我有700多个熊猫数据帧(每个超过100MB)，我计划将每个熊猫数据帧转换为dask，然后将它们全部附加到一
浏览 18提问于2019-07-02得票数 2
回答已采纳
1回答
我有一个dask数据帧，如下所示：
id refseqno xml
0 31110671 42 <my_xml> ...
1 34470834 6 <my_xml>...
2 35025043 19 <my_xml>...
3 37360536 7 <my_xml>...
4 44152211 10 <my_xml>...
5 45322759 15 <my_xml>..
我想在id上运行group by，以便将相同的id分组在一起，并联接
浏览 1提问于2020-09-23得票数 0
我有一个dask数据帧和一个dask数组，它们以相同的逻辑顺序具有相同的行数。数据帧行通过字符串进行索引。我正在尝试将一个数组列添加到数据帧中。我尝试了几种方法，但都以其特定的方式失败了。
df['col'] = da.col
# TypeError: Column assignment doesn't support type Array
df['col'] = da.to_frame(columns='col')
# TypeError: '<' not supported between instances
浏览 15提问于2018-01-09得票数 8
2回答
我有Dask系列的Dask数据帧。
我想在本系列中建立索引，以获取dask数据帧以供后续工作使用。
但是，使用loc[0]会导致另一个dask系列。使用to_frame也不起作用，因为结果是"Dask系列Dask数据帧的Dask数据帧“。
下面是一个使用Dask系列Pandas数据帧的最小示例(不完全相同，但说明了问题)：
import pandas as pd
import dask.dataframe as dd
pdf1 = pd.DataFrame({'a': [1,2,3,4], 'b': [4,3,2,1]})
pdf2 = pd.Data
浏览 3提问于2020-02-03得票数 1
根据 answer的说法，如果Dask知道数据帧的索引已排序，则Dask数据帧可以执行智能索引。
如何让Dask知道索引是否已排序？
在我的特定情况下，我这样做：
for source is sources:
# This df has a datetimeindex that I know to be sorted
pd = load_pandas_df_from_some_source(source)
dd = dask.dataframe.from_pandas(pd, chunksize=foo)
dd.to_hdf(some_unique_filename, '
浏览 11提问于2017-06-23得票数 3
1回答
我有一个sales DataFrame，它有28M行，还有一些其他数据帧，还有一个示例Product DataFrame。
当我第一次将pandas数据帧转换为Dask数据帧时：
sales_dd = dd.from_pandas(Sales, npartitions=3) #28M rows
product_dd = dd.from_pandas(Product, npartitions=3) #600 rows
转换Dask Dataframe后，我可以使用；
sales_dd.tail()
Date ProductNo Total_
浏览 2提问于2018-05-27得票数 1
我正在尝试合并3个Dask数据帧并相应地查询它们。数据帧是从formula1数据的SQL表的.csv文件创建的。表格 laptimes: raceId, driverId, lap, position, time
races: raceId, year, round
drivers: driverId, forename, surname 下面的laptimes表与races和drivers表具有外键关系。我已经读入，合并了数据帧，并尝试查询数据帧： from dask import dataframe as df
import pandas as pd
pd.set_option("
浏览 82提问于2021-10-05得票数 2
从拼图或csv文件加载数据时，具有无分区。DASK文档没有关于如何设置和计算此...的信息。 如何正确设置和计算DASK数据帧的划分？
浏览 14提问于2019-06-05得票数 2
我在Dask的情况下，我想摆脱，而不是使用很多昂贵的reset_index操作。
我有一个任务，它执行groupby-apply (其中apply返回一个数据帧，它的大小与输入数据帧不同，在本例中，这是由.head()和.tail()用reset_index()模拟的)。
一个操作是在不同的数据帧上执行的，这两个数据帧需要连接。然而，这种行为并不像我所预期的那样。我原本期望数据帧只在dask索引上连接，由于dask没有实现多索引，我惊讶地看到它同时连接到dask索引和apply返回的索引：
import dask.dataframe as dd
import pandas as pd
ddf
浏览 0提问于2021-04-08得票数 1
下面的示例是：，我试图将一个~70 as的Dask数据帧与我作为Pandas数据frame加载的~24 as数据帧合并。
合并位于两个列A和B上，我没有设置任何索引：
import dask.dataframe as dd
from dask.diagnostics import ProgressBar
small_df = pd.read_csv(dataframe1) # as pandas
large_df = dd.read_csv(dataframe2) #as dask.dataframe
df2 = large_df.merge(small_df, how='left
浏览 16提问于2016-09-13得票数 26
1回答
我有一个大约8700万行的Pandas数据帧。为了对其进行一些处理，我将其设置为Dask数据帧。问题是我需要做Dask不支持的unstack和plot。我已经将Dask数据帧写入h5文件，但在尝试将其作为Pandas数据帧读取时遇到内存问题。我在将Dask DF转换为Pandas时也遇到了内存错误。
从本质上讲，我尝试做的是df2 = df.groupby(['A','B'])['B'].count().unstack('A')，然后是df2.plot(kind = 'bar', stacked = True)。
浏览 2提问于2020-04-22得票数 2
1回答
我相信在使用Dask数据帧时，我在Dask教程中看到了一个关于如何使用Dask框架中尚未实现的Pandas函数的建议，但我似乎看错了地方。例如，我想使用Pandas函数'ewm‘。 作为一种变通方法，我将Dask数据帧转换为Pandas数据帧，在Pandas数据帧上运行ewm，然后将它们转换回Dask，以便以后进行更多内存密集型操作。效率不是最高的。 有没有更好的策略呢？
浏览 10提问于2019-06-02得票数 1
回答已采纳
我想看到dask数据帧的整行，而不是截断字段，在pandas中，命令是pd.set_option('display.max_colwidth', -1)，dask是否有等效的命令？我什么也找不到。
浏览 0提问于2019-01-02得票数 3
2回答
我是python的新手。我正在使用dask读取5个大的(>1 GB) csv文件，并将它们合并(类似SQL)到一个dask数据帧中。现在，我正在尝试将合并后的结果写入单个csv。我在dask dataframe上使用compute()将数据收集到单个df中，然后调用to_csv。但是，compute()在读取所有分区的数据时速度很慢。我尝试在dask df上直接调用to_csv，它创建了多个.part文件(我没有尝试将这些.part文件合并到一个csv中)。有没有其他方法可以将dask df放入单个csv或任何参数中来计算()以收集数据。我使用硬盘和i5处理器的6 6GB内存。
谢谢
浏览 5提问于2017-03-23得票数 4
1回答
我有两个数据帧 带形状的df_train_1 (70652，4) 和 带形状的df_test_1 (24581，4) 我正在尝试将它们与顶部的df_train_1连接起来。 我尝试了以下两种方法： df_combined = df_train_1.append(df_test_1)
df_combined = pd.concat([df_train_1, df_test_1]) 当我调用df_combined.title时，我从原始数据帧中获得了这两个值。有人能告诉我如何避免这种情况吗？
浏览 12提问于2021-04-11得票数 0
回答已采纳
我合并了两个数据帧，每个数据帧都有一个日期时间类型的索引，因此得到的数据帧的行数比原来的多。这两个数据帧具有相同数量的记录，每个和相同的索引值。看一下--我发现同一索引上有重复的记录--这是一个已知的问题吗？
守则：
df_merged = df1.merge(df2, left_index=True, right_index=True)
浏览 2提问于2022-01-18得票数 0
我有一个具有YYYY-MM-DD形式的日期索引的数据帧和另一个具有正常索引的数据帧，它们都具有相同的行数，我想要连接这两个数据帧。Join和merge函数不起作用，concat函数通过添加小时-分钟-秒将日期格式更改为日期时间格式，并且表中有许多空值。那么如何连接这两个数据帧呢？
这是我使用的代码: pd.concat(HK4，adjusted_data，axis=1，join='outer'，ignore_index=False)
“带日期时间索引的数据集”
“具有正常索引的数据集”“连接的数据集”
浏览 5提问于2020-05-21得票数 0
假设说dask不支持reset_index()的drop=True，我如何用不同的索引将2个数据帧连接在一起(如head()所见)
浏览 11提问于2016-08-27得票数 4
1回答
我的问题是如何连接两个数据帧，这两个数据帧是由groupby方法以及sum()和max()函数创建的。
情况是:我有第一个数据帧和下一个结构：
第二个具有相同的结构，但不是DepartmentDescripton...变量，我有“星期一”，“星期二”等等。
然后我试着加入他们：
train_joined_dep_week = pd.merge(tr_bin_dep_grouped, tr_bin_weekday_grouped_flag, left_on=["VisitNumber"], right_on=["VisitNumber"], how=&#
浏览 0提问于2015-11-21得票数 0
我有一个有700万条记录的pandas数据帧，我正在尝试创建一个dask数据帧，但我总是遇到内存问题。 使用的代码： dd_test = dd.from_pandas(df_lookup_table, npartitions=3) 错误消息： Traceback (most recent call last):
File "<input>", line 1, in <module>
File "C:\Users\user\venv\lib\site-packages\dask\dataframe\io\io.py", line
浏览 9提问于2019-01-29得票数 1
回答已采纳
我想合并两个dask数据帧，用中位数列计算缺失的值，并将合并后的数据帧导出到csv文件。我有一个问题:我当前的代码不能利用全部8个CPU(约占每个CPU的20%)
我不确定哪个部分限制了CPU的使用。下面是可重复的代码
import numpy as np
import pandas as pd
df1 = pd.DataFrame(
np.c_[(np.random.randint(100, size=(10000, 1)), np.random.randn(10000, 3))],
columns=['id', 'a', 'b
浏览 0提问于2019-04-10得票数 0
我正尝试在Dask中执行groupby函数来创建一个新的Dask数据帧。然而，当我做groupby时，结果是一个熊猫系列。当我在Pandas中执行相同的操作时，我确实返回了一个新的数据帧。如何返回新的dask数据帧？
代码如下：
g1 = df1.groupby(['SFDC_Refresh_Date', 'Forecast_Category']).Total.sum().compute()
g1.dtypes
返回：
dtype('float64')
和
type(g1)
返回
pandas.core.series.Series
当
浏览 4提问于2019-10-09得票数 0
1回答
达斯克分拣
、、、
我想在dask中找到pandas.dataframe.sort_value函数的替代方案。
我是通过set_index来的，但是它会在一个列上排序。
如何对Dask数据帧的多列进行排序？
浏览 1提问于2018-06-12得票数 9
回答已采纳
我尝试使用[::-1]颠倒dask数据帧的顺序，但得到了一个只能使用iloc索引的NotImplementedError，比如[:, ['foo']] e.g tmp=pd.DataFrame(dict(a=[0,1,1,1,0,1,0,1], b=[0,0,0,0,1,0,0,1]))
tmp=dd.from_pandas(tmp, npartitions=4)
tmp[::-1] 如何在不将整个数据帧加载到内存中的情况下，轻松地颠倒排序后的数据帧的顺序？
浏览 18提问于2019-04-02得票数 2
回答已采纳
我曾经使用以下代码来创建数据帧 conn = pyodbc.connect('Driver={SQL Server};'
'Server=DELL;'
'Database=DB;'
'Trusted_Connection=yes;')
df_features = pd.read_sql("SELECT ID, filename, code, frequency from Features&
浏览 7提问于2020-04-10得票数 0
回答已采纳
1回答
我有一个使用某个blocksize的区块创建的dask数据帧 df = dd.read_csv(filepath, blocksize = blocksize * 1024 * 1024) 我可以像这样分块处理它： partial_results = []
for partition in df.partitions:
partial = trivial_func(partition[var])
partial_results.append(partial)
result = delayed(sum)(partial_results) (在这里，我尝试使用map_partit
浏览 11提问于2021-01-22得票数 1
回答已采纳
1回答
我是熊猫新手，我想要你的帮助。
我有两个文件，其中一个非常大(100G+)，我需要根据一些列合并它们。我跳过了大文件中的一些行，因此我将该文件作为read_csv方法的缓冲区。
弗西，我试过用熊猫。但是，当我尝试使用pandas打开该文件时，该进程被操作系统终止。
with open(self.all_file, 'r') as f:
line = f.readline()
while line.startswith('##'):
pos = f.tell()
line = f.readline()
浏览 2提问于2019-04-21得票数 2
我有一个如下所示的dask数据帧：
import dask.dataframe as dd
df = dd.read_csv('s3://...')
如何从该数据帧中获取期货列表？
浏览 11提问于2018-02-15得票数 0
我有两个数据帧。 df1的列为['City','State','Zip'] df2具有与df1相同列的标签编码器。这里的每个索引都是每列的编码标签。 我想按索引合并/合并这些数据帧。 如何确定哪个标签属于什么，以及如何将它们放到单个数据帧中，其中前三列将是原始列，其索引['City','State','Zip']，接下来的三列将是它们受尊重的标签['City_encoded','State_Encoded','Zip_Encoded']
浏览 21提问于2020-08-27得票数 0
1回答
我一直在使用Dask Concurrent.futures ，但我在使用(过时的) 时遇到了一些问题。具体地说，使用位置索引将dask数据帧分成测试/训练拆分：
train = dfs[:-1]
test = dfs[-1]
我也尝试过，但都无济于事：
train = dfs.loc[:-1]
test = dfs.loc[-1]
这给了我一个错误：
KeyError Traceback (most recent call last)
/opt/anaconda/lib/python3.5/site-packages/panda
浏览 13提问于2018-02-14得票数 4
我有两个数据帧。数据帧A如下所示 date quantity
0 2008-08-08 1000
1 2008-08-11 2000
2 2008-08-12 3000
..... 数据帧B是 date address
0 2008-08-08 xyz
1 2008-08-11 abc
2 2008-08-12 def
..... 我们的目标是将B[index]与A[inde
浏览 2提问于2020-10-20得票数 0
我有以下数据帧
np.random.seed(42)
dataframe = pd.DataFrame({'score': np.random.poisson(42, 100000)})
并创建了dask数据帧：
dask_df = dd.from_pandas(dataframe, npartitions=10)
并在这两个服务器上运行describe方法
dataframe.describe(percentiles=[.25, .5, .75, .85, .9]).score.to_frame().T
结果是：
count mean s
浏览 12提问于2018-12-06得票数 1
2回答
想象一下，我有一个来自Dask DataFrame的read_csv，或者创建了另一种方式。
我如何为dask数据帧建立一个唯一的索引？
注意：
reset_index在每个分区中构建一个单调上升的索引。这意味着(0,1,2,3,4,5，.)对于分区1，(0,1,2,3,4,5，.)对于分区2，(0,1,2,3,4,5，.)用于分区3等等。
我希望为dataframe中的每一行(跨所有分区)建立唯一的索引。
浏览 0提问于2019-06-06得票数 6
回答已采纳
在这种情况下，我需要按位置对dask数据帧进行索引。我看到没有可用的.iloc方法。有没有别的选择？或者我需要使用基于标签的索引吗？
例如，我想
import dask.dataframe as dd
import numpy as np
import pandas as pd
df = dd.from_pandas(pd.DataFrame({k:np.random.random(10) for k in ['a', 'b']}), npartitions=2)
inds = [1, 4, 6, 8]
df.iloc[inds]
这在dask中是不可能的吗？(
浏览 2提问于2017-10-16得票数 6
我正在处理一个大型数据集(22万行，~25 of作为csv文件)，该数据集存储为几个csv文件。
我已经成功地用Dask读取了这些csv，并将数据保存为一个带有以下内容的拼花文件：
import pandas as pd
from dask.distributed import Client
import dask.dataframe as dd
client = Client()
init_fields = {
# definition of csv fields
}
raw_data_paths = [
# filenames with their path
]
read_csv_k
浏览 7提问于2021-03-02得票数 0
2回答
我有两个数据帧，每个数据帧都有两个索引列。我想把它们合并。例如，第一个数据帧如下：
V1
A 1/1/2012 12
2/1/2012 14
B 1/1/2012 15
2/1/2012 8
C 1/1/2012 17
2/1/2012 9
第二个数据帧如下：
V2
A 1/1/2012 15
3/1/2012 21
B 1/1/2012
浏览 3提问于2016-04-11得票数 90
回答已采纳
0回答
我正在dask中构建一个非常大的DAG，以提交给分布式调度器，在分布式调度器中，节点操作数据帧，而数据帧本身可能非常大。一种模式是，我有大约50-60个函数，用于加载数据和构造pandas数据帧，每个数据帧大小为几百MB (并且逻辑上表示单个表的分区)。我想将这些连接到图中下游节点的单个dask数据帧中，同时最小化数据移动。我像这样链接任务：
dfs = [dask.delayed(load_pandas)(i) for i in disjoint_set_of_dfs]
dfs = [dask.delayed(pandas_to_dask)(df) for df in dfs]
return
浏览 6提问于2017-06-07得票数 4
我正在尝试向dask数据帧添加多个列，以存储apply函数的结果。这将是我关于堆栈溢出的第一个问题，我希望这个问题不会太长！
目前，我有一段有效的代码：
from dask import dataframe as dd
from multiprocessing import cpu_count
nCores = cpu_count()
import dask.multiprocessing
dask.config.set(scheduler='processes')
def dfFunc(varA, varB):
# Some calculations...
浏览 5提问于2018-10-11得票数 1
我想从Dask dataframe中保存多个拼图文件，一个拼图文件用于特定列中的所有唯一值。因此，拼图文件的数量应该等于该列中唯一值的数量。
例如，给定以下数据帧，我想保存四个拼图文件，因为在列"A“中有四个唯一的值。
import pandas as pd
from dask import dataframe as dd
df = pd.DataFrame(
{
"A": [1, 1, 2, 3, 1, 3, 6, 6],
"B": ["A", "L", "C",
浏览 5提问于2021-04-09得票数 1
3回答
我有两个关于dask的问题。首先: dask的文档清楚地指出，您可以使用与pandas相同的语法来重命名列。我使用的是dask 1.0.0。为什么我会得到下面这些错误的原因？
df = pd.DataFrame(dictionary)
df
# I am not sure how to choose values for divisions, meta, and name. I am also pretty unsure about what these really do.
ddf = dd.DataFrame(dictionary, divisions=[8], meta=pd.
浏览 1提问于2018-12-17得票数 7
1回答
将一列随机数添加到dask数据帧的正确方法是什么？显然，我可以使用map_partitions将列添加到每个分区，但我不确定当dask并行化该计算时，如何处理随机状态。(即，它是否会在所有工作进程中使用相同的随机状态，从而在每个工作进程中生成相同的随机数？)
在dask.array.random ()中似乎有相关的函数，但我找不到一个示例来说明如何将这些函数与dask数据帧一起使用。
浏览 2提问于2021-02-09得票数 1
我有一个很大的文件，我用Dask (Python)读取的。该文件大约有600万行和550列。我想随机选择5000条记录(没有替换)。下面是我尝试过的两个方法，但是运行起来需要很长时间(超过13个小时后我就停止了)：
df_s=df.sample(frac=5000/len(df), replace=None, random_state=10)
NSAMPLES=5000
samples = np.random.choice(df.index, size=NSAMPLES, replace=False)
df_s=df.loc[samples]
我不确定这些方法是否适合Dask数据帧。对于大数据
浏览 0提问于2020-07-14得票数 1
1回答
我有一个这样的dask数据帧：
pprint(daskdf.iloc[:,95:100].head())
1980-04-02 1980-04-03 1980-04-04 1980-04-05 1980-04-06
0 3.459240 0.0 2.296430 5.771730 13.344725
1 5.036489 0.0 1.021041 3.930686 8.015582
2 0.000000 0.0 0.667812 4.580948 9.824745
浏览 11提问于2020-05-05得票数 2
在pandas中，有许多方法可以用来查看内部数据，比如head、tail、loc、iloc，但每当我在dask上调用其中一个方法时，得到的结果是： Dask DataFrame Structure:
Close
npartitions=1
bool
...
Dask Name: try_loc, 9 tasks 不管我之前是否调用了.compute()。如何查看dask数据帧/系列中的数据？ 我使用的是Visual Studio Code 1.38.1，python 3.7，dask 2.13.0
浏览 10提问于2020-04-05得票数 2
回答已采纳
1回答
我正在尝试读取一个大型.parquet作为dask数据帧，并对其进行采样：
ddf = dd.read_parquet("big_data.parquet")
sample_ddf = ddf.sample(frac=0.03)
这会产生以下错误：
ValueError: Arrays chunk sizes are unknown: (nan,)
A possible solution: https://docs.dask.org/en/latest/array-chunks.html#unknown-chunks
Summary: to compute chunks si
浏览 29提问于2021-05-21得票数 0
1回答
我有两个数据框，第一个来自岛上的一家摩托车租赁公司，它包括关于摩托车类型、持续时间、开始和结束时间以及许多其他字段的数据，第二个包括来自这个岛屿的气象数据。
由于每天的气象数据每3小时有8个记录/测量(例如，在凌晨1点、4点到22点)，我将第一个数据帧中的开始时间转换/削减为8个框，以便为每个记录组合相应的天气条件。
我如何将这两个框架组合在一起，以便每个租金都具有相应的天气条件？
假设我有字段df1.rent_id、df1.rent_day、df1.starting hour(从1到8)和df2.day、df2.hr(从1到8)、df2.temp等等
如何组合/连接这两个数据帧以获得我想要的
浏览 2提问于2019-06-16得票数 0
在这个bug报告中：https://github.com/dask/dask/issues/8319我有一个解决以下问题的方法。由于这似乎超出了该bug报告的范围，因此我将在这里询问最初的问题： import pandas as pd
import dask
# some example dataframe
df = pd.DataFrame([{"a": "A", "b": "B"}, {"a": "@", "b": "β"}, {"a": &#
浏览 25提问于2021-11-02得票数 0
回答已采纳
1回答
如何使用dask找到数据帧的长度？
例如，在熊猫中，我可以这样做：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.normal(0, 1, (5, 2)), columns=["A", "B"])
print df['A'].count()
print df
输出：
5
A B
0 1.538531 0.424717
1 -0.929843 1.323648
2 -1.283680 0.056199
3 -0.641
浏览 0提问于2018-05-28得票数 6
我从CSV文件中获取了数据，并将其保存在我的Dask数据帧中并对其进行操作。然后，我需要将数据写入数据表。我还没有真正遇到过任何解决方案。Pandas的to_sql函数具有内置的功能，所以我不确定是否需要首先转换为Pandas？我目前认为，将Dask数据帧转换为Pandas会导致它被完全加载到内存中，这可能会违背最初使用Dask的目的。
将Dask数据帧写入datatable最好、最快的方法是什么？
浏览 4提问于2020-03-27得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
