如何对DataFrame行执行不同的操作？
对DataFrame行执行不同的操作可以通过以下几种方式实现：
- 使用iterrows()方法遍历每一行：
- 概念：iterrows()方法是pandas库中的一个函数，用于遍历DataFrame的每一行，返回(index, Series)的元组。
- 优势：可以逐行处理DataFrame的数据。
- 应用场景：逐行处理数据，例如对每一行进行计算、筛选、转换等操作。
- 推荐的腾讯云相关产品：腾讯云服务器（https://cloud.tencent.com/product/cvm），腾讯云数据库（https://cloud.tencent.com/product/cdb）。
- 使用apply()方法对每一行应用自定义函数：
- 概念：apply()方法是pandas库中的一个函数，用于对DataFrame的每一行应用自定义函数。
- 优势：可以使用自定义函数对每一行进行复杂的操作。
- 应用场景：对每一行进行自定义的计算、转换、筛选等操作。
- 推荐的腾讯云相关产品：腾讯云函数计算（https://cloud.tencent.com/product/scf），腾讯云人工智能平台（https://cloud.tencent.com/product/ai）。
- 使用loc()方法根据条件选择行，并对选中的行执行操作：
- 概念：loc()方法是pandas库中的一个函数，用于根据条件选择行。
- 优势：可以根据条件灵活地选择需要操作的行。
- 应用场景：根据条件选择特定的行，并对选中的行进行操作。
- 推荐的腾讯云相关产品：腾讯云数据分析平台（https://cloud.tencent.com/product/dap），腾讯云人工智能平台（https://cloud.tencent.com/product/ai）。
- 使用numpy的向量化操作：
- 概念：numpy是一个Python科学计算库，可以进行向量化操作，对整个DataFrame进行快速的数值计算。
- 优势：可以高效地对整个DataFrame进行数值计算。
- 应用场景：对整个DataFrame进行数值计算，例如统计、聚合、运算等。
- 推荐的腾讯云相关产品：腾讯云数据分析平台（https://cloud.tencent.com/product/dap），腾讯云人工智能平台（https://cloud.tencent.com/product/ai）。
以上是对DataFrame行执行不同操作的几种常用方法，根据具体需求选择合适的方法进行操作。
相关·内容
1回答
如果我有一个dataframe，并且行名是单词而不是数字，我如何根据它的名称删除特定的行？
例如，如果行名为“细菌”，我如何才能只删除名为“细菌”的行呢？
浏览 16提问于2020-03-04得票数 3
回答已采纳
我想对排序后的Pyspark数据帧进行基于时间的训练测试拆分。假设前300行将在训练集中，下200行将在测试拆分中。 我可以用以下命令选择前300行： train = df.show(300) 但是如何从Pyspark dataframe中选择最后200行呢？
浏览 14提问于2019-03-13得票数 1
我将数据从dataframe发送到有5万行限制的API。假设我的dataframe有70000行，我如何将其分割成不同的数据帧，每一行的最大行数为50,000行？这些不一定是均匀的，数据顺序也不重要。
浏览 4提问于2020-05-06得票数 4
回答已采纳
我有一个apply函数，它对数据中的每一行进行操作。apply函数的结果是一个新的值。此新值用于该行的新列中。
因此，在将此函数应用于dataframe中的所有行之后，该dataframe中将有一个全新的列。
如何在pandas中做到这一点？
浏览 3提问于2015-12-20得票数 1
回答已采纳
如果我不缓存使用带有limit选项的spark SQL生成的dataframe，当我编辑得到的dataframe并显示它时，我会得到不稳定的结果吗？ 描述。 我有一个类似下面的表格，它是通过使用带有limit选项的spark SQL生成的： +---------+---+---+---+---+
|partition| | 0| 1| 2|
+---------+---+---+---+---+
| 0| 0| 0| 10| 18|
| 1| 0| 0| 10| 17|
| 2| 0| 0| 13| 17|
+---------
浏览 6提问于2021-04-21得票数 0
回答已采纳
我有一个包含ID的dataframe，我希望根据ID 'group by‘。我还需要保留dataframe的所有其他列(静态数据，字符串)，所以最初我在group by中包含了所有静态数据列。但是，具有相同ID的2行或更多行之间的静态数据可能存在差异(由于源不同)。在这种情况下，我仍然希望对ID进行分组，而不是创建“重复”。对于有差异的列，我是相当无所谓的，分组的行可以只取冲突行中它遇到的第一个行。 希望这个插图能澄清： example 有什么建议吗？
浏览 18提问于2020-11-19得票数 0
回答已采纳
2回答
我是Python的新手，我正在尝试理解如何从Dataframe中的每个索引中选择n行，并仅使用选定的行构建一个新的Dataframe。
我的df如下所示：
Col1 Col2 Col3 etc
A
A
A
A
B
B
B
B
我基本上会取每个索引的前两行：
Col1 Col2 Col3 etc.
A
A
B
B
我尝试使用如下所示的for循环和iloc来完成此操作，但循环停止到索引A：
for i in df:
sel=df.iloc[:3]
我知道这是一个基本的问题，但我读得越来
浏览 15提问于2020-02-26得票数 1
1回答
我有一个大概的dataFrame。400万行和35列作为输入。
我对这个dataFrame所做的全部工作是以下步骤：
对于给定列的列表，我计算给定的组特性列表的和，并将其作为新列加入到我的输入中，在我将每个新列和加入到dataFrame.之后立即删除它。
因此，我们最终得到的dataFrame与我们从(理论上)开始的相同。
但是，我注意到，如果我的给定列列表太大(来自6个以上的列)，则无法操作输出dataFrame。即使是一个简单的显示也需要10分钟。
下面是我的代码示例(df是我的输入dataFrame)：
for c in list_columns:
df = df.join(
浏览 2提问于2020-02-19得票数 3
回答已采纳
我有一个数据(df1)的每一个单次投篮与时间，投篮位置，球员等(有重复的球员名字，因为每一个镜头是它自己的行)，我想创建一个新的数据，从原来的数据计算数字。新的dataframe将有每名球员一行与各种统计数字，如“总投篮”和“制造%”。
我已经创建了新的dataframe，只有球员的名字：
df_names = df1['Player Name'].drop_duplicates()
现在，我想知道如何通过df1，数一数每个球员拍摄的照片，插入到我的新df_names作为一个新的专栏。
浏览 4提问于2022-05-03得票数 0
我想用数据帧中的一行减去另一个数据帧中的所有行。(与一行不同)
有什么简单的方法可以做到这一点吗？比如df-df2)？
df = pd.DataFrame(abs(np.floor(np.random.rand(3, 5)*10)),
... columns=['a', 'b', 'c', 'd', 'e'])
df
Out[18]:
a b c d e
0 8 9 8 6 4
1 3 0 6 4 8
2 2 5 7 5 6
df2
浏览 1提问于2014-02-28得票数 9
回答已采纳
我想遍历pandas DataFrame中的每一行，并对每一行中的元素做一些处理。
现在我有
for row in df.iterrows():
if row['col'] > 1.5:
doSomething
但它告诉我‘元组索引必须是整数，而不是str’。如何访问某一行中我想要的列？
浏览 0提问于2014-10-08得票数 7
当我通过show显示dataframe列的子集时，为什么显示的行的顺序不同？
以下是原始数据帧：
这里的日期是给定的顺序，如您所见，通过show。
现在，当我为新数据帧选择predict_df by列选择方法的子集时，通过show显示的行的顺序发生了变化。
浏览 4提问于2021-05-16得票数 3
1回答
早上，我有一个460.000行的DataFrame，有15列。我尝试将另外两列的乘积赋值给另一列，代码如下 df[df.colx == 'S']['prd'] = df['col1']*df['col2'] prd、col1和col2的数据类型都是float64。我在其他列上执行了许多操作，没有任何问题，包括日期差异，它们几乎是立即执行的。如果我尝试 df['prd'] = df['col1']*df['col2'] 执行速度非常快。当我试图在DataFrame的一个子集上应用该
浏览 6提问于2019-06-11得票数 1
回答已采纳
我有一个包含单行文本的DataFrame。我需要写，而每个文件(来自每个DataFrame分区)都有自定义的扩展名.XYZ。目前，我使用以下代码来编写文件： dataFrame.write.text(outputPath) 但是，此代码使用默认扩展名写入文件。目前，我通过在写完文件后重新命名文件来控制扩展名，我想通过写带有所需扩展名的文件来优化这一点。如何实现写扩展名不同于默认扩展名的文件？
浏览 43提问于2020-02-01得票数 0
回答已采纳
假设我有一个DataFrame：
ds = pd.DataFrame(np.abs(randn(3, 4)), index=[1,2,3], columns=['A','B','C','Average'])
ds
A B C Average
1 1.099679 0.042043 0.083903 0.410128
2 0.268205 0.718933 1.459374 0.758887
3 0.680566 0.538655 0.038236 1.1
浏览 0提问于2014-10-01得票数 0
1回答
我有两个DataFrames "A“和"B”。每个列都有两个列"key1“和"key2"，但唯一的键是两个列的组合。我希望从第二个DataFrame中选择包含在DataFrame "A“中的"key1”和"key2“列组合的所有行。
简单示例：
A = pd.DataFrame({'a':list(range(20000))*100,
'b':np.repeat(list(range(100)),20000)})
B = pd.DataF
浏览 1提问于2016-03-16得票数 3
回答已采纳
我有一个包含541列的DataFrame df，我需要将它的所有唯一的列名对保存到一个单独的DataFrame的行中，每个行重复8次。
我想我应该创建一个空的DataFrame fp，通过df的列名进行双循环，插入到每8行中，然后用最后一个可用的值填充空格。
当我试着做这件事时，我对它花了多长时间感到困惑。有了541个专栏，我只需要写146,611次，但要花上20多分钟。对于数据访问来说，这似乎是令人震惊的。问题在哪里，我如何解决？与Pandas相比，生成与列相关的矩阵所需的时间更短，所以我必须做一些错误的事情。
这里有一个可复制的例子，说明了我的意思：
fp = np.empty(shape
浏览 4提问于2017-07-07得票数 9
回答已采纳
1回答
在学校学习Python。在一个项目中工作，我想从一个数据帧中删除特定的行，并将其转换为另一个数据帧。我有一个372个动物的列表，如果它们的名字出现在数据帧中(它有1288行，每行是不同的动物)，我想删除该行。因此，我找到了一个删除行的解决方案： ess_aza = []
for i in aza_names:
if True:
ess_aza.append(ess_clean.loc[ess_clean['scientific_name'] == i])
else:
return 打印出来的列表是这样的： [Empty Dat
浏览 20提问于2020-10-25得票数 2
回答已采纳
我需要定期将C*表中的行存档/冷存储到CSV。例如:将C*表my_table中2016年1-6月的行导出到CSV my_table.2016_06-30.csv，将my_table中2016年7-12月的行导出到my_table.2016-12-31.csv，依此类推。
我认为CQL可以做到这一点，但并不是我所有的表都有我的行的时间戳列。有人建议我使用Spark Dataframe来做这件事(所以我可以从Spark Cassandra连接器获得像writeTime这样的元数据)。
我对Spark Cassandra连接器和这种Spark的使用还很陌生。
谁能给我举一个很好的例子，告诉我如何将C
浏览 0提问于2017-09-02得票数 2
1回答
上下文：
我想用几行和不同的列名，按元素来划分两个数据格式。例如：
df1 = pd.DataFrame({'A':[4,2,1],'B':[10,4,2]})
df2 = pd.DataFrame({'C':[8,4,1],'D':[20,2,4]})
会产生这样的数据：
df3 = pd.DataFrame({'A':[0.5,0.5,1],'B':[0.5,2,0.5]})
我试着做这样的事：
df3 = pd.DataFrame(df1.div(df2,axis='columns&#
浏览 5提问于2022-08-29得票数 0
回答已采纳
我正在迭代pandas dataframe，在给定的条件下，它选择dataframe的一个子集。在选定的数据帧上，我希望在特定列的第一行进行更新
我试过用熊猫的replace方法，但它取代了一切。我只想更新第一行，不想更新其他内容。
for unique_master_pr in same_date_PR_unique:
dataframe_from_master = pr_event_data_copy[pr_event_data_copy['PR'] == unique_master_pr].reset_index(drop=True)
temp_fram
浏览 4提问于2019-08-07得票数 0
1回答
我正在使用一个Dataframe，它有一个类似于此的复杂模式：
root
|-- NPAData: struct (nullable = true)
| |-- NPADetails: struct (nullable = true)
| | |-- location: string (nullable = true)
| | |-- manager: string (nullable = true)
| |-- usersDetails: array (nullable = true)
| | |-- element: struc
浏览 2提问于2017-09-26得票数 1
回答已采纳
1回答
假设我有以下DataFrame：
d = pd.DataFrame({ 'a': [10,20,30], 'b': [1,2,3] })
a b
0 10 1
1 20 2
2 30 3
我想要创建一个新的列'c‘，它将包含'a’和'b‘的元组(每一行)。就像这样：
a b c
0 10 1 (10,1)
1 20 2 (20,2)
2 30 3 (30,3)
我只是做不到，无论我尝试什么(我尝试了apply与axis=1，并让它返回一个元组，一个列表，一个串联对象。都不起作用
浏览 3提问于2014-01-19得票数 0
回答已采纳
我试着从一个dataframe中选择一些行。
data(Grunfeld, package="AER")
gf = Grunfeld[Grunfeld$firm == c("General Electric",
"General Motors",
"US Steel",
"Westinghouse"), ]
预期的输出
浏览 3提问于2021-07-13得票数 1
回答已采纳
我刚接触Pandas，我有两个数据帧
A>日期地点数量销售2015-11-01 LA 30 2015-11-01 BOS 24 15 .36000行
B>位置标识LA是BOS是
.20行
我想创建一个新的dataFrame日期位置数量销售标识符2015-11-01 LA 30 12是2015-11-01 BOS24 15是......36000行
有什么想法吗？
浏览 0提问于2015-11-11得票数 0
我有点惊讶，对于唯一的数据类型DataFrame (nxn dataFrame)，访问行的速度比访问列的速度慢。从我收集的数据类型来看，相同数据类型的DataFrame应该作为连续的块存储在内存中，因此访问行或列应该同样快(只需更新正确的步长)。 示例代码： df = pd.DataFrame(np.random.randn(100, 100))
%timeit df[0]
%timeit df.loc[0] 最慢的跑步时间是最快的12.86倍。这可能意味着中间结果正在被缓存。 100000 loops, best of 3: 2.72 µs per loop
10000 loops, b
浏览 38提问于2019-03-09得票数 2
我正在尝试从其他三个列的元素之间的逻辑操作生成一个pandas数据帧列。我知道我可以一行一行地吃力地完成它，但我相信有一种更简洁的方法来实现这一点。下面是如果标准操作在dataframe列之间工作的话我会怎么做(显然这段代码不能工作)。该操作依赖于访问该列中的前一个值，因此最后一行中的.shift()。
if dataframe['C'] > dataframe['H']:
dataframe['Result'] = 1
else:
if dataframe['C'] < dataframe['
浏览 3提问于2021-02-28得票数 0
我目前正在尝试使用numpy内置函数np.sign将所有行值转换为特定的符号 我的代码： import numpy as np
pd_dataframe = pd.DataFrame({'id': [i for i in range(10)],
'values': [10,5,3,-1,0,-10,-4,10,0,10]})
sp_dataframe = spark.createDataFrame(pd_dataframe)
sign_acc_row = F.udf(lambda x: np.sign
浏览 16提问于2020-01-18得票数 0
回答已采纳
基于下面的dataframe (1)，我希望创建一个dataframe ( 2 )，其中y或z等于2。有什么方法可以方便地做到这一点吗？
如果我要创建一个只包含dataframe (1)中的行而不包含dataframe (2)中的行的dataframe (3)，我应该如何处理它？
id x y z
0 324 1 2
1 213 1 1
2 529 2 1
3 347 3 2
4 109 2 2
..。
浏览 0提问于2017-11-18得票数 1
1回答
我是星火新来的。现在我正试图将两个DataFrames连接在一起。我想把我的数据存储在5000行。因为我的第一个dataframe已经有5000行，所以我需要获得最新的4000行，因为我的第二个dataframe有1000行。有人能帮助我如何在第一个dataframe中获得最新的4000行数据吗？提前谢谢。
浏览 1提问于2015-12-01得票数 0
回答已采纳
1回答
pyspark行号数据帧
、、、
我有一个dataframe，它包含列time、a、b、c、d、val。我想创建一个dataframe，其中包含每个组中的行的行号，其中a，b，c，d是组关键字。
我尝试使用spark sql，通过定义一个窗口函数，特别是在sql中，它将如下所示：
select time, a,b,c,d,val, row_number() over(partition by a,b,c,d order by time) as rn from table
group by a,b,c,d,val
我想在dataframe本身上做这件事，而不是使用sparksql。
谢谢
浏览 0提问于2016-05-23得票数 7
我正在尝试减去两个数据。
我对__sub__的逻辑行为与预期相同，但__rsub__的逻辑没有输出相反的逻辑。
如何使__rsub__输出与之匹配？
import pandas as pd
class Base:
def __init__(self):
self.data = pd.DataFrame({'a': [5, 6]})
def __sub__(self, other):
return self.data - other
def __rsub__(self, other):
return o
浏览 1提问于2021-04-15得票数 1
回答已采纳
1回答
计算运行总量
、、、、
我有数据框架df，我希望保持在该数据帧的一个列中出现的名称总数。我试图计算正在运行的总列：
name running total
a 1
a 2
b 1
a 3
c 1
b 2
我认为有两种方法可以做到这一点：
循环遍历dataframe，并使用包含名称和当前计数的单独字典。每次执行循环时，相关名称的当前计数将增加1，并且该值将被复制到我的dataframe中。
更改dataframe中每个
浏览 3提问于2017-05-05得票数 0
回答已采纳
我有一个大致如下的代码： import numpy as np
import pandas as pd
df = pd.DataFrame({'Group':['a','a','b','b','b','c','c'], 'Label':[0,1,0,1,1,0,1], 'Num':[1,2,3,4,5,6,7]}) 我希望有一个新的列，它是Num的平均值，但仅适用于类标签为1的行。但是，此平均值应仅应用于标签为1的所有行，其余行为0
浏览 26提问于2021-10-17得票数 1
回答已采纳
3回答
在pandas dataframe中，如何删除某一列后面有零的所有行。例如
from pandas import DataFrame
df = DataFrame({'a' : [0,1,1,0,0,0,0], 'b' : [0,1,-1, 1,0,0,0], 'c': [1,4,5,6,7,0,0]}).T
df：
0 1 2 3 4 5 6
a 0 1 1 0 0 0 0
b 0 1 -1 1 0 0 0
c 1 4 5 6 7 0
浏览 2提问于2015-01-29得票数 1
2回答
如何从列表的项目中删除'\n‘
、、、、
我将从列表的项目中删除'\n‘(新行)。以下命令以DataFrame格式从excel文件中读取数据，然后将其转换为列表“bodylist”：
data = pd.read_excel (r'C:\Users\thmag\HealthUnlockSelenium\PopularPosts\out2.xlsx')
df = pd.DataFrame(data, columns= ['body'])
#print (df)
#convert df to list
bodylist = df.values.tolist()
bodylist= map(lamb
浏览 0提问于2021-04-13得票数 1
回答已采纳
我有一个代码，它有以下while循环：
def get_names(key):
temp = pd.DataFrame(columns=['name','tot_count'])
df2 = dfx.loc[(dfx['name1'] == key) | (dfx['name2'] == key) | (dfx['name3'] == key) | (dfx['name4'] == key)]
for c in cl:
y = df2[[c,
浏览 6提问于2022-07-26得票数 0
这是我的职责：
def TestForeach(dataFrame: DataFrame)={
dataFrame.select("user_id").dropDuplicates().foreach(row =>{
dataFrame.filter("user_id == "+row.getString(0))
})
}
我知道这个错误：
ERROR Executor: Exception in task 2.0 in stage 4.0 (TID 16)
java.lang.NullPointerException
at org.apach
浏览 1提问于2017-09-18得票数 0
回答已采纳
1回答
我想在基于多个列的DataFrame中聚合重复的行，但对“复制”的含义有一个非常规的定义。 假设有一个包含两列的DataFrame：A和B In [45]: df = pd.DataFrame([[0, 0], [pd.NA, 0], [0, 1], [pd.NA, 1], [1, 1]], columns=['A', 'B']).convert_dtypes()
In [63]: df
Out[63]:
A B
0 0 0
1 <NA> 0
2 0 1
3 <NA> 1
4 1
浏览 8提问于2020-03-21得票数 2
回答已采纳
我刚刚发现，迭代熊猫的数据行，并对每一行进行更新，并不会更新数据！这是预期的行为，还是需要先对行做一些事情，以便更新反映在父dataframe中？
我知道可以在循环中直接更新dataframe，或者在这个简单的/人为的示例中对列进行简单的重新计算，但我的问题是，iterrow()似乎提供了行的副本，而不是对dataframe中实际行的引用。这有什么原因吗？
import pandas as pd
fruit = {"Fruit": ['Apple','Avacado','Banana','Strawberry',
浏览 4提问于2022-11-14得票数 0
2回答
作为的后续行动
我可以把DataFrame 看作是列的列表还是行的列表？
在前一种情况下，这意味着(最优地)每个列必须是同构的(按类型划分)，不同的列可以是不同的类型。后一种情况表明，每一行都是按类型均一的。
关于文件：
DataFrame是一种具有潜在不同类型列的二维标记数据结构.
这意味着DataFrame是列的列表。
这是否意味着将行附加到DataFrame比附加列更昂贵？
浏览 5提问于2014-12-09得票数 9
回答已采纳
1回答
我正在试着解决熊猫的问题陈述。熊猫的数据框如下所示： import numpy as np
np.random.seed(0)
import time
import pandas as pd
dataframe = pd.DataFrame({'operation': ['data_a', 'data_b', 'avg', 'concat', 'sum', 'data_a', 'concat']*100,
'data_a'
浏览 30提问于2020-09-06得票数 0
回答已采纳
有一些包含重复行的表。我正在尝试减少重复并保持使用最新的my_date (如果有多行具有相同的my_date，则无论使用哪一个)
val dataFrame = readCsv()
.dropDuplicates("my_id", "my_date")
.withColumn("my_date_int", $"my_date".cast("bigint"))
import org.apache.spark.sql.functions.{min, max, grouping}
val aggregated
浏览 8提问于2019-11-05得票数 0
我是熊猫和DataFrames的新手，遇到了一个问题。DataFrame.apply()方法将一个行参数传递给所提供的函数。但是，我似乎无法从这个row参数中找出与该行相对应的索引值。
一个例子
df = DataFrame ({'a' : np.random.randn(6),
'b' : ['foo', 'bar'] * 3,
'c' : np.random.randn(6)})
df = df.set_index('a')
def my_test2(ro
浏览 0提问于2014-07-11得票数 4
回答已采纳
2回答
如何对DataFrame进行排序，以便将列的重复行值“添加”到它们第一次“出现”的行中？例如，我的原始DataFrame如下所示： In [3]: df
Out[3]:
A B
0 r1 0
1 r3 3
2 r3 5
3 r1 3
4 r3 6
5 r4 2
6 r2 1
7 r1 7 我想对它进行如下排序 In [3]: df
Out[3]:
A B
0 r1 0
1 r1 3
2 r1 7
3 r3 3
4 r3 5
5 r3 6
6 r4 2
7 r2 7 我已经试过df.groupby('
浏览 17提问于2019-09-21得票数 0
首先，我必须说，我已经尝试了所有我知道或发现的谷歌(包括这个，这正是我的问题)。
我必须计算两个DataFrame - countries和units之间的笛卡儿积，这样-
A.cache().count()
val units = A.groupBy("country")
.agg(sum("grade").as("grade"),
sum("point").as("point"))
.withColumn("AVR", $"grade" / $&#
浏览 7提问于2022-01-13得票数 0
回答已采纳
1回答
我在dataframe中有以下数据：
VALUE COUNT REGION ID
235 15 LP 139
355 59 LP 102
421 8 LP 127
427 227 LP 90
439 4 LP 133
235 45 UP 139
355 231 UP 102
421 756 UP 127
427 23 UP 90
439
浏览 3提问于2014-09-16得票数 0
回答已采纳
1回答
假设我有以下数据
using DataFrames
df = DataFrame(A = 1:10, B = ["a","a","b","b","b","c","c","c","c","d"])
grouped_df = groupby(df, "B")
我会有四个小组。我如何删除少于2行的组？例如，如何只保留组a、b和c？我可以很容易地使用for循环来完成它，但我并不认为这是最佳的方法。
浏览 3提问于2021-03-04得票数 5
回答已采纳
我正试图在Pyspark中定义一个UseDefinedFunction，以处理dataframe的实例值，以便根据这些值生成一个新属性。
我有这样的密码：
# I have a global attribute named 'global_dataframe' which is a dataframe containing some interesant instances.
from pyspark.sql.functions import UserDefinedFunction
def method1(instance, list_attribute_names):
浏览 1提问于2017-07-17得票数 1
场景:我创建了一个查找表(输入是大约50Mb的JSON文件)，并将其缓存在内存中，以便在处理输入文件的每一行(每个输入文件中大约有10000个数据点)时可以查找它。
问题: dataframe.filter(...).select(...)spark中的方法执行顺序搜索还是散列搜索？在这种情况下，我们如何才能更快地检索数据？此外，我想知道我是否需要在它上创建索引或创建它的哈希表(如果需要，我不确定它是如何为数据帧完成的)。
浏览 2提问于2015-09-13得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
