Pandas的列表值处理技巧，避免过多循环加快处理速度

这里有一些技巧可以避免过多的循环，从而获得更好的结果

图1 -标题图像。

您曾经处理过需要使用列表的数据集吗?如果有，你就会明白这有多痛苦。如果没有，你最好做好准备。

如果你仔细看，你会发现列表无处不在!下面是一些实际问题，您可能会遇到列表。

音频或视频标签

调查数据中的开放式问题

参与创作作品的所有作者、艺术家、制作人等的名单

图2 -一个有趣的猫有关的视频的标签列表。

我最近参与了多个项目，这些项目要求我分析这类数据。在经历了几个小时的痛苦摸索之后，我意识到必须在这里分享我的知识来帮助您节省时间。

我将向您展示您可能会遇到的各种问题，并为它们提供实用的解决方案。

准备

要遵循本教程，请下载用于所有示例的虚拟数据集。包括代码在内的所有资料都可以在这里找到。

另外，请导入所有必要的库并加载数据格式。

importpandasaspd

importnumpyasnp

importmatplotlibaspltfruits=pd.read_csv("fruits.csv",delimiter=";")

图3 -数据集示例

列表值有什么问题呢?

让我们直击要点:列表值打乱了您所知道的关于数据分析的一切。如果没有无尽的循环，甚至不能执行最简单的操作。让我给你们看一个简单的例子:

对于示例数据集中的“age”列，我们可以轻松地使用函数来计算观察到的年龄数据集的数量。

fruits["age"].value_counts()## OUTPUT ##

8     3

10   2

6     2

9     1

7     1

5     1

如果我们想知道哪些水果被命名得最多呢?原则上，我们在“favorite_fruits”列中获得了所需的所有数据。然而，如果我们应用相同的函数，结果是没有帮助的。

fruits["favorite_fruits"].value_counts()## OUTPUT ##

["strawberry", "raspberry", "blueberry"]                     1

["mango", "pineapple", "orange"]                             1

["blueberry", "watermelon", "apple", "raspberry"]             1

["apple", "pear", "peach"]                                   1

["pear", "strawberry", "raspberry"]                           1

["banana", "maracuja", "watermelon", "apple", "pineapple"]   1

["peach", "strawberry", "apple", "blueberry"]                 1

[]                                                           1

["banana", "mango", "orange", "watermelon"]                   1

["watermelon", "apple", "blueberry", "pear", "strawberry"]   1

这不起作用的原因是，Pandas不能直接访问列表中的每个元素。因此，它无法正确地应用等函数。那么，我们该怎么做呢?我将在下面向您展示!

问题1:列表存储为字符串

您经常会遇到的一个问题是，panda将以字符串的形式读取列表，而不是以列表的形式。

for i, l in enumerate(fruits["favorite_fruits"]):

print("list",i,"is",type(l))## OUTPUT ##

list 0 is

list 1 is

list 2 is

list 3 is

list 4 is

list 5 is

list 6 is

list 7 is

list 8 is

list 9 is

这意味着您甚至不能遍历列表来计算惟一值或频率。根据您的列表在格式化方式的，有一种简单的或复杂的解决方案。在任何情况下，您都可以使用我提供的代码。

你的字符串是这样的吗：“[‘strawberry’, ‘apple’, ‘orange’]”？

在这种情况下，有一个使用和函数的快速方法。

fruits["favorite_fruits"] = fruits["favorite_fruits"].apply(eval)

你的字符串是这样的吗：“[strawberry, apple, orange]”?

这个类型比较困难，函数因为列表缺少内部引号而不能工作，以便将其识别为一个列表对象。快速而粗糙的解决方案是简单地向字符串添加引号，然后应用。使用这个函数：

defclean_alt_list(list_):

 list_=list_.replace(', ','","')

 list_=list_.replace('[','["')

 list_=list_.replace(']','"]')

 returnlist_

应用到时,请使用此伪代码:

df[col] =df[col].apply(clean_alt_list)

注意，在这两种情况下，Pandas仍然会为系列分配一个“O”数据类型，这通常用于字符串。但是不要让这个迷惑了你。你可以使用检查实际的数据类型:

for i, l in enumerate(fruits[“favorite_fruits”]):

print(“list”,i,”is”,type(l))## OUTPUT ##

list 0 is

list 1 is

list 2 is

list 3 is

list 4 is

list 5 is

list 6 is

list 7 is

list 8 is

list 9 is

问题2:获得特定的列表值

在这第一步之后，我们的数据集最终被Pandas认可。但是，我们仍然不能使用标准函数，因为它们不是为列表设计的。

至少我们现在可以使用循环。这个方法适合于小数据集,但会非常慢。例如,我如果分析高达999个标签,大约有500k音乐曲目的数据集。这意味着,内部循环将会有数亿次,这将花费数小时,并可能使我的计算机崩溃。我能给你展示一个更干净、更快的方法,在一分钟内完成此任务。然而,如果您真的想使用循环,下面是代码:

fruit_dict= {}

foriinfruits["favorite_fruits"]:

 forjinj:

     ifjnotinfruit_dict:

         fruit_dict[j] =1

     else:

         fruit_dict[j] +=1

我花了一段时间才弄清楚。如果我们将列表数据集化作为一个2D数组,然后将其维度从2减少到1,将允许我们再次应用经典的Pandas功能。为此,您可以使用这个函数:

defto_1D(series):

returnpd.Series([xfor_listinseriesforxin_list])

如果我们现在使用，就会得到我们想要的结果。

to_1D(fruits[“favorite_fruits”]).value_counts()## OUTPUT ##

apple       5

blueberry   4

watermelon   4

strawberry   4

raspberry   3

pear         3

banana       2

pineapple   2

mango       2

peach       2

orange       2

maracuja     1

要获得惟一的值，只需将链接到上面的结果中提取它们。

此时，我们可以生成第一个有意义的可视化。

fig,ax=plt.subplots(figsize= (14,4))

ax.bar(to_1D(fruits["favorite_fruits"]).value_counts().index,

     to_1D(fruits["favorite_fruits"]).value_counts().values)

ax.set_ylabel("Frequency",size=12)

ax.set_title("Children's Favorite Fruits",size=14)

图4 -显示所有水果的频率的条形图。

问题3:针对有唯一值的单独列

如果您对我们之前得到的结果感到满意，就到此为止吧。但是，您的研究目标可能需要更深层次的分析。也许您希望将所有列表元素相互关联以计算相似度得分。比如吃香蕉的孩子也喜欢芒果吗?或者你想知道哪些水果是大多数孩子最喜欢的水果。这些问题只能通过更深层次的分析才能得到答案。

为此，我将介绍两种有用的方法。它们的复杂性不同。

方法一

这是我偶然发现的一个非常简单快速的方法。而且它非常有用!您只需要一行代码。

fruits_expanded_v1=fruits["favorite_fruits"].apply(pd.Series)

图5 -使用方法1的水果列表的扩展版本

正如您所看到的,这单独生成了一个,每个列表都分为单个元素。有了这个方法,您将总是得到一个具有一个的。在这种情况下,10个孩子中有两个叫了5个最喜欢的水果,结果是一个的。

通过这个，我们就可以知道哪些水果是人们最喜欢的水果。

fruits_expanded_v1.iloc[:,0].value_counts(normalize = True)## OUTPUT ##

banana       0.222222 pear         0.111111 watermelon   0.111111 blueberry     0.111111 strawberry   0.111111 apple         0.111111 peach         0.111111 mango         0.111111

我们可以看到香蕉是孩子们最喜欢的水果。

或者，我们可以以单个水果为目标，找出它们在列表的每个位置被命名的次数。这是我写的函数:

defget_rankings(item,df):

 # Empty dict for results

 item_count_dict= {}

 # For every tag in df

 foriinrange(df.shape[1]):

     # Calculate % of cases that tagged the item

     val_counts=df.iloc[:,i].value_counts(normalize=True)

     ifiteminval_counts.index:

         item_counts=val_counts[item]

     else:

         item_counts=

     # Add score to dict

     item_count_dict["tag_{}".format(i)] =item_counts

 returnitem_count_dict

如果我们应用它,我们得到:

get_rankings(item = "apple", df = fruits_expanded_v1)## OUTPUT ##

{'tag_0': 0.1111111111111111, 'tag_1': 0.1111111111111111, 'tag_2': 0.2222222222222222, 'tag_3': 0.2, 'tag_4': 0}

正如您所看到的,我们可以用这种方法进行大量的基于rpc的分析。然而,这种方法几乎没有其他用处。因为列不代表一个标记,而是一个级别,大多数在标签上的操作不能正确地完成。例如,计算香蕉和桃子之间的相关性是不可能的,我们从方法1得到了。如果这是你的研究目标,使用下一种方法。

方法二

这种方法更加复杂，需要更多的空间。其思想是，我们创建一个，其中的行与以前相同，但每个水果都被分配了自己的列。如果只有孩子#2命名为banana，那么banana列在第2行将具有“True”值，而在其他地方将具有“False”值(参见图6)。我写了一个函数来执行这个操作。它依赖于循环，这意味着它将花费大量时间处理大型数据集。然而，在我所尝试的所有方法中，这是最有效的方法。

defboolean_df(item_lists,unique_items):# Create empty dict

 bool_dict= {}

 # Loop through all the tags

 fori,iteminenumerate(unique_items):

     # Apply boolean mask

     bool_dict[item] =item_lists.apply(lambdax:iteminx)

 # Return the results as a dataframe

 returnpd.DataFrame(bool_dict)

如果我们现在应用这个函数

fruits_bool=boolean_df(fruits[“favorite_fruits”],unique_items.keys())

我们得到这个表格:

图6 - 布尔表格。

从这里，我们可以很容易地计算相关性。请注意，“相关性”并不是真正正确的术语，因为我们使用的不是度量或序数数据，而是二进制数据。

同样，有多种方法来关联这些水果。一个直接的方法是皮尔逊相关系数，它也可以用于二进制数据。Pandas对此有一个内置函数。

fruits_corr=fruits_bool.corr(method="pearson")

图7 -皮尔逊相关数据图

另一种方法是简单地数一种水果和其他水果一起被命名的次数。这可以用矩阵乘法来解决。为此，我们需要将布尔型1转换为整数。

fruits_int=fruits_bool.astype(int)

然后，我们可以计算频率。

fruits_freq_mat = np.dot(fruits_int.T, fruits_int)

## OUTPUT ##

array([[5, 3, 3, 2, 2, 1, 1, 1, 0, 2, 0, 1],

    [3, 4, 2, 1, 1, 1, 1, 2, 1, 0, 1, 1],

    [3, 2, 4, 3, 1, 2, 0, 0, 0, 1, 0, 0],

    [2, 1, 3, 4, 2, 2, 0, 0, 0, 1, 0, 0],

    [2, 1, 1, 2, 3, 1, 0, 0, 0, 1, 0, 0],

    [1, 1, 2, 2, 1, 3, 0, 0, 0, 0, 0, 0],

    [1, 1, 0, 0, 0, 0, 2, 1, 1, 0, 1, 1],

    [1, 2, 0, 0, 0, 0, 1, 2, 1, 0, 1, 1],

    [0, 1, 0, 0, 0, 0, 1, 1, 2, 0, 2, 0],

    [2, 0, 1, 1, 1, 0, 0, 0, 0, 2, 0, 0],

    [0, 1, 0, 0, 0, 0, 1, 1, 2, 0, 2, 0],

    [1, 1, 0, 0, 0, 0, 1, 1, 0, 0, 0, 1]])

现在我们需要做的就是添加标签并将其转换为。

fruits_freq=pd.DataFrame(fruits_freq_mat,columns=unique_items.keys(),index=unique_items.keys())

图8 -频率数据表。

如果你正在寻找一个漂亮的可视化方式，你可以创建一个seaborn库热图。

importseabornassnfig,ax=plt.subplots(figsize= (9,5))

sn.heatmap(fruits_freq,cmap="Blues")

plt.xticks(rotation=50)

plt.savefig("heatmap.png",dpi=300)

图9 -热图。

利用皮尔逊矩阵，我们可以很容易地建立一个水果推荐系统。例如，如果你输入你喜欢香蕉，它会推荐你吃西番莲，因为这两者的相关性最高(0.67)。您会对这种简单的方法的强大程度感到惊讶。我已经成功地用过很多次了。如果您想对频率做类似的事情，您需要首先对数据进行规范化。然而，这是另一篇文章的主题。

我希望这个指南对你有用，可以节省您的时间。谢谢大家的阅读!

作者：Max Hilsdorf

deephub翻译组：孟翔杰